金融大数据研究分析报告目录第一章大数据背景与动态 (3)1.1 大数据的宏观价值与背景 (3)1.1.1国家——保障数据安全,促进数据开放 (3)1.1.2政府——转变理念,集成信息,抓住机遇 (5)1.1.3学术——科学的研究数据,用数据来研究科学 (6)1.1.4产业——产业需要变革,行业需要互融互通 (7)1.1.5公司——平台化竞争,特色应用化生存 (8)1.1.6投资——大数据将提供价值分析新视角 (9)1.2 国内外大数据发展动态 (10)1.2.1国外大数据发展动态 (10)1.2.2我国大数据发展动态 (15)1.2.3大数据相关社区 (18)1.2.4我国大数据行业协会 (22)第二章大数据典型应用 (24)2.1 金融大数据应用现状 (24)2.2 大数据信贷 (26)2.3 大数据征信 (28)2.4 大数据投资 (29)2.5 金融大数据发展趋势 (31)第一章大数据背景与动态1.1 大数据的宏观价值与背景从大历史观来看,“大数据”的内涵远远超越物联网、云计算等信息技术的概念,它的意义可以比肩“活字印刷术”的发明,大范围的消除信息不对称的现象,释放巨大的生产力,深刻改变社会的面貌,提升国家治理,革新科学研究的思想,促进产业间的跨界、融合和颠覆,并将极大的促进文明的传播、凝聚、和升华。
数据自古存在。
乌龟壳、树皮、绸缎都曾经是记录数据的媒介,现在都已经退出了舞台;留声机、磁带机也曾经风靡一时,也已难觅踪影;现在当红的信息技术,像个人电脑、智能手机、IPad 在不远的将来也将被陈列在博物馆。
唯有数据,虽然不断的变换表现形态,将一直伴随人类走向未来。
物联网本质上是器物层面的技术,从大数据的视角而言,是采集数据的终端。
云计算本质上是IT 服务交付手段的变革,并由此引发一系列技术基础架构的更新。
物联网和云计算都是信息技术发展的一定阶段的自然延伸,依然属于信息技术范畴。
而大数据可以看成是数据积累到一定规模后,引发的质变。
大数据超越信息技术,使人们重新界定国家竞争的主战场,重新审视政府治理水平,重新认识科学研究的新范式,重新审视产业变迁的驱动因素,重新理解投资的决策依据,重新思考公司的战略和组织。
综上所述,大数据将是保障国家安全、社会治理和推动经济发展的恒久主题!1.1.1 国家——保障数据安全,促进数据开放2012 年3 月份,奥巴马发布了美国版的《大数据发展计划》,通过这个计划,可以看出:国家层面大数据技术领域的竞争事关一国的安全和未来。
国家数字主权体现为对数据的占有和控制。
数字主权将是继边防、海防、空防之后,另一个大国博弈的空间。
大数据必须上升为国家意志,落实为国家战略。
欧盟、日本、新加坡等国家已经开始纷纷行动。
2013 年,美国人斯诺登给世人揭开了“数据战争”的冰山一角,美国的“棱镜计划”事实上把所有国家、个人都可以玩弄于股掌之上。
连其多年的盟友,德国总理默克尔的手机,都在NSA(美国国家安全局)的监控之下。
面对默克尔的愤怒的质问,奥巴马只能言辞闪烁的声称“现在没有监控,未来也保证不会监控您的手机!”人们把战略核潜艇称为“国之重器” ,的确,神出鬼没的毁灭力量令人望之生畏。
但是,如果导弹赖以导航的坐标数据被人为修改或者提前探知了呢?如果不具备保护这些核心数据的能力,恐怕就会应了那句老话,搬起石头砸自己的脚。
参与棱镜计划的公司包括谷歌、雅虎、Facebook、微软、苹果、思科、Oracle 、IBM等科技巨头。
可以看到,大数据时代,IT 产业强大与否已经直接决定一个大国是否成为强国的最为关键的因素。
没有数据安全,就不会有国家安全,没有强大的IT 产业,就不会成为一流国家,也就谈不上中国梦!保护国家层面的数据安全,恰恰是以数据开放为基础的。
开放是一种态度,更是一项能力。
一些重大基础数据开放,可以构成社会的数据基础,按照大数据定律之一“数据之和的价值远远大于数据价值的和”来推断,来自不同领域的数据聚合在一起,开放给社会,将会产生类似核聚变一样的价值发现效应。
现在,电子商务、社交网络、基础通信、国家各部委的数据,具备聚合的效应和产生核聚变价值的基础。
国家统计局联合百度、阿里巴巴,已经做了一些探索性的尝试,这是非常好的开端。
与此同时,“数据割据、拥数自重”的现象也是普遍存在的。
譬如气象观测数据,这类数据对于研究大气变化、气候演变、农业指导等具备非常重要的科学意义。
但目前来看,类似此类的数据应用范围还有很大提升空间。
再如住建部的购房数据,这类数据对于防止腐败、研究经济走势、人口迁移,甚至制定国家决策都具有至关重要的数据。
这类数据如果开放给社会各界,一定程度上会繁荣多学科、跨领域交叉研究,就此有可能会推动中国在各个方面的进步。
开放的数据是基础,促使信息产业繁荣,才能诞生真正的数据驱动的企业,企业反过来在数据领域的技术进步,才是确保国家数据安全的长治久安之策。
很难想象,如果没有谷歌、微软、Facebook 这样的公司,单凭美国政府一己之力,难以实施如此庞大的“棱镜”计划。
所以制定国家大数据战略,需要重新思考传统的所谓的“国家机密”和国家安全的关系。
应当把消除部门数据割据,建立公开、透明、共享的数据公共平台作为长期的战略目标。
多年以后,回顾中国这段历史,也许今天的一些举措,将会是社会“数字文明”的起点。
1.1.2 政府——转变理念,集成信息,抓住机遇近年来,继云计算、物联网之后,又一股技术革命理念席卷而来--- 大数据。
海量、动态、多样的数据,如何让它具备“巨大价值”,是这次被称作“颠覆性技术革命”的关键。
传统的思维方式和行为方式将面临巨大挑战,尤其在公共服务领域,它有效集成信息资源的能力,将会为政府管理理念和治理模式的转变,提供强大的技术支撑。
当前世界上越来越多的国家开始从战略层面认识大数据,在政府治理领域融入大数据思维和技术。
在此背景下,我国政府也应顺应时代发展趋势,契合推进国家治理能力现代化的时代要求,充分利用大数据提升国家治理能力。
大数据时代政府治理能力将面临更多的机遇与挑战!进入21 世纪,世界上越来越多的国家开始重视和推进大数据的发展。
英国2006 年启动“数据权”运动,韩国2011 年提出打造“首尔开放数据广场”,美国2012 年启动“大数据研究和发展计划”,联合国2012 年推出“数据脉动”计划,日本2013 年正式公布以大数据为核心的新IT 国家战略。
我国也已开始推动大数据发展,政府、企业和科研院所正在进行多方位布局。
对于政府治理而言,大数据时代在带来机遇的同时也充满挑战。
大数据为政府治理能力的提升带来了发展机遇。
首先是为推动政府治理理念和模式的变化带来机遇。
在政府治理领域,通过让海量、动态、多样的数据有效集成为有价值的信息资源,推动政府转变管理理念和治理模式,进而加快治理体系和治理能力现代化。
其次是为推动政府治理决策精细化和科学化带来机遇。
在大数据时代,互联网数据的价值随着海量积累而产生质变,能够对经济社会运行规律进行直观呈现,从而降低政府治理偏差概率,提高政府治理的精细化和科学化。
再次是为推动政府治理提高效率和节约成本带来机遇。
利用大数据,可以使政府治理所依据的数据资料更加全面,不同部门和机构之间的协调更加顺畅,进1 1 作者:西北大学经济管理学院吴建树而有效提高工作效率,节约治理成本。
大数据对提升政府治理能力的重要性不言而喻, 但在实际工作中具体运用大数据却任重而道远。
现阶段, 大数据在政府治理领域还未得到足够重视。
我国政府部门目前几乎没有使用大数据技术, 很多政府部门并未对大数据提升业务能力 予以足够重视, 大数据资源管理的思维尚未建立。
大数据在政府治理中的技术运用尚在探索。
随着我国信息化技术应用不断扩展, 国家及企业层面产生了巨量大数据,但总体集成、掌握、整合、分析这些数据需要成熟的技术投入,目前如何 利用大数据进行精细分析仍处于摸索阶段。
大数据本身的管理还需要综合完善。
如何管理大数据,我国各部门还缺乏统一标准,各部门的数据来源、数据架构、 数据体系各自为政,不能有效整合,大大降低了数据的使用效率。
1.1.3 学术——科学的研究数据,用数据来研究科学学术界在大数据时代有了更为广阔的舞台。
某种程度而言, 近几年计算机领域的发展是谷歌、 亚马逊等一线的互联网公司所推动的。
虽然学术界在算法方面具备无可替代的优势,但在算法工程应用领域,由于缺乏实践场景而裹足不前。
之所以呼吁学术界像谷歌公司学习, 正是看到了学术界不能再走一条从文献到文献的封闭道路。
在大数据时代,许多学科表面上研究的方向大不相同,但从数据的视角看, 其实是相通的。
例如自然语言处理和生物大分子模型中都用到隐式马氏过程和动 态规划方法。
其最根本原因是它们处理的都是一维的随机信号。
再如用于图像处理的算法和用于压缩感知的算法也有着许多共同之处。
以自然语言的机器翻译研究为例。
最初科学家们试图为计算机建立一系列的语法规则,按照语法、词义,来翻译成另外一门语言。
该思路非常直观,因为人 们就是如此理解学习语言的。
但在实践中困难重重, 基于语法规则的翻译器, 几乎没有商用过。
而当科学家们改弦易张, 计算每一个词, 每一句话的“合理概率” 时,复杂的机器翻译就简化成了文字的概率计算。
通俗来讲就是:“如果大多数人都这么说,就认为是对的! ”这种思想在越来越多的领域得到应用, 宏观尺度研究的天体信息学、 社会行为学、微观尺度上分析人类的基金组,追踪物理学家们梦寐以求的“上帝粒子”。
随着社会的数字化程度逐步加深,越来越来多的学科在数据层面趋于一致。
可以采用相似的思想来进行的统一的研究。
而这恰恰是数学家的特长。
因此数据科学在数学和实际应用之间建立起了一个直接的桥梁。
而这些实际应用正是来自于像信息服务等现代产业中最为活跃的一部分。
对数学来说,这是一个千载难逢的机会。
通过建立大数据实验室,搭建产业界和学术界的桥梁,为学术界优秀的算法提供演练的舞台,为产业界困扰的难题提供破解的机会。
从而间接推动数据科学领域学科建设与人才培养的工作。
1.1.4 产业——产业需要变革,行业需要互融互通产业需要变革,行业需要互通互融。
所谓“大数据+”,就是将大数据思维嫁接到不同的产业中,推动大数据在各行各业落地。
大数据不仅仅只关系到IT 行业。
众多行业龙头公司,都已经意识到了大数据新思维的巨大冲击。
给企业家们带来冲击的并不是大数据本身,而是一些新兴公司不可思议的跨界能力。
行业之间的界限变得越来越模糊,这些新兴公司所采用新的技术、新的模式,大规模采集数据,迅速形成预判,并迅速扩张到相关企业行业。
譬如乐视网,已经涉及电视销售,电影拍摄;小米公司除手机销售外,也开始涉及电视销售;百度、360 等企业也都开始做各种硬件,如百度影棒,360 随身WiFi 等。