数据量 巨大
主要用 于预测
大数据的特性
大数据 的特性
实时性 要求高
更关注 价值性
大数据是如何产生的？
移动互联网、社交网络、电子商务等极大拓展了 互联网的边界和应用范围
微博
facebook 社交网络
电子商务 淘宝、ebay
…
…
手机、Apps全球最大的中文搜 索引擎，存储数据重量近一千个PB,今年完成的云计算中心将能存贮 超4000个PB数据量。阿里约有30万台服务器存储近百PB，腾讯拥有的 数据覆盖多个领域，数据存储量经压缩处理后在100PB左右，且月增 数据在10%左右。其他领域如杀毒软件，电子地图，影视娱乐类互联 网公司等。
什么是大数据
什么是大数据
什么是大数据
定义：
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到 无法透过人工，在合理时间内达到撷取、管理、处理、并整理成为人类所能 理解的信息
在维克托.迈尔-舍恩伯格及肯尼斯.库克耶编写的《大数据时代》中， 大数据是指不用随机分析抽样调查的方法，而采用对所有数据进行分析的方 法。
每天淘宝上将产生 6.3 百万笔订单…
每个月网民在微信上要花费7 千亿分钟，被移动互联网使用者发送和接收的 数据高达1.3EB…
Google 上每天需要处理24PB 的数据…
• 1 Byte=8 bit • 1 KB=1024Bytes • 1MB=1024KB • 1GB=1024MB • 1TB=1024GB • 1PB=1024TB • 1EB=1024PB • 1ZB=1024EB • 1YB=1024ZB • 1BB=1024YB • 1NB=1024BB • 1DB=1024NB
大数据及在互联网金融中的运用
2015/10/9
什么是大数据？
什么是大数据
全球每秒钟发送 2.9 百万封 电子邮件，一分钟读一篇的 话，足够一个人昼夜不息的 读5.5 年…
每天会有 2.88 万个小时的视 频上传到Youtube，足够一个人 昼夜不息的观看3.3 年…
每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人 昼夜不息的浏览16年…
• 电信、金融、保险系统。
大数据技术是什么？
大数据技术=海量数据+ 分析建模+挖掘过程
大数据技术
数据 技术 思维
大数据技术
CRISP数-DM据(跨行业数据挖掘标准流程)是一种业界认可的用于指导
大数据分析挖掘工作的方法。 CRISP-DM认为在大数据分析中存在一个大数据分析挖掘生命周期
模型。在这技个术生命周期模型中存在着商业理解、数据理解、数据准备、
什么是Big Data 大数据的特点
1. Volume 数据量
数据量巨大
全球在2010 年正式进入ZB 时代， IDC预计到2020 年，全球将总共 拥有35ZB 的数据量
3. value 价值性
沙里淘金，价值密度低
以视频为例，一部一小时的视频，在 连续不间断监控过程中，可能有用的 数据仅仅只有一两秒。数据的价值 “提纯”是目前亟待解决的难题
2. Variety 多变性
结构化数据、半结构化数据和非结 构化数据
如今的数据类型早已不是单一的文本形 式，订单、日志、音频…..，对能力提 出了更高的要求
4. Velocity 时效性
实时获取需要的信息
大数据区分于传统数据最显著的特征。 如今已是ZB时代，在如此海量的数据 面前，处理数据的效率就是企业的生 命
建立模型、模型评估和结果部署这六个阶段。
思维
大数据应用实例——精准营销
大数据精准营销 此前，淘宝为解决买卖双方退货时的运费纠纷，引入某保险公司提供退货 运费险，经统计，淘宝用户运费险索赔率在50%以上。也就是说，10个淘宝 用户购买运费险，5个以上将会退换货，该保险公司需要赔付，该产品对这 家保险公司带来的利润只有5%左右，仅从保险公司的角度，这个产品并不 是很成功。但是该公司仍然坚持在做，并且又有新的保险公司“加盟”。 其秘密在于，客户购买运费险后保险公司就可以获得该客户的个人基本信 息，包括手机号和银行账户信息等，并能够了解该客户购买的产品信息， 从而实现精准推送。假设该客户购买并退货的是婴儿奶粉尿不湿，那么保 险公司就可以估计该客户家里有小孩，可以向其推荐关于儿童疾病险、教 育险等相关产品，这比5%的利润更有吸引力。 利用数据来分析客户的购买倾向，从而实现精准营销，其实国外的电子商 务网站早已运用自如，比如亚马逊的推荐系统可以根据客户浏览信息，找 到产品的相关性，并快速做出推荐。
大数据应用实例——精准营销
大数据应用实例——精准营销
大数据应用——信用风险管理
（一）大数据信用体系建设 大数据技术的发展引发对互联网金融的个人和企业身份认证和信用
评估的变革，除了对评估对象静态信息的分析外，更重要的是变化中的 动态信息的分析挖掘，建立用户的信用评分和增信模型。比如对企业， 在供应链的各个环节、如订单、库存、下线、结算、付款等关键环节产 生的数据进行清理建库、分析挖掘，进而建立企业的信用等级模型和算 法，并根据其信用等级、成长性、未来发展预测等给予不同的信用额度。 对于个人用户，除了他们注册登记的实名制静态信息外，他们在网络上 的购物、支付、投资、生活、公益等数据形成上百种场景的信息流，将 这些静态和动态数据结合起来，就能形成用户的行为轨迹，通过交叉检 验，对用户的真实身份进行识别，进而建立信用打分模型和算法，对客 户进行分类，再提供针对性服务。互联网信用体系建设对于信用风险的 管理的变革有积极的意义。 。
大数据应用——信用风险管理
（二）以大数据解决信息不对称的问题 以阿里金融为例，其整合了电子商务过程中所形成的各种数据来进行信用 分析，包括商户的历史交易数据、信用记录、客户评价等内部数据，以及 纳税记录、海关记录等外部数据。这些数据比现实中发布的小微企业财务 数据更加真实。阿里金融将所有这些信息进行量化，然后将数值输入网络 行为评分模型，从而对小微客ቤተ መጻሕፍቲ ባይዱ进行评级分层，同时还引入在线视频资信 调查模式，以及通过交叉检验技术辅以第三方验证确认客户信息的真实性， 最终将客户在电子商务网络平台上的行为数据映射为企业和个人的信用评 价，决定是否可以对其放贷，以及贷款的金额和利率，解决了传统金融行 业对个人和小企业贷款存在的信息不对称和流程复杂的问题，并实现了良 好的风险管理。