当前位置:
文档之家› 大数据时代的数据挖掘与商务智能
大数据时代的数据挖掘与商务智能
n国家(省、市)统计局()
7
国家统计局推进“大数据”应用
合作框 架协议,共同推进大数据在政府统计中的应用 。
战略合作内容,主要是共同研究探讨建立大数 据应用的统计标准,包括指标定义、口径、范 围、分类等;确定利用企业数据完善、补充政 府统计数据的内容、形式及实施步骤,包括数 据采集、处理、分析、挖掘、发布等。在此基 础上,合作双方将建立战略合作关系。
北斗“三步走”的发展战略
GEO(Geosynchronous Eearth Orbit):地球静止轨道卫星
IGSO(Inclined Geosynchronous Satellite Orbit): 倾斜轨道同步卫星
MEO(Medium Earth Orbit):中高轨卫星
18
把短信和大导航数结据合,与是中北国斗北斗系卫统星导航系统的
第十、“大数据”推动了对数据处理算法的需求,
提出对数据安全和访问控制的重视,并可有效降低
对现有系统的影响。
13
无所不在的数据(3)
在超市中,数据通过条码扫描机获得。这样的“购 物蓝”数据库由大量的交易记录组成。
14
RFID技术与物联网应用
什么是物联网?
感知
传输
智能
全面感知
利用RFID、传感器、二维码等 能够随时随地采集物体的动态
1
在大数据时代,我们共同探讨数据分析与数 据挖掘的思想、方法和应用前景。
尽量向大家介绍数据分析与数据挖掘的全貌, 给一些资料性的信息。
由于数据分析与数据挖掘涉及的方法广泛, 软件、工具、公司太多,应用太广,此次以 介绍方法为主。
2
大纲
大数据的时代背景 商务智能与数据科学 基于统计的传统数据分析技术 数据管理与数据挖掘概论 数据挖掘与知识发现技术 典型应用及案例分析
数据是宝贵的财富,其中蕴含大量有用 的(有助于管理和决策)信息和知识。
计算机和通讯技术的发展,使数据量急 剧增加,人类进入大数据时代。收集、 传输、存储、整合、分析与挖掘数据的 各项技术快速发展。
大数据时代,数据分析与数据挖掘作为 一门信息技术,其兴起主要是受数据积 累的增长和对数据分析的需求的驱动。
8
无所不在的数据(2)
p 低频数据:日数据 p 高频数据:金融市场
中的逐笔交易数据和 逐秒交易数据。 p 超高频数据:实时数 据
n金融数据(/)
9
金融大数据的挑战与应对
在以网络化和数字化为基本特征的新经济时 代,金融产业日渐回归本质,表现为金融数 据流的产生、交换、存储、分析以及使用。
3
第一部分
大数据的时代背景
4
大数据的时代背景
从数据谈起
大数据现象与新信息世界观
产业界与学术界的关注
“大数据”对社会发展的影响
5
火龙果整理
“大数据”的时代背景
从数1) • 70万家企业联网“直报” 统计数据 • 从2012年2月18日开始, 全国70万家"三上"企业和 房地产开发经营企业将 在统一的数据采集和处 理平台上,通过互联网 直接向国家数据中心或 国家认定的省级数据中 心报送统计数据。
信息。
可靠传输
通过网络将感知的各种 信息进行实时传送。
智能处理
利用计算机技术,及时地对海量的 数据进行信息控制,真正达到了 人与物的沟通、物与物的沟通。
物联网物不联仅仅网是的传大感器数,据物挑联网战是提供支
撑智慧地球的一个基础架构,物联网的存 在使这种基于大数据的采集以及分析变成 了一种可能,这面临着三项挑战。
大数据对金融业带来了剧烈的挑战冲击,我 国金融机构需要明确大数据战略的顶层设计 ,加强大数据基础设施建设,实施稳妥的大 数据安全策略,方能从容迎接大数据时代。
10
第一、金市场融数业据集大变得数越据来越十庞大大,趋业务势对数据的
细分粒度要求越来越高,以满足预测模型、业务预 测和交易影响评估的需求。
第二、新的监管和合规要求更强调治理和风险汇报 ,推动了全球性金融机构对更深入和透明的数据分 析需求。
第三、金融机构不断完善自身的企业风险管理框架 ,该基于主数据管理策略开发的框架可协助企业提 高风险透明度,加强风险的可审性和管理力度。 11
第四、金融服务公司都希望能充分利用各种服务交 付渠道的海量客户数据,开发新的预测分析模型, 实现对客户消费行为模式进行分析,提高客户转化 率。
12
第八、大量历史客户支付行为数据的信用风险预测 模型正在零售与公司贷款催收中得到大量应用,通 过该技术,银行可以通过对不同客户违约和还款资 料进行分析,对催收次序进行优化。
第九、随着以平板电脑和和智能手机为代表的移动 应用和互联网工具的迅速普及,技术基础设施和网 络在对不同来源、不同标准数据进行处理、编索和 整合方面的压力不断增大。
第五、在巴西、中国和印度等后发展中市场,经济 和业务增长机会正在超越欧洲和美国,大量投资被 投放到本地和云数据处理基础设施中。
第六、“大数据”在存储和处理框架两方面的优势 将帮助金融服务企业充分掌握业务数据的价值,降 低业务成本并发掘新的套利机会。
第七、面对“大数据”所带来的不断增加的数据量 要求,需要对传统的数据传输工具ETL(提取、转 换和加载)流程进行重新设计。
物联网的边缘计算。 物联网的中间件。 物联网的运营管理平台。
16
无所不在的数据(4)
u 全球四大卫星导航系统 n 北斗卫星导航系统 n 美国的GPS n 俄罗斯的格洛纳斯 n 欧盟的伽利略系统
到2020年,北斗卫星导航系统将拥有35颗卫星(已发射16 颗),形成覆盖全球的卫星网络,九省示范应用,LBS。 17
独特发明。
北斗卫星导航系统的应用目前逐渐形成规模化、 标准化的趋势,已向民用用户全面开放,成功应 用于个人位置服务、气象应用、交通管理、运输 管理、应急救援、精密授时、精细农业等多个行 业。
近期,东南亚四国(泰国、老挝、文莱缅甸)都 于中国政府签订协议,采用我国的北斗导航系统 ,同时中国与巴基斯坦有望在近期签订北斗系统 合作协议,成为第五个使用北斗导航的国家。