当前位置:
文档之家› 大数据分析—安全 PPT课件
大数据分析—安全 PPT课件
人类从依靠自身判断做决定到依靠数据做决定 的转变,也是大数据作出的最大贡献之一。
——《大数据时代》
大数据的应用
政府职能变革
——政府
•重视应用大数据技术,盘活各地云计算中心资产:把原来大规模投资产业园、 物联网产业园从政绩工程,改造成智慧工程;
•在安防领域,应用大数据技术, 提高应急处置能力和安全防范 能力;
大数据时代的爆炸增长
地球上至今总共的数据量:
PB EB Z
TB
B
GB
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
在2006 年,个人用户才刚刚迈进TB时代,全球 一共新产生了约180EB的数据;
在2011 年,这个数字达到了1.8ZB。
而有市场研究机构预测: 到2020 年,整个世界的数据总量将会增长44 倍, 达到35.2ZB(1ZB=10 亿TB)!
大数据分析—安全防御 的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展, 数据正以前所未有的速度不断地增长和积累。人们不禁惊 呼,大数据时代已经到来! 大数据(Big Data)是继云计算、物联网之后信息技术领域 的又一次颠覆性变革,同时也拉开了全球网络空间争霸的 帷幕。各国相继调整信息安全战略,将大数据置于重要地 位,以夺取“信息优势”和“国际话语权”。
大数据价值链的3大构成:数据本身、技能与思维 其中三者兼具的又谷歌公司,谷歌在刚开始收集数据的时候就已经有多次使用数据的想
法。比方说,它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图,也是为了 制成全自动汽车以及谷歌眼镜等与实景交汇的产品。
传统行业最终都会转变为大数据行业,无论是金 融服务也、医药还过数以千万计的客户资料,能分析出 多种使用者行为和趋势,卖给需要的企业,这是 全新的资料经济。
• NTT docomo把手机位置信息和互联网上的信息 结合起来,为顾客提供附近的餐饮店信息,接近 末班车时间时,提供末班车信息服务。
大数据应用案例之:零售业
• 零售企业也监控客户的店内 走动情况以及与商品的互动。 它们将这些数据与交易记录 相结合来展开分析,从而在 销售哪些商品、如何摆放货 品以及何时调整售价上给出 意见,此类方法已经帮助某 领先零售企业减少了17%的 存货,同时在保持市场份额 的前提下,增加了高利润率 自有品牌商品的比例。
海量数据处理: 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
4、大数据的应用——精准营销
• 通过用户行为分析实现精准营销是大数据的典 型应用
• 智能电网现在欧洲已经做到了终端,也就是所谓的智 能电表。在德国,为了鼓励利用太阳能,会在家庭安 装太阳能,除了卖电给你,当你的太阳能有多余电的 时候还可以买回来。通过电网收集每隔五分钟或十分 钟收集一次数据,收集来的这些数据可以用来预测客 户的用电习惯等,从而推断出在未来2~3个月时间里, 整个电网大概需要多少电。有了这个预测后,就可以 向发电或者供电企业购买一定数量的电。因为电有点 像期货一样,如果提前买就会比较便宜,买现货就比 较贵。通过这个预测后,可以降低采购成本。
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时代, 移动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围,各种数据 正在迅速膨胀并变大。
互联网(社交、搜索、电商)、移动互联 网(微博)、物联网(传感器,智慧地 球)、车联网、GPS、医学影像、安全监 控、金融(银行、股市、保险)、电信 (通话、短信)都在疯狂产生着数据。
智能
感知
• 2、在城市发展基础设施和“云产业”的同时,更多重视“数据”的价值;
• 3、在大数据处理领域的核心技术不足,需要政府更大的投入。
协同 共享
“智慧 大脑”
互联 互通
智能 运营
更多行业的应用
政府、金融、电信等行业投资建立大数据的处理分析手段,实现综合治理、业务开拓等目 标;应用到制造等更多行业。
大数据包括: 交易数据和交互数据 集在内的所有数据集
大数据的构成
大数据 = 海量数据 + 复杂类型的数据
海量交易数据: 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据,是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据,我们能了解过去 发生了什么。
海量交互数据: 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。
处理庞大而复杂的数据信息,从中获得知识和洞见,提升能力,加快科学、工 程领域的创新步伐,强化美国国土安全,转变教育和学习模式” ;
• 中国工程院院士邬贺铨说道,“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服 务更智能、互联和有效,随着智慧城市的建设,社会将步入“大数据”时代。”
难点:
• 1、在最初就合理规划智慧城市(深度思考哪些领域能够运用);
大数据分析应用案例之电子书 Your E-Book Is Reading You
谷歌如何“嗅”出疫情讯号?
借助大数据,更好地监测医药效 果和预测大规模疾病趋势
• “谷歌流感趋势”便是谷歌2008年推出,用于预警流感的即时网络服务。该 系统根据对流感相关关键词搜索进行数据挖掘和分析,创建对应的流感图表 和地图,目前可预测全球超过25个国家的流感趋势。
•在民生领域,应用大数据技术,提升服务能力和运作效率,以及个性化的服 务,比如医疗、卫生、教育等部门;
•解决在金融,电信领域等中数据分析的问题:一直得到得极大的重视,但受 困于存储能力和计算能力的限制,只局限在交易数型数据的统计分析;
政府投入将形成示范效应,大大推动大数据的发展。
大数据的应用
——热点:智慧城市 • 美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》,提出“通过收集、
大数据的应用
——未来,改变一切 未来,企业会依靠洞悉数据中的信息更加了解自己,也更加了解客户。
数据的再利用: 由于在信息价值链中的特殊位置,有些公司可能会收集到大量的数据,但他们并不急需
使用也不擅长再次利用这些数据。例如,移动电话运营商手机用户的位置信息来传输电话 信号,这对以他们来说,数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服 务和促销活动的公司再次利用时,则变得更有价值。
马云成功预测2008 年经济危机
•“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国采购在下滑。 海关是卖了货,出去以后再获得数据;我们提前半年时间从询盘上推断出世界贸 易发生变化了。”
•通常而言,买家在采购商品前,会比较多家供应商的产品,反映到阿里巴巴网站 统计数据中,就是查询点击的数量和购买点击的数量会保持一个相对的数值,综 合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的 准确性。因此在这个案例中,询盘数据的下降,自然导致买盘的下降。
候鸟迁徙与禽流感病毒之间不可切 割的联系
疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如, “谷歌流感趋势”中疫情呈“橘红色”预警状态的俄罗斯, 全球8条候鸟迁徙路线就有5条穿过它
在科技时代,如何构建一个更加完善的疾病疫情监控信息系 统,我们或许可以借鉴下美国的经验。
大数据带来的机遇
大数据赋予我们洞察未来的能力
发觉潜在的威胁——大数据的这种 能力对今天的信息安全防范意义重大
在全球范围内进行相关数据的关联性分析。这样就能克服信息分布孤岛 带来的调查取证难的问题,更容易发现攻击。
针对具体的网络、系统和应用的运行数据采集分析,捕获、挖掘、修复 漏洞;对全球已经发生以及正在发生的网络攻击行为进行记录,并将这些海 量的数据经过多维度的整合分析,自动生成漏洞库、黑客们行为特征等数据 库。对于具体的网络系统,全球化的安全监测,运用大数据技术,可以提前 发现攻击,提前阻止。
大数据时代的背景
“大数据”的诞生:
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始 引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信 息爆炸的学科如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应 用到了所有人类智力与发展的领域中。
想驾驭这庞大的数据,我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
《大数据时代》
未来IT投资重心转移 结构化数据向非结 构化数据演进,使 得未来IT投资重点 不再是建系统为核 心,而是围绕大数 据为核心; 海量数据可以在各 个部门创造重大的 财物价值,未来投 资倾斜。
大数据分析—安全防御 的核武器
互联网行为记录,地理位置记录, 消费信息记录等等,人们的行为细节 和隐私无一遗漏。同样,大数据对信 息安全影响深刻,各种网络行为、日 志都被记录下来,从而发现潜在的安 全风险。
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes