11
大数据前景----互联网
互联网行业拥抱大数据的关键因素
网络终端设备 • 网络技术的升级和 终端设备的爆发， 使今天的用户能够 使用多种设备、从 不同位置、通过多 种手段来接入互联 网，并在这一过程 中不断创造新内容 在线应用和服务 • 越来越丰富的在线 应用和服务，不断 激励用户创造和分 享信息，尤其是社 会化媒体业务，带 动图片、视频等非 结构化数据飞速增 长 与各垂直行业的融 合 • 互联网作为一个高 渗透力的行业，正 在与各垂直行业发 生深度的融合，原 本隐藏于先下的孤 岛信息，源源不断 的输入到线上。
大数据是否侵犯了用户隐私？
• 用户面对“不搜即得”的结果是否会有被窥视的感觉？如何消除这种感觉？
什么技术是Big大数据技术Data技术
企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察 力，并将其与已知业务的各个细节相融合
Байду номын сангаас
大数据技术将被设计用于在成本可承 受（economically）的条件下，通 过非常快速（velocity）的采集、发 现和分析，从大量化（volumes）、 多类别（variety）的数据中提取价 值（value），将是IT 领域新一代的 技术与架构
大数据及智能物流物联网
什么是大数据？
具有4V特性的数据： Volume(巨大的数据量):
3亿用户,每天上亿条微 博.
巡天望远镜,已收集140兆 兆字节数据
2015年全球移动终端产生的数 据量6300PB 案例
两年半前海地地震，海地人散落在全国各地，援助人员为 弄清该去哪里援助手忙脚乱。传统上，他们只能通过飞往灾 区上空来查找需要援助的人群。 一些研究人员采取了一种不同的做法：他们开始跟踪海地 人所持手机内部的SIM卡，由此判断出手机持有人所处的位置 和行动方向。正如一份联合国(UN)报告所述，此举帮助他们 “准确地分析出了逾60万名海地人逃离太子港之后的目的 地。”后来，当海地爆发霍乱疫情时，同一批研究人员再次 通过追踪SIM卡把药品投放到正确的地点，阻止了疫情的蔓延。
Variety(数据类型多):
文本/图片/视频 等非结构化/半结构化数据
Velocity(处理速度快):
要求系统在短时间内做出反应
Value(价值密度低):
单条数据无价值,无用数据多,综合价值大
非结构化数据
相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化 数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和 音频/视频信息等等。
技术演进历史揭示未来是大数据驱动的智慧型经济模式
用途？
以上介绍的互联网上的数据看起来数量庞大却用处寥寥，但事实上，只要处理好这些数据，就能 给商家带来巨大的利益。 举一个简单的例子：
商家
消费意向
消费 服务
• 通过网页浏览记录 • 通过人人、微博等
消费水平
• 通过淘宝等消费记录 • 通过社交平台信息
• 通过手机软件定位客户
消费位置
针 对 性 地 给 客 户 提 供
广 告 与 优 惠 信 息
5
大数据的意义----为每位用户量身打造
用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩， 其核心的本质就是包括用户网络操作的大数据，进行记录和分析，比用户自己更了解用户，从而洞悉用户的潜在的、真 实的需求，形成预判。这是传统企业花费重金都难以企及的梦想。
大数据处理要求对大数据进行实时分析.
• 现今的分析仅局限在企业的现有数据库还不够，还需要保持数据与当前社会乃至全球的相关性。这意味着企业需要从 社交媒体、地理位置、CRM系统、政府的公开数据、手机信息等非专有的渠道获取数据，进行额外的分析。对于实时 分析来说，当前的移动应用潜力也才刚刚开始出现，其移动分析或将比预期的影响更加深远。
大数据----现状
2011年是中国大数据市场元年，一些大数据产品已经推出，部 分行业也有大数据应用案例的产生。2012年-2016年，将迎来大 数据市场的飞速发展。 2012年中国大数据市场规模将达到4.7亿元，2013年大数据市 场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近 百亿。
互联网行业大数据分析面临的主要问题
互联网行业对数据实时分析要求较高，例如广告监 测、B2C业务，往往要求在数秒内返回上亿行数据的 分析，从而达到不影响用户体验和快速准确营销的目 的。 目前互联网企业面对大数据，会普遍感觉到实时分 析能力差、海量数据处理效率低、缺少分析方法、分 析软件能力差等问题。
实时的商务智能
采用大数据方 案后价值体现
2012年各行业大数据市场规模 2012年政府、互联网、电信、金融的大数据市场规模较大，四 个行业将占据一半市场份额。 由于各个行业都存在大数据应用需求，潜在市场空间非常可观。
大数据----国外已经投资应用
美国国务院采用大数据技术开发新的美国护照系统。
IBM宣布投资1亿美元用于大数据研究；
美国IT公司开始意识到大数据技术能够为公司创造价 值；
互联网大数据技术的应用，会首先带动社会化媒体、电子商务的快速发 展，其他的互联网分支也会紧追其后，整个行业在大数据的推动下将会 蓬勃发展。
大我的近期研究: 智能文本分析支持的金融风险预警系统行信用卡中心）
信息量增长迅速 金融数据增长迅速 人工分析已经不可能实现。
大数据 挑战
需求
可扩展的智能代理解决方案 各种文本的自动搜索, 分析, 推理. 如果必要, 自动发出风险预警。
大数据公司引入汽车行业高管人员扩展营销业务；
大数据----问题
数据的爆炸式增长为全球各行业均带来了管理上的问题。
• 例如，在电信行业的呼叫数据记录管理、金融行业的交易数据和客户资料管理、零售行业的供应链管理以及制造行业 的业务绩效管理等等。对于企业用户来说，大数据的来临也无形中增加了他们所需承担的责任以及成本。企业必须保 持这些数据在很长一段时间内的可用性，并满足这些庞大数据量在存储方面的需求。这就导致了企业需要采购和维护 所需的硬件设备，并且还要不断的进行监督与管理。