约2000年 纸和印刷术的
发明形成
最近几十年
计算机、信息网 络、传感和记录 等技术的发明
感知、传递、反应
语言、概念体系
模仿（抽象）、记忆、判断、 文字、记录
反应
感知、记录、传输、存储、处理
意识、思维、概念（更高层 形成了当今世界的智能体系和水
次的抽象）
平
设一个具有若干个紧密联系 群体且有一定相互关联地域， 其信息与社会发展关系函数 为f(d)：令
PB，当年的信息产生量约 求
是历史上图书信息总量的 • 全球新增网页571个 3000倍
为什么叫大数据：二是类型多
• 二是类型多
结构特征：结 构化、半结构 化、非结构化
形态特征： 语音、文本、 数值、图像、 视频
拥有特征：私有、 共有、公开
三是更接近把握信息资源的本质
• 大数据真正开始把信息变成资源
四、大数据发展的关键环节：
1. 收集、组织、管理、利用 2. 认识、技术、法律、制度、标准 3. 主体、商业模式或运行机制 4. 信息的结构化 5. 大数据管理系统
（一）收集、组织、管理、利用
1. 找矿 2. 开矿 3. 炼矿 4. 用矿
找矿：发现需要的信息资源
• 定义需要的信息资源 • 确定的信息资源在哪里
件统
样化的进程 能的系统
和
系 统
设备和技术的多样复杂、非结构化事务和信息的处理、 2的50-100次方级大数据的组织与利用、跨领域且物 理世界相对松散的事务处理、设备（系统）控制与事
集 务处理的融合，复杂系统、不同类型对象的建模
成 重用、测试、可靠性、安全性、生产率、适应新模式
建模技术、软件工程技术、自动编程技术、验证技术
对历史纵切面的分析有两点主要结论
1. 历史发展进入一个新的转型期：从工业社会走 向信息社会，在这个历史发展转型期，中国存 在超越的可能
2. 这个可能在于13亿人的素质：知识、聪明、勤 奋，我们会有5亿以上的人口进入经济社会发展 的综合平台上，形成强大的发展动力，远远超 过其他强国 中国的IT梦与中国梦重合的历史必然
大数据是一个阶段性的概念
大数据是信息和信息资源 开发利用这个稳定概念在今天 这个特定时期的代表名词。关 于大数据所有作用和意义的期 待，都包含在1970年哈佛大学 关于资源三角形的论述中。这 个论述简而言之就是材料、能 源、信息是推动社会发展的三 种基本资源。美国人相信它40 多年了，并为之持续不断地做 了大量的工作，也是美国在IT领 域，包括信息资源领域，一家 独大的一个原因。
灵活供应链
连接产品开发与设计， 再到制造的工艺
建模与仿真
简化产品移 动的工厂与 配送中心的 实时信息流
智能工厂 分销配送
工厂工人用知 识为基础的技 术，优化生产、 降低成本
用中在 的，这 是起样 什引的 么领企 ？作业
全球先进制造 业发展新趋势
先进制造企业 概念
用户
用户定制产品，产品使用全 过程跟踪以及产品回收和再 制造
本报告所称大数据是指具有数量巨大、 多类型、不同结构化程度、不均衡价值密度、 不一致动态特征、不同应用处理特征等特点 信息集合。
本报告所称大数据系统是指一个围绕特 定目的而形成的数据及其处理系统。并不是 每一个大数据系统的信息集合都具有上述全 部特征，一种或两种类型，数量巨大，也是 大数据。
在计算机处理 能力不断发展、 信息系统处理 的信息日益增 长，特别是互 联网（包括移 动互联网）的 发展、传感技 术的广泛应用， 大数据概念应 运而生
1、处理、传输、存储技术延续高速发展
2、感知、显示、获取技术驶入快车道
3、内容处理、智能系统技术不断成熟
4、技术体系不断完善
11
传输技术：走向宽带泛在普及
传
人与人
物与人
走向
从个位数
G级
到T级P级
输
人与物
甚至更高
物与物
超高速
泛在
新的体系 架构
端到端数百兆到吉比特，4个以上数量级的汇接带宽，3D 及虚拟现实等传输要求，许多场景下并发数量急剧增加
1--120020/10/16
知识总量和质 量
这是发展速 度的示意图， 不是规模
信息能力不仅是生命、智能进化 的基础，也与产业发展正相关
经过约300万年： 语言 记忆思维概念等能力的形成
约8000年 文字形成
示意图时间尺度不成比例
约2000年 纸和印刷术的
发明形成
最近几十年
计算机、信息网 络、传感和记录 等技术的发明
f(d)={∑Y+∑Z+∑S+∑T}xƿ
其中 Y=有效信息总量
Z=知识总量和质量 S=使用者总量和质量 T= 同一交流平台参与人数
Ƿ=发展环境系数 实际上，YZST是非独立的， 最关键的因子是T
2020/10/16
使用者 总量和 质量
同一
交流平 台人数
发展环 境系数
有效 信息 总量
知识总 量和 质量
IBM的DeepQA，通过针对广泛收集特定应用领域的信息和知识， 在适度结构化、一系列规则和算法的基础上，具备这一领域人的智 能。其代表作“沃森”，已经击败了美国电视台“危险”这个具有 之力竞赛性质的娱乐节目的冠军，今天，又落户纽约州的伦斯勒里 工学院，与学生一起学习，英语和数学。Google的“谷歌大脑”将 1.6万个处理器构成当前世界上最大的人工脑，模拟人类脑神经系统， 通过算法从互联网中提取信息识别猫。
打印机、 复印机、 传真机、 扫描仪
虚拟现实 虚实结合
的现实
控制技术
机器人
三维空间 精确行为
与感知、网络能力并行的 反应、行动能力，在不同 空间范围信息系统的物理 行为无需人来执行
软件和系统集成：承载信息社会运行控制
软
使设备和系统变 应对设备和系 Saas及新的 成可靠的工作系 统复杂化和多 业态，构建智
我们每个人都在制造和使用信息
• 过去3年数据量比以往数万 • 每秒发出290万条短信
年还多
• 每天Twitter上发布5000万
• 2020年数据产出量将比
条微博
2009年的44倍还多
• 每天Google处理的数据24PB
• 2006年全球生成、复制的 • 2012年11月11日第一秒，用 数字化信息量大约16.1万 户向阿里网购提出1千万请
以T主线，我们可以初步推 论信息交流平台和参与人 数与社会发展的关系
使用者总 量和质量
同一 交流平 台人数
信息社会
发展环境 千万--亿-几十亿 系数
工业社会
使用者总 量和质量
有效信息 同一 交总流平量
台人数
农业社会
发展环境
十万--百万 系数
原始社会
有效信息 总量
知识总量和质 量
原始家族
万--十万
百--千
知
热、压、声 构成、损伤、
遥感
关系
声纳
技术类型
字声 磁生
RFID 转 音 转 物 换文 换光
机器阅读 及其他语 义信息的 获取
各类感知 远、细、 清的要求
显示反应技术：走向智能
/ /
/
显 示 反 应
2020/10/16
字声 转音 换文
磁生 转物 换光
清晰 色彩
节能 适应
3D及多维
轻便 可靠
表 语文 情 言字
2020/10/16
信息战：显示了 将所有战争要素 集中在一个信息 平台上的力量
2020/10/16
从人工细化分工到自动化生产线
主要的变化也是信息感知、传输、 处理、利用的能力增加
2020/10/16
从大规模生产到个性化生产
信息资源成为现代化发展的基础资源
应对消费者需求及供 应商变化的IT供应链
用，需要寻 复杂的存储 找新的技术 与处理系统
储
集成度，从当前的32/28nm，快步前进到14/16nm及以下
低功耗、嵌入式、可靠性、小型、可移动
2020/10/16
高性能，超级计算机、汇聚计算资源能力
感知获取技术： 一组需求驱动快速发展的技术
/ /
/
感 知 获 取
2020/10/16
空间、地球、生物、生命、 感知什么 社会等全方位、细粒度的感
/
信息技术体系架构不断完善，信息、能源、 材料技术融合，以智能技术为标志的新一代
生产力 体系逐渐成形
处 理 存 储
信息组织、管理与利用 软件和系统集成
传 输
2020/10/16
大数据技术，从内容角度要重视三个方面的来源
一是关于数据管理和处理研究，包括物理和语义两个 领域数据管理。数据结构、算法和数据库相关领域取得的 进展最为突出，如文件系统、数据库、数据仓库、元数据、 数据模型、内存处理、云存储的研究。应当看到近十年来， 关于多维数据结构和算法、机器视觉和摄录象研究和技术， 对于大数据研究具有极其重要的参考意义。
在这里，大数 据和信息、信 息资源是同义 词
为什么叫大数据：一是数量大
绝大部分 应用在这 两个数量 级
ZB:2的70次方， EB的1000倍
YB:2的80次方， ZB的1000倍
PB:2的50次方， TB的1000倍
EB:2的60次方， PB的1000倍
GB:2的30次方， MB的1000倍
TB:2的40次方， GB的1000倍
– 是否已经以信息形式存在 – 是否需要采集
开矿：收集和获取
• 用何种方法收集、获取
– 要用什么样的方式采集
• 已有的怎么获取：
– 购买、交换、再收集
• 没有的怎么采集：
– 委托、技术方案、自采
提炼：变成适用信息