当前位置:
文档之家› 时空大数据云计算与智慧城市研究报告
时空大数据云计算与智慧城市研究报告
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到 无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并
整理成为帮助企业经营决策更积极目的的资讯。
(2)维基百科:
大数据,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规 模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理 成为人类所能解读的信息。
时空大数据、云计算与智慧城市
SDB Group
1
报告提纲
1
大数据
2
时空数据
3
块数据 云计算
4
5
智慧城市
SDB Group
2
一、大数据
SDB Group
3
时代变迁 - 大数据时代
机械化时代:以蒸汽机、内燃机的发明为驱动,释放化学能替代肌肉的能
量,用机械力解放了人力畜力,引发了工业革命,引起了社会变革,改善 了人们生活。
的生产和生活方式。
大数据时代??:分布式存储、移动计算、深度学习。更广的数据采集, 更细的数据加工,使得数据应用革命性地繁荣。机器自动产生大量的数据
SDB Group
4
大数据特征(4V)
1. Volume:海量的数据规模,PB ~ EB 2. Velocity:快速的数据流转和数据处理体系 3. Variety:多样的数据类型:结构化、半结构化、非结构化
应用大数据技术、获得有价值信息的行为
所以认为“大数据”是数据、技术和应用的统一体
SDB Group
7
SDB Group
8
大数据方法与传统方法的对比
SDB Group
9
大数据可视化分析
大数据的可视化和绘制主要是基于并行算法设计的,能合理利 用有限的计算资源,高效地处理和分析特定数据集的特性 可视化通常会结合多分辨率表示方法,以获得足够的互动性能
SDB Group
10
二、时空数据
世界的哲学定义:时空及有无的划分匡定为世界 大数据无处不在,它是现实世界到信息世界的映射,是 对现实世界的采样
无论是现实世界,还是信息世界,其实质是世界
世:往世、现世、来世,指的都是时间,一维的时间 界:物体的边界、位置,也就是多维的空间
狭义上:时间 + 空间 = 世界 宇宙也可以理解为时空:
宇宙是“时间无尽永前、空间无界永在、质量无限永有”的存在。 宇宙O={→T=∞;S(x,y,z)=∞;M=∞ }
SDB Group
11
时空数据
时空数据也是现实世界到信息世界的映射,是对现实
世界的采样 时空数据往往是多维的,既有空间,也有时间 时间决定了时空数据的现势性及演变过程 空间决定了时空数据的位置空间属性和关系属性,包
SDB Group
6
大数据内涵
狭义上,大数据仅是资讯、信息而已
但其内涵涉及到流转、管理、处理、应用等
(1)从对象角度看,大数据是大小超出典型数据库软件采
集、储存、管理和分析等能力的数据集合 (2)从技术角度看,大数据技术是从各种类型的大数据中, 快速获得有价值信息的技术及其集成 (3)从应用角度看,大数据是对特定的大数据集合、集成
研究结构化、非结构化、半结构化、流化数据的一体
化存储和组织模型,重点突破三大数据库:多维数据 库、全媒体数据库和位置数据库
解决基于大规模文件和基于数据库的统一存储管理问
题
解决基于时间的块数据存储组织和快速检索问题
SDB Group
15
跨结构一体化时空大数据存储模型
报表 数据 矢量 数据 影像 数据 街景 影像 地名 地址 视频 监控
4. Value:价值密度低,商业价值高
结构化数据:可描述为二维表格的数据,用SQL管理
半结构化数据:非关系描述的其他结构化数据,如XML、
HTML、EML等 非结构化数据:如图片、音频、视频等
SDB Group
5
大数据内涵
大数据仅是数据本身吗?
还17
三、块数据 -
概念
“条数据”:为在某个行业和领域呈链条状串起来的数据。
但这些数据被困在一个个孤立的条上,相互之间却不能连
接起来。如城市各委、办、局独立管理的数据。行业的 “一张图”(如国土一张图)也是条数据 条数据的特征: (1)领域单一
13
时空大数据管理采用混搭架构
包括:设计标准、系统体系 结构、存储架构、查询处理
架构、弹性扩展架构、安全
访问控制体系等
文件底层与分布式文件系统
(如HDFS)结合,研究虚
拟块数据管理容器
MPP与云计算平台(如 Hadoop)结合,研究块数据 并行分布式查询处理架构
SDB Group
14
跨结构一体化时空大数据存储模型
电气化时代:以发电技术、输电技术、电器技术的发明为驱动,释放了能
量的空间限制,让能量能高速高效地聚集和转移,让机械化应用从工厂转 移到了千家万户。
信息化时代:以计算机技术Biblioteka 发明为驱动,让信息和知识能高效、高速传
输和传播,信息/知识成了社会的主要财富,信息/知识流成了社会发展的 主要动力,让产业结构正在实现制造经济向信息经济的转化,改变了人们
括时空关系
• • 文献指出世界上80%的数据与空间有关,实际上世界上几乎 100%的信息都与时空关联,因为世界就是时空 世界上85%的数据是半结构化和非结构化的
SDB Group
12
时空数据的4V特征
数据类型:
多维数据:真三维模型、实景影像、BIM、点云 媒体数据:视频图像、影音多媒体 位置数据:LBS轨迹数据、室内地图… 物联网数据:各类传感器实时数据、半/非结构化数据
三维 模型
SDB Group16
16
BigGeoSQL分布式并行查询处理
融合GeoSQL + NewSQL + 云计算平台,研究实现
BigGeoSQL并行查询处理引擎
同时支持实时计算和批处理计算 支持时空数据融合查询优化与处理 实现高效的时空数据序列运算能力
BigGeoSQL = BigSQL + GeoSQL
时空数据具备的4V特征:
Volume:遥感、街景、视频、BIM、位置等数据规模达PB ~ EB Velocity:LBS、BIM、遥感、实时传感信息需要快速流转和处理 Variety:矢量、栅格、多媒体、BIM、LBS等数据类型多样 Value:海量实景数据中蕴含极高的应用价值
SDB Group