地理空间大数据中心建设整体解决方案
我们处在一个眼花缭乱的年代
云计算物联网大数据移动互联
人工智能区块链……
select
基础地理信息数据
▪地理实体数据▪影像数据▪高程模型数据▪地名地址数据▪兴趣点数据▪三维模型数据▪倾斜摄影数据▪激光点云数据▪全景影像数据▪
……
数据内容计算能力
数据规模
地理空间大数据中心与时空信息云平台项目的陆续启动
•2016~2017年,陕西、四川、浙江等省份陆续启
动地理空间大数据中心建设项目
•2012~2017年间,共有46个城市被列为智慧城市
时空信息云平台试点城市;2017年12月,原国家
测绘地理信息局发文《关于加快推进智慧城市时
空大数据与云平台建设试点工作的通知》
地理空间大数据中心的定位
面向复杂数据的分析处理平台
●高效处理●挖掘分析●
可视化
面向组织之间的共享交换平台
●安全可靠●性能高效●方便快捷
面向业务部门的应用服务平台●资源共享●快速交付●便捷应用
面向组织内部的成果管理平台●质量可控●数据安全●成果有序
共享交换
成果管理分析处理
应用服务
关键技术探讨
地理空间大数据的存储与管理
时空信息云服务平台的构建
云GIS资源池化与容量规划
01
地理空间大数据的存储与管理
不同行业的地理空间大数据分类
基础地理信息数据▪地理实体数据
▪影像数据
▪高程模型数据
▪地名地址数据
▪兴趣点数据
▪三维模型数据
▪新型测绘产品数据▪……行业专题数据▪水利专题▪交通专题▪环保专题▪国土专题▪林业专题▪农业专题▪……
智能感知的实时数据▪动态目标:位置信息
动态变化的实时数据▪静态目标:依托专业
传感器感知的行业专
题实时数据空间规划数据
▪主体功能区规划▪城乡总体规划▪土地利用规划▪生态环境规划▪……
智慧城市时空大数据与云平台
不同行业的地理空间大数据分类国土空间基础信息平台
地理空间大数据管理体系
3
1
2
4
基础地理信息数据
空间
时间
属性
影像、电子地图年代批次序列更新
要素时间序列更新匹配前表格数据
地址匹配
快速空间化
地理实体
+
=
数据立方体
多元信息
基础地理信息数据
行业专题地理信息数据
非结构化数据
结构化数据
实时动态数据
地理空间大数据中心
ETL
Sqoop/Flume
网络爬虫
空间化处理
数据汇交
分布式数据存储
统一标准规范统一时空基准统一数据格式
统一数据资源目录
测绘数据国土数据规划数据水利数据农业数据林业数据
……
Nosql 数据库
矢量大数据
HDFS
HIVE
分布式索引数据库
栅格大数据实时大数据分布式大数据计算资源池
分布式时空信息数据库
统一存储管理
统一存储管理
成果数据区
基础类
专题类
管理类
生
产
与
管
理
数
据
区
规划
……
审批
档
案
证
照
数
据
区
档案
证照
办事
材料
栅
格
数
据
区
影像
栅格
切片
数
据
挖
掘
分
析
区
指标
数据
模型
数据
索
引
区
元
数
据
索
引块存储
(关系型数据库+SDE)
对象存储分布式存储
(HDFS)
索引存储
(ES)
配
置
文
件
区
站
点
配
置
文
件
共享文件
存储(NAS)
地图精编
快速制图系统
数据库
PDF 、EPS
测绘行业模板
水利行业模板
环保行业模板
基础底图模板
自动化、半自动化处理
工具
小结:地理空间大数据管理体系
构建一个集数据汇聚、处理、管理、存储、快速制图、挖掘分析为一体的地理空间大数据管理体系。
数据资源汇聚数据融合、处理统一存储管理数据分析挖掘快速成图
数据综合管理
02
时空信息云服务平台的构建
时空信息云服务平台
多样化的平台服务模式
•全托管:为业务单位提供专属空间,上传专题数据资源,构建应用。
•半托管:向业务单位提供GIS应用环境租用
•服务调用:调用数据、功能服务
在线服务模式•前置机
•离线拷贝
离线服务模式
多源异构服务资源集成管理与共享
•多源服务的一体化管理
•多集群平台运维管理
•主、分节点运行模式
•服务安全机制:访问令牌、细粒
度的权限控制、黑名单机制
•全方位的运维监控功能支撑
•多维度的服务接口
•跨平台的能力
统一服务门户
统一服务门户
•打造一个融合资源检索与展示、“开放式”共享交换以及用户个性化内容管理于一体的新型地理信息资源门户,并具备在
线智能制图、零代码应用自动快速组装、用户按需自服务等能力。
云平台运维管理系统云平台运维管理系统
•多租户的管理模式
•云基础资源监控与管理(资源池、存储、数据库、镜像模板、虚拟机
配置)
•云平台服务监控与管理
•细粒度的权限控制
•黑名单与异常报警机制
•多维度的统计分析
03
云GIS资源池化与容量规划
依托统一的云计算环境向业务部门用户开放私有的时空数据处理、存储、分析、服务器集群等GIS软硬件资源服务。
云GIS资源池管理
资源池管理与多租户隔离机制
•不同的应用场景进行不同的云GIS资源池规划•不同的组织账户分配不同的云GIS资源
•GIS计算资源与存储资源的安全隔离
云GIS 平台的搭建步骤
底层2•基础设施云环境?•网络环境?
云平台底层
规模3•用户群体
•服务数、服务类型•用户数、并发数、响应时间
规模需求
业务
•调研业务需求•组织架构•定制化方案
业务需求
1配置
5•证书服务•域名服务•操作系统要求•存储需求
配置性
GIS 4•决定了交付的云资源类型软件版本
GIS 软件
容量规划主要考量因素:•服务数与站点数
•用户数与并发数
•服务类型与服务实例•服务实例与服务进程•事务量与事务响应时间•服务数据复杂度
服务数与站点数:
•所需要发布的服务总数直接影响了承载服务的站点数
•不建议一个站点发布超过100个以上的服务
•当用户所拥有的服务总数很多时,就需要将服务发布到多个站点中去•站点数的多少决定了需要多少硬件资源支撑
服务类型与服务实例:
•服务类型:包括动态地图服务、要素服务、切片地图服务、地理处理服务、影像服务等,不同的服务类型对硬件资源(CPU、内存、网络、存储)的性能要求也不相同
•服务实例:当多个用户去运行这些服务时,会产生多个服务实例,然后将每个用户的请求拿到独立的服务实例中进行运算
服务类型ArcSOC进程实例数用户数性质GPService21≥1计算密集型ImageService21≥1计算密集型MapService11≥1计算密集型FeatureService11≥1计算密集型CacheService\\n网络存储密集型
总结:地理空间大数据中心建设整体解决方案
基
础设施层
基础设施云环境
标准规
范
体系
电子地图
影像三维公共专题街巷兴趣点门楼址
云GIS 资源池云GIS 集群应用层
多规合一
智慧规划
智慧教育
智慧环保
智慧治理
…...
服
务平台层
运维管理系统
地名地址引擎
时空功能服务
云GIS 资源
租用服务
时空数据服务统一服务门户系统
服务引擎
大数据分析引擎
可视化引擎
数
据层
地理空间大数据集成展示系统
专题图快速制图系统
地理空间大数据管理系统
地理空间大数据
基础地理数据行业专题数据智能感知数据
空间规划数据
存储资源池
计算资源池云GIS 桌面云GIS 数据库…...。