时空大数据分析及应用方案
见著知微、大成智慧
ArcGIS时空大数据分析及应用
公元207年 曹操
北戴河
北戴河
1954年 毛主席 北戴河
时空交错,跨越千年的共鸣
以时空为基准来描述物理世 界和虚拟世界的大数据。 • 80%数据和地理位置有关 • 100%数据属于时空范畴
TB/PB/EB 多结构
时间 基准
结构化
非结构化
空间 历史
数据管理
复制到数据存储 字段计算 追加数据 空间叠加
工具组合
离线计算 逻辑判断
流程化应用 分布式计算
API for Python
业务工作流
场景,时空大数据分析价值体现
1
事务计算型
传统需求,向分布式计算转移: • TB、PB级数据分析 • 土地利用现状分析 • 建设用地审批分析 • 生态红线与基本农田压盖 • 地理国情变化监测 • 数据量大、效率低、运算复杂
应用
1.指标模型、业务库 2.公共服务(智慧城市、智慧园区) 3.行业大数据(国土、测绘、农业、气象...)
1.特征定义 2.价值讨论 3.大数据思维 4.大数据战略
理论
技术
1. 2. 3. 4. 5.
数 分 云 分人
据 布 存 布工
融 式 储 式智
合存
计能
储
算
以 以以 数 平应 据 台用
为 为为 基 手导 础 段向
坡度数据: 700万
叠加分析
管控区: 580万
叠加分析
地类图斑: 800万
传统方式:30小时 大数据:48分钟
数据裁剪
叠加分析
汇总统计
事务型:由工具到模型,流程化应用
土地利用现状数据
零星地物 线状地物 地类图斑
勘测定界数据
大数据分析工具
Join_Result
Join
Overlay
业务逻辑
业务模型:
2
辅助决策型
• 多源数据融合分析 • 综合建模分析 • 土地用地规划 • 气象灾害等级评价 • 城市区域发展状态评估 • 人口活动、社会感知关联关系探索
3
洞察预测型
Geo.AI • 出行轨迹预测 • 到港时间预测 • 犯罪事件预测
事务型:分布式计算--让性能不再是问题
不同坡度等级、不同管控区类别、不同地类分类面积汇总统计
人文
社会 地理
运动 更新 内容 变化 洞察
时空大数据价值
快速信息提取
• 纵至深
支撑时空决策
• 横至广
时空大数据分析,机遇和挑战
挑战一:时空大数据组织管理难
数量大 结构杂 来源广 多时相
挑战二:分析计算效率低
量大而计算慢
结构杂而性能低
挑战三:业务需求场景化
数据挖掘
数据信息价值
解构时空大数据
理论 技术 应用
1、所有的业务问题,都可以归为数据问题; 2、所有的空间数据问题,都可以用ArcGIS大数据分析工具来解决
17+种工具 持续更新中....
数据汇总
聚合点 连接要素 轨迹追踪 汇总属性 范围内汇总 构建多值段网格
位置查找
查找相似位置 事件检测 地理编码
分析模式
计算密度 查找热点 点聚类
邻近分析
创建缓冲区
ArcGIS 大数据,基础时空框架构建
业务应用
ArcGIS空间 大数据平台
数据汇聚
多行业
多领域 多部门
国 土
测气 绘象
环 保
公 安
电 信
......
规 划
多来源
多类型
标矢栅实 机准量格 时器分分分计学 析析析算 习
模型融合 流程引擎
土地利用现状分析 多规合一应用分析
ArcGIS已经积累了国土、测 绘、气象等多个行业模型, 还在不断扩展中.....
API
据
据据据据
台 ArcGIS空间大
管
清质组挂
资 数据计算平台
理
洗检织接
源
分
人口活动时空聚集规
一次出行分析
析
场
律 出行方式识别
景
居民出行链特征分析
出行轨迹绘制 交通枢纽OD分析
数据清洗 模型构建 业务场景
业务应用集成
三种模式、两种接口、多种语言
Rest API
Python API
模型重构
土地利用现状分析 • 30分钟46秒 • 优化业务流程 • 持续改进算法
ArcGIS 时空大数据应用领域
国土 交通 电信
测绘 规划 教育
农业 气象 医疗
环保 公安 ……
提升性能 优化流程 提高效率
ArcGIS10.6 时空大数据分析平台
• 鲜活的大数据平台 • 以应用为导向的时空大数据 • 数据、平台、应用,全面优化、深入融合
谢谢聆听!
数据组织 分析工具 业务逻辑 应用集成
结果输出
洞察型:ArcGIS空间大数据聚类分析
杂乱无章有章可循 细粒度洞察时空关系
辅助决策型:关联分析,时空态势挖掘
演示 王彤
时空大数据分析框架
数据资源 业务需求 成果展示
数
信令数据(每天1TB、120亿条)
全市小区数据
据
资
源
POI数据
大
数
数数数数
平
工具
多结构Leabharlann 多时相时数数转汇同数空据据换聚步 据基清质加管更融准洗检载理 新合
数据,空间分析挖掘的本源
多业务
空间数据组织管理,大数据分析的关键
环保 规划
交通
农业
电力
国土
多结构
shpfile
CSV/TSV/TXT
DBMS
汇聚 更新
大数据资源池
CIFS/NFS
HDFS
Hive
云存储
工具,连接数据与业务的关键