π-Frame平台的四大特色
规模大：计算机部署规模，数据管理规模，应用支撑规模 速度快：分布式输入输出，并行计算，全并行化 开放性：开源技术，开放平台，免费在线开发服务 智能化：架构层、系统管理层、应用层、界面层
31
π-Frame平台技术特色
特色1：规模大
海量地震数据管理支撑：100+PB 大规模并行计算资源支撑：1000+节点（数万~数十万核） 大规模用户、项目、作业支撑：4000+ 单作业处理数据规模大：18TB数据的分选作业 大规模功能扩充支撑
pπ-Frame分选单作业测试 最大数据量：18TB 66节点：SORT作业
作业数 14个
数据量 作业类型 42TB SORT
运行时间 2h28m23s
运行效率(GB/m) 289.62
π-Frame：18TB，9小时
商业软件：1TB，55小时
36
π-Frame平台技术特色
特色2：速度快
66个节点：3.2TB数据 记录长度：8s 采用间隔：1ms 总道数：100940800
47
π-Frame平台技术特色
近地表速度反演与模型编辑
23
π-Frame 1.0主要功能
三维可视化交互应用
三维叠后数据体浏览
三维叠前道集数据浏览
能
地震资料批处理业务功能
π-Frame V1.0已支持完整的常规地震数据处理流程，目前已有 批处理模块100多个，交互应用模块近30个。新的模块在不断 集成和增加中。
27
π-Frame平台技术特色 基于Hadoop/HDFS的海量地震数据高效管理技术
海量数据管理能力：100PB级以上 数据高吞吐能力、高可扩展性、高容错性、高性价比
28
π-Frame平台技术特色
基于Hadoop/MapReduce的地震数据处理并行计算框架
数据剖分
全 并 行 处 理 系 统
Map任务
特色3：智能化
数据管理的安全性和容错性：节点故障监测与自动处理
发现和恢复时间2分钟以内， 与磁盘容量和网络带宽相关
44
π-Frame平台技术特色
特色3：智能化
作业管理的安全性和容错性：节点故障条件下作业的正常运行
故障 节点数 1 2 3 4 作业起始结束时间 19:30:2619:49:19 14:50:4015:10:46 15:42:2316:04:10 16:08:5316:30:50 17:10:3917:32:53 节点1 故障时间 19:31:53 14:51:28 15:18:56 16:09:46 14:52:28 15:19:36 16:10:22 15:50:16 16:11:02 16:11:42 节点2 故障时间 节点3 故障时间 节点4 故障时间 节点5 故障时间 运行时间(s) 1133 1206 1306 1316
存 储 配 额 管 理
17
π-Frame 1.0主要功能
面向应用与用户的资源管理服务：作业队列与资源调度
队列优先级控制与资源抢占和退出
18
π-Frame 1.0主要功能
地震数据浏览与分析
19
π-Frame 1.0主要功能
地震数据浏览与分析
视速度分析
频谱分析
交互地震道编辑
交互初至拾取
初至自动拾取
运行时间(s)
2135
12:38:00 13:37:40 11:35:25 14:30:10 21:51:05 13:39:15 11:37:10 14:31:54 21:52:50 11:38:45 14:33:40 21:54:25 14:35:33 21:56:10 21:57:50
2822 2857 2990 3196 3154
■业务智能
道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。
41
π-Frame平台技术特色
特色3：智能化
■架构智能：架构层容错性与鲁棒性
支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复
42
π-Frame平台技术特色
特色3：智能化
数据管理的安全性和容错性：支持节点动态增删
43
π-Frame平台技术特色
π-Frame1.0地震处理系统的主要功能组成
简单、便捷的系统主控界面 2. 高效、易用的海量数据管理 3. 可视化批处理作业流程管理 4. 全程实时化的作业监控管理 5. 面向应用与用户的资源管理与服务 6. 地震数据浏览与分析 7. 工区底图与平面属性分析 8. 三维可视化应用 9. 速度分析与建模 10.地震资料批处理业务功能
1.42TB/min
2TB/min
40
π-Frame平台技术特色
特色3：智能化
■架构智能
架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复
■操作智能
上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、 合法性自动检查；资源预警与作业错误报警。
■管理智能
资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及 资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。
运行时间：13m12s
运行时间：20m54s
245GB/min
155GB/min
37
π-Frame平台技术特色
特色2：速度快
多种类型的作业运行性能
38
π-Frame平台技术特色
特色2：速度快
地震叠前偏移模块的性能优化：KPSTM
70.5小时
39
π-Frame平台技术特色
特色2：速度快
地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制
观测系统数据加载
11
π-Frame 1.0主要功能
可视化批处理作业流程管理：批处理作业流程编辑器
模块选择区
流程编辑区
帮助区
模块参数编辑区
12
π-Frame 1.0主要功能
可视化批处理作业流程管理：支持多种复杂类型作业流
多分支（单进多出）作业流
多分支合并作业流
多分支混合类型作业流
13
π-Frame 1.0主要功能
全程实时化作业监控管理
作业监控与管理
作业运行全程实时监控及信息记录
14
π-Frame 1.0主要功能
全程实时化作业监控管理
作业运行信息监控与日志
15
π-Frame 1.0主要功能
面向应用与用户的资源管理服务
集群与单节点系统资源监控
16
π-Frame 1.0主要功能
面向应用与用户的资源管理服务
队 列 管 理
5
17:11:50
17:12:10
17:12:30
17:12:50
17:13:10
1334
测试作业：2.1TB（INPUT—BPFILTER—OUTPUT）
45
π-Frame平台技术特色
特色3：智能化
作业管理的安全性和容错性：节点故障条件下作业的正常运行
故障 节点数
0 1 2 3 4 5
作业起始 —结束时间 15:27:03 16:02:38 12:36:36 13:23:38 13:36:36 14:24:14 11:34:28 12:24:18 14:29:02 15:22:18 21:49:44 22:42:18 节点1 故障时间 节点2 故障时间 节点3 故障时间 节点4 故障时间 节点5 故障时间
1.
8
π-Frame 1.0主要功能
简单便捷的系统主控界面
p项目管理 p用户管理 p数据管理 p资源管理 p模块管理 p作业管理 p日志管理 p交互模块
9
π-Frame 1.0主要功能
高效易用的海量数据管理
数据导航树与属性
数据历史管理
10
π-Frame 1.0主要功能
高效易用的海量数据管理
实时交互分析与校验预览于一体的地震数据导入
完成关键技术验证选型与基础平台关键功能开发
开展Hadoop技术验证，完成软件平台架构设计 12月正式启动π-Frame项目
5
π-Frame平台概况
π-Frame 1.0发布：SEG年会，美国新奥尔良，2015年10月19日
6
π-Frame平台概况
π-Frame三大组成部分
7
π-Frame 1.0主要功能
46
测试作业：2.1TB（INPUT+KPSTM+OUTPUT）
π-Frame平台技术特色
特色3：智能化
全生命周期的临时空间管理
p 两种管理机制
u本地临时空间
uHDFS临时空间
p 全生命周期管理
u申请—使用—销毁
u临时空间的预判机制 u自动清除机制
u作业崩溃或终止时， 自动删除临时数据和 输出数据
宽方位采集
多源地震
多分量
微地震实时监控
高性能计算技术发展：多核CPU、GPU
分布式存储
大数据技术（Hadoop）
4
π-Frame平台概况
研发历程
2015年
推出π-Frame 1.0地震处理系统
完成平台测试，完善平台与处理功能
2014年
2013年 2012年 2011年 2010年
开始地震数据处理（批处理与交互）功能开发
25
π-Frame平台技术特色
π-Frame定位：大数据时代的新一代地震勘探软件平台
■四大设计理念
面向海量地震数据高效管理：PB级 面向超大规模并行计算：超万核级 面向地震处理解释一体化 面向开放共享与服务
■关键技术选型
基于先进的大数据技术架构Hadoop
26
π-Frame平台技术特色