计算平台概要设计说明书作者：日期：2013-01-28 批准：日期：审核：日期：（版权所有，翻版必究）文件修改记录目录1.引言............................................................................................1.1编写目的...............................................1.2术语与缩略词...........................................1.3对象及范围.............................................1.4参考资料...............................................2.系统总体设计 .............................................................................2.1需求规定...............................................2.1.1..................................................................................... 数据导入2.1.2..................................................................................... 数据运算2.1.3............................................................................. 运算结果导出2.1.4..................................................................................... 系统监控2.1.5..................................................................................... 调度功能2.1.6............................................................. 自动化安装部署与维护2.2运行环境...............................................2.3基本设计思路和处理流程.................................2.4系统结构...............................................2.4.1............................................................. 大数据运算系统架构图2.4.2................................................ hadoop体系各组件之间关系图2.4.3................................................................. 计算平台系统功能图2.4.4................................................................. 系统功能图逻辑说明2.4.5................................................................. 计算平台业务流程图2.5尚未解决的问题.........................................3.模块/功能设计............................................................................3.1计算驱动模块...........................................3.1.1..................................................................................... 设计思路3.1.2......................................................................................... 流程图3.1.3..................................................................................... 处理逻辑3.2调度模块...............................................3.2.1..................................................................................... 设计思路3.2.2......................................................................................... 流程图3.2.3..................................................................................... 处理逻辑3.3自动化安装部署模块.....................................3.3.1..................................................................................... 设计思路3.3.2..................................................................................... 处理逻辑3.4调度模块与计算驱动模块交互流程.........................3.4.1................................................................................. 处理流程图3.4.2..................................................................................... 处理逻辑3.4.3................................................ hadoop驱动模块调用驱动接口3.4.4....................................... 调度模块接收hadoop执行状态接口3.5调度模块与kettle交互流程..............................3.5.1................................................................................. 处理流程图3.5.2..................................................................................... 处理逻辑3.6对调度任务运行过程进行监控流程.........................3.6.1................................................................................. 处理流程图3.6.2..................................................................................... 处理逻辑3.7对hadoop驱动任务运行过程进行监控流程..................3.7.1................................................................................. 处理流程图3.7.2..................................................................................... 处理逻辑3.8对操作系统/应用程序监控流程............................3.8.1................................................................................. 处理流程图3.8.2..................................................................................... 处理逻辑3.9监控报警模块...........................................3.9.1..................................................................................... 设计思路3.9.2......................................................................................... 流程图3.9.3..................................................................................... 处理逻辑4.系统数据结构设计 ......................................................................4.1数据实体关系图.........................................4.2数据逻辑结构...........................................4.2.1......................................................................... 驱动任务设置表4.2.2................................................................................. 驱动设置表4.2.3................................................................. 驱动任务执行明细表4.2.4................................................................................. 调度任务表4.2.5................................................................................. 调度步骤表4.2.6................................................................. 调度步骤执行记录表4.2.7................................................................. 操作系统监控数据表4.2.8................................................................. 应用程序监控数据表4.2.9......................................................................... 监控系统配置表业务数据记录表....................................4.3数据物理结构...........................................5.安全设计 ....................................................................................6.容错设计 ....................................................................................6.1挽救措施...............................................6.2系统维护设计...........................................7.日志设计 ....................................................................................1.引言1.1 编写目的大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。