应指技装〔2012〕24号附件5安全生产应急平台信息交换与共享技术规(试行)安全生产应急救援指挥中心二〇一二年八月安全生产应急平台信息交换与共享技术规(试行)1围本技术规提出了安全生产应急平台信息交换与共享体系架构、技术实现式、信息交换与共享系统的技术要求、数据接口规和数据交换共享容。
本技术规适用于规划设计和建设各级安全生产应急救援指挥机构应急平台之间,以及安全生产应急平台与政府应急平台、安委会成员单位应急平台、企业安全生产应急平台之间的信息交换和共享系统。
2规性引用文件下列文件对于本文件的应用是必不可少的。
凡是注日期的引用文件,仅所注日期的版本适用于本文件。
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 7408-1994 数据元和交换格式信息交换日期和时间表示法GB/T 18793-2002 信息技术可扩展置标语言(XML)1.0GB/T 21062.1-2007 政务信息资源交换体系第1部分:总体框架GB/T 21062.2-2007 政务信息资源交换体系第2部分:技术要求GB/T 21062.3-2007 政务信息资源交换体系第3部分:数据接口规GB/T 21062.4-2007 政务信息资源交换体系第4部分:技术管理要求3术语及定义3.1 安全生产应急平台信息交换信息交换是指独立于具体应用,与具体应用耦合关系松而清楚,不随应用的变化而变化,保证数据可靠传输和安全传输,提供统一接口规,实现安全生产应急平台与不同部门异构系统之间不同格式数据的交换。
3.2 安全生产应急平台信息共享信息共享指各级安全生产应急平台之间,或与政府应急平台、安委会成员单位应急平台、企业应急平台等不同层次、不同部门的应急平台系统间,信息和信息产品的交流与共用。
3.3 前置机前置机是一种以数据交换为基础的中间交易设备,它实现的主要功能有网络通信、数据认证、数据格式转换、数据流水记录、数据预处理、数据监控和数据统计等。
3.4 服务接口服务接口是指各级安全生产应急平台之间以及与其他不同层次、不同部门应急平台系统或人之间的共享边界。
4信息交换与共享体系4.1概述信息交换与共享在整个安全生产应急平台体系中居于中心地位。
本级安全生产应急平台通过信息交换与共享系统抽取及共享下级安全生产应急平台提供的数据并进行存储,以及通过信息交换与共享系统向上级平台提供其所需的数据,此外,本级安全生产应急平台还应满足本级政府应急平台的数据共享与交换要求,同时可支持与本级安委会成员单位、本级专业应急救援基地(队伍)、本级各类企业等相关单位应急业务系统的数据交换。
从而形成互联互通、数据共享的安全生产应急平台数据库体系,实现安全生产领域突发事件应急处置和管理过程中的信息共享。
各级安全生产应急平台与外部数据源的交换与共享逻辑关系如图1所示。
图1 安全生产应急平台信息交换与共享逻辑关系图4.2技术实现式为实现各级安全生产应急平台之间及与其他应急业务系统之间的信息交换与共享,应急平台的信息交换与共享主要在两个层面上利用五种式综合多种技术手段解决信息交换与共享问题。
两个层面主要是指在数据库层面和应用系统层面,五种式主要是指:ETL实现数据库之间信息交换与共享、消息和Web Services 服务实现信息交换与共享、消息和共享文件实现信息交换与共享、数据文件导入应用系统实现信息交换与共享、数据文件导入数据库实现信息交换与共享。
应根据安全生产应急平台与各应用系统之间的环境条件来选择其技术实现式。
4.2.1 ETL 实现数据库之间信息交换与共享ETL 实现数据库之间信息交换与共享式是指两个业务系统数据库之间通过数据工具(ETL )实现数据的抽取,转换,清洗和装载,达到数据交换的目的。
a) 使用环境:两个业务系统数据库的网络互通,属于同一局域网,主要应用于安全生产应急平台与本级安全生产信息系统之间进行数据交换。
b) 技术选择:基于数据库的数据工具ETL 。
c) 数据同步:对数据同步的实时性要求不高,增量数据大,可以按月/季度进行数据交换。
d) 用户操作:系统管理员通过在“ETL 数据抽取工具”中进行配置,可以自动执行。
e) 数据流向:数据流向支持双向同步。
f) 业务流程:业务流程如图2所示。
数据交换数据交换安全生产应急平台数据库值守数据库预案数据库资源数据库ETL 数据抽取工具交换引擎(捕获,抽取,转换,加载)交换任务监控交换任务调度交换任务配置安全生产信息系统数据库值守数据库预案数据库资源数据库…………图 2 ETL 实现数据库之间信息交换与共享流程图业务流程注释说明:1)在ETL数据抽取工具中进行配置两个数据库中参与数据交换的表,配置数据映射,配置交换任务,配置任务调度。
2)ETL数据抽取工具按照调度时间执行数据交换配置,利用交换引擎完成数据的捕获、抽取、转换和加载,达到安全生产应急平台数据库和安全生产信息系统数据库之间数据交换。
4.2.2数据文件导入应用系统实现信息交换与共享是指从某系统的数据库中导出的数据文件,通过数据导入功能,将数据文件导入目标应用系统中,然后进行数据解析和数据使用的过程,达到数据交换的目的。
a)使用环境:两个应用系统之间的网络存在防火墙或者物理隔绝,导致两个应用系统之间不能相互访问,必须通过人工传输数据文件。
b)技术选择:基于组装和解析数据文件XML和Excel等技术。
c)用户操作:下级用户登录(特殊账户)安全生产应急平台系统中的数据库管理系统,下载需要上传数据的模板文件(如Excel),按照格式填写数据,然后上传导入。
d)数据流向:通过数据文件实现数据导入导出,支持数据双向流动。
e)业务流程:业务流程图如图3所示。
上级下级图 3 利用数据文件导入应用系统实现信息交换与共享流程图业务流程注释说明:1) 下级用户登录上级安全生产应急平台的数据库管理系统,下载数据模板文件,填充数据然后再上传到数据库管理系统。
2) 数据库管理系统将导入的数据解析到对应的应用系统数据库中。
4.2.3 数据文件导入数据库实现信息交换与共享是指从某系统的数据库中导出的数据文件,然后通过数据导入功能,将数据文件导入目标数据库中,然后进行数据解析和数据使用的过程,达到数据交换的目的。
a) 使用环境:两个应用系统数据库之间的网络存在防火墙或者物理隔绝,导致两个系统数据库之间不能相互访问,必须通过人工传输数据文件。
b) 技术选择:基于组装和解析数据文件XML 和Excel 等技术。
c) 数据同步:对数据交换的实时性要求不高,增量数据大,可以按季/年度进行数据交换。
d) 用户操作:系统管理员登录ETL 数据抽取工具,根据数据配置数据文件和数据库的对应关系,然后执行数据交换。
e) 业务流程:业务流程图如图4所示。
图4 利用数据文件导入数据库实现信息交换与共享流程图业务流程注释说明:1)外部应用系统或者数据库工具将数据导出形成数据文件。
2)在ETL数据抽取工具中进行配置数据文件与数据库映射,配置数据映射,配置交换任务,配置任务调度。
3)ETL数据抽取工具按照调度时间执行数据交换配置,利用交换引擎完成数据的捕获、抽取、转换和加载,达到与安全生产应急平台数据库和外部系统的数据文件之间数据交换。
4.2.4消息和Web Services服务实现信息交换与共享是指两个应用系之间通过系统接口实现数据访问,数据传输,数据解析和数据使用,达到数据交换的目的。
a)使用环境:两个应用系统可以直接相互访问,或者两个应用系统之间通过如前置机等网络中转设备间接相互访问。
b)技术选择:基于面向服务架构的SOA的web services技术。
c)数据同步:对数据交换的实时性要求高,每次进行数据交换的增量数据较小。
d)用户操作:没有单独的用户操作,数据同步触发嵌套在应用系统中。
e)数据流向:数据流向支持双向同步。
f)数据质量:对数据的交换质量有要求,一旦数据交换失败,系统能自动识别并及时再次进行数据交换行为。
在此利用消息驱动来保障数据交换异常处理。
g)业务流程:业务流程图如图5所示。
图5 消息和Web Services服务实现信息交换与共享流程图业务流程注释说明:1)其他信息系统每次“(1)调用服务上传数据”,信息交换与共享系统给对一个数据处理结果(利用“(2)回执消息”)。
如果处理异常,回执消息告知其他信息系统再次调用服务上传数据。
2)参与数据交换的格式采用Web Services接口标准,通知和异常信息采用标准消息格式。
4.2.5消息和共享文件实现信息交换与共享是指两个应用系统之间通过共享文件实现数据组装、数据传输、数据解析和数据使用,达到数据交换的目的。
a)使用环境:两个应用系统都能访问网络上的某个共享目录,或者两个应用系统都能访问同一个FTP服务器。
b)技术选择:基于XML文件和FTP服务器技术。
c)数据同步:两个应用系统之间的数据对实时性要求不高,增量数据大,可以按月/季度进行数据交换。
d)用户操作:系统有单独的操作界面,手工触发完成数据交换。
e)数据流向:数据流向支持双向同步。
f)数据质量:对数据的交换质量有要求,一旦数据交换失败,系统通过消息报告,提醒用户手工重新操作。
利用消息驱动来保障数据交换异常处理。
g)技术要求:参与数据交换的数据文件存放“前置机”上,应用系统完成数据交换文件的自动上传,自动下载,数据文件的数据交换。
h)业务流程:业务流程图如图6所示。
图6 消息和共享文件实现信息交换与共享流程图业务流程注释说明:1)前置机上部署消息服务器和FTP服务器,负责消息转发和文件共享。
2)数据交换与共享系统将需要共享的数据文件通过FTP客户端上传到前置机上的FTP服务器共享目录中,消息通知其他信息系统,其他信息系统请求FTP服务器的共享目录,下载共享数据文件,然后按照数据格式进行数据解析和数据使用。
3)业务流程向也可以从其他信息系统到数据交换与共享系统,异常通知采用消息机制。
4.3信息交换与共享体系架构4.3.1体系组成按照网络环境和技术实现原理的不同,安全生产应急平台信息交换与共享体系由ETL数据抽取系统、数据导入导出系统和信息交换与共享系统组成。
信息交换与共享体系构成如图7所示。
图7 安全生产应急平台信息交换与共享体系构成4.3.2ETL数据抽取系统ETL数据抽取工具系统由数据抽取、数据转换、数据加载和数据更新组成。
数据抽取是指从源数据库中按照条件抽取符合条件的数据。
数据转换是指按照配置的数据转换条件对数据进行加工转换处理。
数据加载是指处理好的数据进行加载到缓存中进行预处理。
数据更新是指将预处理后的数据写入目标数据库中,完成数据的更新。
4.3.3数据导入导出系统数据导入导出系统由数据文件导入和数据导出功能组成。