江苏省第三方数据交换平台设计说明书修订历史记录A - 增加M - 修订D - 删除目录1. 引言71.1 编写目的71.2背景71.3 术语与缩写解释71.4 参考资料82. 概要设计82.1 平台设计与定位82.1.1 概述82.1.2 与现有系统的关系102.2 硬件与网络122.2.1 核心硬件和网络122.2.2 外围硬件与网络132.2.3 网络互联的安全132.2.4 节点部署说明142.2.2 软件系统152.3 核心软件系统结构162.3.2 第三方数据源172.3.2 数据接口层182.3.3 传输控制层192.3.4 数据处理层202.3.5 交换数据库212.3.6 数据展现界面212.3.7 数据应用接口222.3.8 上下级系统数据共享222.3.9 数据交换标准222.4 核心软件系统设计原则242.4.1 自动化数据交换242.4.2 可定制数据交换242.4.3 多重方式数据的展现与利用252.4.4 数据全生命周期管理252.4.5 数据字段业务标准262.5 数据存储设计262.6 数据流管理设计273. 技术架构设计283.1 概述283.2 基础组件293.2.1 Spring Framework293.2.2 Swim Framework303.2.3 Piston远程数据交换中间件323.3 领域模型和逻辑设计343.3.1 概述343.3.2 任务调度引擎343.3.3 规则处理引擎373.3.4 系统核心功能设计概述423.3.5 数据导入设计433.3.6 数据加工设计513.3.7 数据应用设计573.3.8 数据上传和下发设计633.3.9 任务监控管理中心设计703.3.10 系统权限设计713.3.11 数据权限设计743.3.12 数据标准设计753.3.13 现有系统集成设计773.3.14 数据使用反馈设计784. 系统功能设计804.1 概述804.2 数据交换部分814.2.1 数据交换流程824.2.2 交换项目设置824.2.3 交换项目调度884.2.4 交换项目的监控884.2.5 数据交换的一些原则904.3 数据加工部分904.3.1 数据加工流程914.3.2自动匹配924.3.3 手工匹配974.3.4手工撤销匹配984.3.5 数据匹配综合管理994.4 数据应用部分1004.4.1 数据字典查询1014.4.2 交换项目情况查询1024.4.3 按交换项目的简单数据查询1024.4.4 单户明细信息查询1034.4.5 数据输出接口1034.4.6 对于异地数据交换的说明1044.4.7 成果展示1044.4.8数据利用反馈展现1054.5 数据上传下发1064.5.1 数据上传1064.5.2 数据下发1074.5.3系统全景图查询1074.6 系统设置和管理部分1084.6.1 层级管理1084.6.2 岗位设置1094.6.3 权限管理1104.6.4 代码表设置1104.6.5 交换项目设置备份和恢复1101.引言1.1 编写目的根据《江苏地税第三方数据交换平台系统需求思路》以及多次需求和技术讨论会,特别是3月份和7月份演示讨论会后,依据省局领导的意见,形成该三方数据交换平台的技术设计说明书。
该文档把三方数据交互平台的技术和功能方面的设计,通过文字和图表明确的表述出来,以供领导审阅。
同时,也依据该设计文档,进行下一步的设计和开发工作。
1.2 背景根据省局《关于委托常州地方税务局开发“第三方数据交换平台项目”的通知》的要求,立足于全省地税系统应用和管理的实际情况,开发建设具有通用性、适应性强的数据交换平台。
该平台是支撑税源专业改革新模式的重要数据平台,为风险管理平台和日常税源监控及税收分析提供了强大的第三方信息库。
该平台的开发立足于第三方信息进得来、管得住、整合得好,为风险平台的后期数据应用及其它业务需求提供可靠的信息源,为税源专业化改革的深化推进提供重要的支撑平台。
1.3 术语与缩写解释1.4 参考资料《江苏地税第三方数据交换平台系统需求思路》2.概要设计2.1 平台设计与定位2.1.1 概述从核心数据处理功能来讲,三方数据交换平台设计实现为一个数据ETL(Extract Transform Load)平台,该平台首先从定义好的第三方数据源抽取(Extract)数据,然后经过转换(Transform)处理进入平台系统,最后通过一定的技术手段装载(Load)为可以直接应用的数据,如下图所示。
数据ETL过程图三方数据交换平台是一个专注于数据处理的技术平台,它将提供丰富的数据导入、处理和应用方式,充分考虑多种应用场合,实现方便的定制功能,使得操作人员在数据处理层面上有多种多样的选择方式,可以根据不同数据来源和去向定制各异的数据导入、加工与应用规则。
三方数据交换平台也是一个相对独立的系统,它与其它系统之间没有业务上的直接耦合关系,对外它只提供数据的输入接口和输出接口,仅仅是数据的采集和提供者。
所有的数据业务关系,是通过平台的使用人员通过不同的数据处理规则去定制实现的。
在这种机制下,业务规则不是固化在平台实现里,从而提供了极大的灵活性,增强了系统的可使用性。
下面的三方数据交换平台示意图比较直观的显示了上述内容。
三方数据交换平台示意图通俗来讲,三方数据交换平台可以视作一个数据加工厂和数据流桥梁。
原始的三方数据相当于原料,原料进工厂(数据导入)以后,经过加工过程(数据加工),成为可以发售的产品(可以应用的数据)。
除了数据工厂作用以外,它还是数据流环节中的一个桥梁,通过这个桥梁,数据可以在不同的应用系统之间进行流动。
2.1.2 与现有信息系统的关系三方数据交换平台建设的初衷不是一个孤立的系统,它是为了加工处理数据,进而为其他系统服务的。
在现阶段,可以预见的跟它有数据关系的系统包括政府公共信息网、省地等级别的相关数据系统(国税、工商、供电、供水、社保、国土等等)以及地税内部现存的信息系统,包括大集中系统、风险管理平台等。
三方数据交换平台系统在这样一种关系网络中,处于中间地位,通过该平台的建设,打通数据在现有的这些系统之间的流动路径,使得原本孤立的这些信息孤岛能够连成一片,实现信息数据的共享和应用。
它是各个系统之间的纽带,为建设综合治税这样的大概念平台打下了坚实的基础。
三方数据交换平台关系示意图因为现存的系统各种各样,对外的接口也不尽然相同,所以为了尽可能多的适应当前系统,在对当前系统对外接口不做过多的改变的前提下(事实上,要对现有系统接口做修改在很多情况下没有太大的可行性),三方数据交换平台将会提供多种形式的数据输入接口和输出接口,这在后续将会详细讲述。
因为当前需要接入的系统就很多,业务规则也千差万别,未来也可能有更多的系统接入,所以三方数据交换平台不可能一开始就设计好与其它系统之间的业务关系,否则接入一个新的系统,平台就要做相应修改,这个工作量是不可想象的。
所以,三方数据交换平台设计为和其它系统之间并没有直接的业务耦合关系,它只是提供了多种多样的数据处理规则和方式,让平台系统的操作人员去动态的定制,这样间接的实现了业务规则的转换,从而为多种不同业务系统的接入,提供了可能性。
站在其它系统的角度来看,三方数据交换平台仅仅提供了数据的输入和输出接口。
从三方数据交换平台内部来看,它提供了多种多样的数据处理规则,通过这些规则的灵活定制,实现了数据的业务处理。
2.2 硬件与网络2.2.1 核心硬件和网络核心硬件与网络是指本系统在税务系统内部的硬件与网络部分。
从宏观来讲,该平台是一个分布式系统,由地理位置上分离的各个数据交换平台软硬件系统节点组成。
从单个数据交换平台软硬件系统节点来看,它又是一个自成体系的系统。
所以,网络和硬件的设计也必须按照数据交换业务的实际需求来设计,实现互联和安全访问。
对于部署在不同地理位置的数据交换平台软硬件系统,称之为节点。
从上下级关系来看,系统的部署可以分为多个级次,每一级次都是由一个到多个节点组成。
例如,在省、市两级进行部署,省、市分别为部署在本地的数据交换平台软件系统准备合适的硬件平台和网络环境。
另外,在网络结构上,具有上下级关系的节点之间的能实现相互访问,而同级节点之间,则不一定需要直接进行相互访问这样的功能。
在这一级别上,可以采用专网、防火墙等技术实现该平台所需的分布式网络。
2.2.2 外围硬件与网络外围硬件与网络是指和第三方数据源直接有干系的硬件和网络。
因为第三方数据源的情况现在并不明朗,只有到具体接入实施的时候,才会知道具体的情况。
所以,为了考虑兼容和接入不同的三方数据源,网络接口的设计也需要具有比较大的灵活性。
关于外围硬件与网络,需要在几个不同的方面加以说明。
首先,在通信的发起上,分为主动和被动方式。
主动方式是指核心网络主动去访问第三方数据源,这一形式只能在第三方数据源提供了网络连接支持,并开放了访问权限的前提下,才能实现,那么这需要第三方数据源提供接口主机并保证数据安全传输的前提下,以专网或公网为传输媒介进行通信。
被动方式是指在核心网络的外围,提供可以访问的接口主机,提供多种可以访问的手段,让第三方数据源主动发起数据通信。
其次,在网络的接口和互联上可能有多种形式,包括直接互联走专网的方式以及在公网上间接提供接口主机的形式。
那么接口主机可能位于核心网络,也可能位于第三方数据源,这要看通信由谁发起来决定。
2.2.3 网络互联的安全因为数据交互牵涉到大量的保密数据的交换,所以在硬件互联层面上,安全性也是非常核心的一环。
在本系统设计和部署的时候,将严格按照地税和相关其它部门的安全规范和规定,确保万无一失。
另外一点就是,本系统只部署在安全网络环境内,不考虑直接通过Internet和第三方数据源进行交互,系统可以提供间接的方式,例如对外的Web上传界面,Ftp等,实现数据的采集,采集的数据通过异步方式转移到核心系统内。
2.2.4 节点部署说明如下图所示,该数据交换平台系统在宏观上由部署在不同地理位置的多个节点组成,这些节点位于不同的层级,一个层级对应有一个到多个节点。
所谓节点也就是在一定的地理位置实际部署的软硬件系统。
层级分为省级和地市级,所有在地域行政级别相同的节点属于同一个层级,例如南京市与常州市的市级部署节点它都属于市一级的三方数据交换平台系统。
节点部署只是一个宏观的概念,在实际部署中,对于要部署几层、多少节点,这个根据省局的安排和当地实际业务情况来进行。
比如说一个区(县)可以选择部署和不部署这样的数据交换平台系基于节点的网络部署图统。
在不部署平台系统的情况下,它可以直接访问上级机构部署的节点,实现数据的交换和数据利用。
当然这需要有一些前提条件:首先网络要互联;另外还需在上级机构的系统里进行用户设置和访问权限的设置。