数据平台系统项目-技术方案数据平台项目目录第1章方案总述 (1)1.1 前言 (1)1.2 项目背景 (1)1.3 项目目标 (2)1.4 项目建设原则 (2)第2章系统建设规划 (3)2.1 项目建设目标的理解 (3)2.1.1 项目建设范围 (3)2.1.2 项目建设内容 (3)2.2 分行数据平台的建设目标 (4)2.2.1 分行数据平台一期建设目标 (5)2.2.2 分行数据平台二期建设目标 (5)第3章整体设计方案 (5)3.1 系统设计方法论 (5)3.1.1 方法论 (5)3.1.2 设计原则 (6)3.2 数据平台技术体系 (11)3.2.1 数据平台逻辑架构 (11)3.2.2 数据采集设计 (14)3.3 数据平台数据体系 (19)3.3.1 数据架构设计 (19)3.3.2 数据模型设计 (21)3.3.3 灵活查询功能架构 (29)3.3.4 数据备份与恢复 (29)3.4 数据平台应用体系 (32)3.4.1 统一报表平台 (32)3.4.2 数据图表化展示 (82)3.5 数据平台设计关键点 (90)3.5.1 数据平台性能保障 (90)3.5.2 时间窗口 (98)3.5.3 备份策略 (99)3.5.4 数据模型的历史数据存储 (99)3.5.5 源系统变更影响分析 (101)第4章软件及推荐硬件设备配置方案 (102)4.1 系统软件方案 (102)4.1.1 统一报表平台 (103)第1章方案总述1.1前言我们衷心感谢贵行给予我们这样一个很好的机会，可以为贵行的数据平台建设提供技术解决方案和项目实施方案的建议书，并通过我们的方案建议书为及其应用系统的建设提供帮助。
我们期盼与贵行共同努力，以我们在兄弟分行和其他银行实施同类项目的经验以及我们使您的愿景变成现实的能力，为贵行IT建设增添一个新的里程碑，也为我们与贵行的真诚合作启动一个良好的开端。
该项目除了可以用宇信易诚所具有的经验和技术为贵行提供帮助外，我们认为这也是一个与贵行建立长期战略合作关系的宝贵机会。
我们为这个目标所做出的努力正反映了这一点，我们愿意建立一个灵活的商务策略，和服务质量有竞争力的专家团队来满足贵行的需要。
1.2项目背景随着贵行业务的快速发展，信息系统不断增多，业务数据量的规模也在急速膨胀。
分行数据整合平台作为贵行的数据整合中心，需紧密衔接总行ODS、数据仓库及分行特色系统、并且需考虑到贵行未来将要建设的系统的接入问题。
根据贵行业务的拓展和条线管理的需要，各业务部门对决策信息依赖程度不断提高，经常会有一些高灵活性、多变性、高及时性的信息需求。
贵行目前需要能够满足业务需求快速响应的统一数据平台，仅依靠传统的数据加工模式对源数据进行抽取加工操作，由于业务口径的不一致性、数据质量低下、以及缺乏良好的数据统计分析手段等问题导致分行范围的决策分析成为难题，不能充分发挥业务积累的相关数据的作用数据的及时性和准确性难以保证，给管理和营销增加了难度。
本次数据报表平台项目承担了分行主要业务数据的集中和整合及报表应用展示的功能。
通过数据平台的建设，将为零售、公司、同业、绩效、人力资源、运营等业务提供统一准确的数据支持，是贵行业务精细化管理能力的重要基础类系统。
数据平台从中远期角度来看，将成为贵行管理层/经营层洞察经营全貌、优化经营管控水平、推进战略决策效能、支撑综合运营分析的数据分析平台。
通过数据的集中化、标准化管理，实现分行数据的信息共享，构建实现企业数据平台及相关的管理决策分析应用。
1.3项目目标贵行数据平台建设项目是搭建一个对接总行ODS、数据仓库、衔接分行特色业务的数据平台。
从底层的数据平台、DW到上层的BI（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分析系统之间实现数据交换，通过数据的加工、整合实现报表统计和分析。
建立基础数据模型、ETL 平台、ETL 管理调度平台、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。
具体目标为：1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成分行统一的数据视图，建设成为贵行系统应用的基础数据平台。
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵行业务分析和经验决策提供全面的支持。
1.4项目建设原则本次项目建设遵循的技术原则如下：数据平台的正确建立和合理利用将直接影响到贵行的未来信息化发展，贵行数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：1. 数据集中原则：将总行ODS、数据仓库数据、分行特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。
2. 数据标准分行统一原则：依据总行的数据字典，减少数据定义的二义性。
未来分行特色应用系统的数据结构是分行数据结构模型的子集。
对分行级数据实行单点维护，确保分行级数据的可靠性和一致性。
3. 数据管理分行统一原则：统一的存储管理，统一规划使用存储资源，提高存储资源使用效率。
统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。
统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。
4. 降低数据冗余和数据复制原则：减低分行级数据的冗余度，降低数据对存储资源的需求。
各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。
第2章系统建设规划2.1项目建设目标的理解数据平台的建设对于贵行是一个非常重要的系统工程，承担着贵行企业数据整合、数据交换以及数据服务的重任，通过数据平台的建设使得贵行将自身信息资产切实、有效的管理起来，形成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系统提供有效的数据支撑。
2.1.1项目建设范围贵行数据平台本期项目建设范围，可以从涉及到的业务范围、涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来分析。
2.1.1.1业务范围本项目的业务范围以贵行零售、公司业务条线为主，计财、绩效、运营等为辅。
2.1.1.2组织范围本项目业务涵盖的组织范围为贵行及辖内二级分行、支行。
2.1.1.3数据范围本项目的源系统范围包括目前贵行的主要业务系统，并需要满足本期数据平台主题应用的数据需求。
2.1.2项目建设内容2.1.2.1基础数据平台基础数据平台技术架构搭建从总体上规划企业级的基础数据平台，平台将包含历史数据存储、基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台要采用统一的数据标准规范；基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植到新数据平台的工作。
ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数据的清洗、转化、加载等操作，形成数据分析、决策所需的各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指标。
ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。
基础数据平台数据补录功能提供数据补录平台功能，包括补录流程管理、补录模版管理、单笔补录、批量补录等。
通过补录平台实现数据平台无法自动获取的具备分析价值的数据。
本期基础数据平台数据标准涵盖以下工作内容：接口标准：规范数据平台加载数据接口、卸出数据格式及校验标准公共代码标准：参考总行ODS与数据仓库标准与分行特色数据标准；数据质量管控数据质量管控是一个长期的过程，依托于数据管控组织机构、流程的建立和完善。
数据平台一期进行数据质量管控体系的初步探索，主要完成如下目标：（1）、建立初步的数据质量管理检查规则，包括功能性和非功能性规则。
功能性规则主要包括：完整性、唯一性、合法性、准确性等；非功能性主要包括信息的完整性、一致性、业务稽核等；（2）、根据建立的初步检查规则，进行数据质量的监测，出具初步的数据质量检查报告；（3）、根据数据质量检查报告，提出数据质量提升的解决方案。
2.1.2.2分行级指标体系借鉴与参考总行统一报表指标体系成果，在此基础上建立满足分行口径指标体系，扩展分行指标；满足业务日常固定报表使用的同时提供多样化的报表展现界面，包括表格展现，各类图形展现；要求界面友好，易用性强，并能够提供具性化应用风格支持。
2.1.2.3统一报表平台构建统一报表平台，实现分行业务应用报表的集中化管理、一体化服务；具有报表定制、管理、维护功能；构建分行用户及权限管理体系，支撑分行业务用户报表应用需求。
能够快速响应各级业务应用人员的报表需求，满足报表批量分类存档的需要。
2.2分行数据平台的建设目标2.2.1分行数据平台一期建设目标基于对贵行系统现状的了解，贵行数据平台一期的建设目标是：1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成分行统一的数据视图，建设成为贵行数据集中管理和应用的基础数据平台。
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵行业务分析和经验决策提供全面的支持。
3、集成现有对公、零售主要系统业务固定报表，支撑业务数据使用需求。
4、指标数据按照图表样式进行区间查询展示数据趋向，波动。
5、将分行原指标体系按照新指标体系进行平移；2.2.2分行数据平台二期建设目标鉴于一期建设主要是搭建主体平台，二期的信息化建设目标是继续完善平台，丰富平台应用效果，全面覆盖现有旧综合平台，将重要数据迁移。
具体目标如下：二期项目中可以集成计财、运营、人力资源等系统报表;支持数据图表展示、SQL查询等个性化查询需求；将更多的管理应用系统的数据源迁移至数据平台；建立并推广一套完整的需求与技术落地标准与体系。
可以预见，随着数据平台的不断成熟，业务部门对数据平台的认知不断提高，会有源源不断的需求基于数据平台提出，这种变化将使得数据平台由前期技术部门“推”转变为业务部门的“拉”，让业务需求作为数据平台持续良好发展的源动力。
第3章整体设计方案3.1系统设计方法论3.1.1方法论数据平台的项目是一个长期的循序渐进的过程，也是一个不断创新、修复、完善的过程，其伴随着应用系统的发展而发展。
根据贵行的业务特点以及企业系统建设的现状和未来发展蓝图，致力打造一个可扩展的、高可用性的、安全的、高效的、跨部门的可以快速处理海量数据的数据平台。
在贵行数据平台建设方面依据可重用性、安全性、高可用性、可管理性、可扩展性、高性能的设计原则采取总体规划，分层实现的方式。
纵向层面自上而下看，贵行数据平台的架构由逻辑（应用）架构、数据架构、技术架构和物理架构四个层次组成，每个层次内部又根据设计需要进行抽象分层，从而形成立体的贵行数据平台项目架构方法。