当前位置:
文档之家› 业务数据全生命周期管理工作思路
业务数据全生命周期管理工作思路
面。
《商业银行数据中心监管指引》 银监办发[2010]114号
应建立数据安全管理制度,规范数据的产 生、获取、存储、传输、分发、备份 、恢复和清理的管理,以及存储介质的台
帐、转储、抽检、报废和销毁的管理,保证
数据的保密、真实、完整和可用。
《商业银行信息科技风险管理指引》 银监发[2009]19号
• 建立实施信息分类保护体系,培训员工信息保护流程。 • 严格管理客户信息的采集、处理、存贮、传输、分发、
• 在数据的整个生命周期中,不同阶段的数据其性能、可用性、保存等要求也不一样。 • 通常情况下,在其生命周期初期,数据的使用频率较高,需要使用高速存储,确保数据的高可用性。 • 随着时间的推移,数据重要性逐渐降低,使用频率会随之下降,应将数据进行不同级别的存储,为其提供适当的可用性、存储空间。 • 最终大部分数据将不再会被使用,可以将数据清理后归档保存,以备临时需要时使用。
实现历史数据的“管、控、查”
管理对 象
结构化 数据
在线
DB
数据存放策略 近线
DB
非结构 化 数据
离线
数据 访问方式
平台 接口
在线访问 专门工具访问
生产数据库 归档/历史数据库
专门工具访问 大数据平台
恢复后访问 在线访问
备份工具/磁带 生产存储
内容检索平台
专门工具访问
备份工具/磁带
恢复后访问
10
2.1数据的全生命周期管理—理论与方法
施。 • 应采用加密或其他有效措施实现系统管理数据、鉴别信息和
重要业务数据采集、传输、使用和存储过程的保密性。
3
1.1数据管理的外因--国际会计准则等业务管理需求
银行的数据保存周期策略,最常用的经验法则是13个月规则和7年规则。
确保数据集至少有一个完整年度的数据周期,能够看到一个完整年度的数 据,这通常是数据保存周期的最低要求。
优化存储结构
Norm
Optinize
✓ 优化数据存储结构,有效控制在 线数据规模,提高生产数据访问 效率。
全生命 周期管理
提高效率
Efficiency
✓ 提高系统资源使用效率,确保系 统安全、稳定、高效运行。
Support
数据支撑
✓ 做好历史数据管理,为客户服务 和经营分析提供数据支撑
9
2.1数据的全生命周期管理—方案
6
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
7
2.1数据的全生命周期管理—定义
• 数据全生命周期管理:是指根据数据价值随时间推移的演化关系,提供高效、低成本、安全、访问便捷的管理架 构。
• 数据全生命周期管理贯穿于数据产生(开发设计、投产变更)、数据使用(采集、修改、存储、调阅)、数据保 管(备份、恢复、测试)、数据销毁等各个环节。
备份、恢复、清理和销毁。 • 保存交易记录,确保完整性,安全保存和可恢复。
《金融行业信息系统信息安全等级保护实施指引》 JRT0071-2012
• 对重要信息资源设置敏感标记,依据安全策略严格控制用户 对有敏感标记重要信息资源的操作。
• 检测系统管理数据、鉴别信息和重要业务数据在采集、 传输、使用和存储过程中完整性,并采取必要的恢复措
4
1.2数据管理的内因—监管审计和经营分析和数据查询需求
5
1.2数据管理的内因—解决关键系统数据库容量管理问题
交易访问
明细查询
数据调用
在线 生产数据
归归档档瘦瘦身身
近线 生产数据
数据迁移 按需回退
归档库
结构数据 非结构数据
降低成本:按业务与技术分析要求,控制生产在线数据容量,降低高端存储的容量成本 提升性能:通过迁移并清理历史数据,重新回收数据库的存储资源,提升应用系统交易与批量性能 有效处置:将生产数据库容量控制在较小的范围内,在发生数据库等故障的情况下,便于快速处置
业务数据全生命周期管理工作思路
1
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
2
1.1数据管理的外因--金融行业监管的相关要求
《银行业金融机构数据治理指引》 银保监发【2018 】22 号
银行业金融机构1应当制定全面科学有效的
数据管理制度,包括但不限于组织管理、 部门职责、协调机制、安全管控、系 统保障、监督检查和数据质量控制等方
越来越多的需求要包括去年加上今年的数据,这样会要求设置25个月, 使得能够处理2年以上时间段的数据分析。
主要应用于内部管理的数据使用,受业务使用需求驱动。
此类规则主要是受税务及其它报告法规的需求驱动,在国际会计准则下,
一般都要求保留7年的可查询业务场景数据。 此规则也是为适应经济情况分析的需求,基本近似于一个完整的经济 周期,对于制定合理的业务规划预算是非常重要的分析数据源。
在线阶段
归档
数据生命周期管理流程
清理 归档阶段
清理
销毁阶段
系统 快照
用户 快照
ห้องสมุดไป่ตู้
在线归档
转移
历史数据 平台
结构化
影像平台 非结构化
老化表
离线归档
磁带 光盘 低端磁盘
➢ 在线归档阶段(也被称为近线阶段):将访问频度较低且应用需求不高的数据从应用中分离出来,保存在另外的磁盘并提供相应的查 询;
➢ 离线归档阶段:将访问频度较低且应用需求不高的数据从应用 中分离出来,保存在磁带、光盘及低端磁盘上。离线归档后不提供信 息联机查询入口,如有相应的查询要求,需特定的查询工具或将归档数据导入相应系统。
创建
安全与保护
保存与归档
访问与 查找
回收
活跃 10%
半活跃 20%
静态 70%
大多数是非结构化 8
2.1数据的全生命周期管理—目标
• 数据是我行的重要资产之一,健立健全数据管理体制,满足监管要求,提升数据管理能力,充分发挥数据价值, 为经营决策提供有力支撑,已成为当前科技工作的主要任务。
规范管理
✓ 通过规范数据的生命周期管 理,提高数据的整体管理水 平,满足监管要求。
3
修改维护阶段:根据通过审批流程的《哈尔滨银行应用系统 生产数据维护申请书》进行数据维护,并记录相关信息。
数据 管理
数据调阅阶段:业务部门提交经主管业务部门审批通过的《哈
11
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
12
3.1数据管理工作流程—各阶段的主要管理内容
设计(开发)阶段:结构化数据支持读写分离,非结构化数据支持按时间
1
和业务部门进行分离;充分考虑数据清理机制。
2
投产变更阶段:评审《数据管理服务协议》,确认协议中的备份策 略、清理策略的合理性。