数据 管理
-数据采集管理 -数据加工处理
-生产状态监控 -运行趋势分析 -整体容量管理 -历史数据调阅
-备份计划管理
-备份操作执行 -介质归档管理 -备份周期管理
数据管理
数据使用
-运营情况分析 -业务创新支持
科技服务之一：结构化/非结构化数据的全生命周期管理与使用
4
数据管理如何实现 哪些是结构化数据
A Composite Web Application, Involving J2EE, Integration Middleware and Legacy Systems 系统名称
交易流水表 图形化前端管理系统(GTS) 理财产品销售系统（FUND） 电子支付平台（EPAY）
有 有 有 有 有 有 有
是否含有下列内容
交易代码
有 有 有 有 有 有
交易日期
有 有 有 有 有 有 有
交易时间
有 有 有 有 有 有 有
交易状态
有 有 有 有 有
分类统计
分行号 有 无 无 渠道 有 登录方式 运营商 无 业务种类 交易种类
总 外汇买卖系统（ EXCH）
总前服务 PbMainFunc
前 动态口令集中认证管理平台(OPT) 应 现金管理系统（ CaMS） 用 层 手机银行（ CEMB）
存储
网络
接 入
应用系统数据管理协议、日志输出标准化........
有效运用各类数据的基础是对其进行全程管理与控制
7
业务标识设计：为业务全程分析埋下“线索”、染 色
系统间会话 短连接： 资源共用、容 量大、连接耗 时，关注异常 波动
长连接： 资源专用、效 率高，关注超 时及挂起状态
业务流程
单系统交易
系统资源层
改造后有 有 有 有
报警日志
客户信息统一管理系统(ECIF) 信贷风险流程管理系统（CECM） 总前生产主机 市场风险管理系统(SUMMIT)
数据库服务器
有
WEB前台应用
无
数据管理如何实现 哪些是结构化数据
哪些是非结构化数据
非结构化数据：运行产生的各类日志【静态】
运行过程中产生的各类日志为非结构化特性
交易报文标准化
统一交易标识：全行统一的交易标识，在多系统中传输，便于监控 和故障诊断 报文加密策略：对中间件、应用服务器的报文加密进行统一规定
数据管理基础：结构化/非结构化数据可采集、可加工、可分析利用
9
9
数据管理如何实现 哪些是结构化数据
哪些是非结构化数据
结构化数据及其采集使用：交易流水......
海量非结构化数据处理技术 在运营管理中的运用
大数据很有价值，但数据获取很关键
目录 1

银行数据全生命周期管理探讨
规划、设计、线上、近线、离线、下线、调阅、销毁？

结构化数据是哪些，非结构化数据是哪些，如何获取？
2
海量非结构化数据特点及使用 海量非结构化数据技术要点与实现
3
2
银行数据全生命周期管理-系统数据、业务数据 定义 控制 维护
哪些是非结构化数据
银行各类数据的产生、分布、状态、用途.......
操作
安全
账务
信息
银行单笔业务的执行，引起整体架构各层面产生各类关联性数据
安全事故
服务器
虚拟化
故障单
业务执行产生 动态与静态数据
发展 安全 规范 变更 管理 基础运行产生 技术相关数据
应用
审计
分析哪里存在数据、什么形式、特征如何、如何管理、如何使用
据
PbInsertDBLog 模块 贵金属交易系统 (GOLD) （渠道、业务种类） 核心业务系统（ECAS）
WEB页面显示
有 有
有
交
易
短信平台系统(MSG)
有 有
数据
库复制
有 有 有 有
有
数
在同一字段内 有 有 有 有 有 有
总前数据库
有 有
监控Web端后台数据库
有 有 有
总 Call-Center 系统(CCS) 前 总行大前置系统（EBIP） 平 总行中间业务平台（ EBMP） 台 层 新网络银行系统（NBANK）
•
日志的结构化程度很低
• 难以采集、归档、查询 • 非标准日志难以定期清理 • 难以保证日志的完整性 • 难以做上下文关联分析
• 日志的字段标示等非标准化
• •
跨日志关联性高，但搜索线索难以自动化 日志生成的形式多种多样（文件名不定）
数据输入 网络端口 • • • 监听所有端口 TCP/UDP syslog, SNMP, IMAP, POP3, JMS 计算机文件 • 监测运行的文件 • 批量上传文件 • 网络，应用，服 务器和设备日志 自定义脚本与APIs 文件系统 • • • • 监测系统的变化 配置 密码文件 关键性脚本与代 码
使用
历史数据调用分析使用：
系统数据监控与分析 业务数据的调用与登记 业务数据的翻新与备份
3
银行数据全生命周期管理目标
- 数据特性识别 - 使用规划设计 - 备份需求确认 - 使用周期确定 - 技术手段落实
数据规划
数据生产
- 在线生产数据监控采集 - 近线查询数据归档处理 - 离线归档数据备份分析 - 数据分析结果综合运用
设计阶段落实数据管理：
提出应用系统数据管理规范 定义应用系统数据管理协议 明确不同类型数据的管控手段
投产前明确数据管控手段：
明确各类数据的特性 确定各类数据的存在环境 系统及业务数据的采集方式 设计各类数据的备份与恢复
生产数据性能及容量管理 生产数据的备份与归档 生产数据管理备份与归档： 数据在线、近线、下线管理 备份数据有效性验证与管理
基金托管系统(FTS) 第三方存管系统(IFTS)
前置二期监控实施中 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有
后台监控程序 （数据分析） 有
有 有 有 有 有
有
有 有 有 有 有 有 无 有
有 有 有 有
监控后台报警 程序
无
交易渠道
错误日志
有 交易渠道 交易渠道 无 无
企业年金系统（EPAMS）
请求： 请求发起端 ，超时、成 功率
连接 网络转发、 动态分配， 后端状态
转换 快速转接、 转换，是否 有堵塞
服务 业务服务原 子交易，速 度、可靠
业务标识：可用于故障定位、容量系数、业务分析.......
8
银行数据生命周期管理：从源头控制与实施
日志标准化
日志分类：应用系统，应将交易流水日志、系统debug日志，系统 报错日志 日志分级：各类日志应设置级别控制，通过动态开关，控制日志写 出的粒度 日志格式：各类应用日志，尤其是系统报错日志，应遵守统一的格 式要求 日志传输：日志写出并传输的方式，应采用全行统一的传输方式