中国银行DevOps历程、效果及展望
张新质量工程师
目录1
背景
2
建设历程
3
DevOps体系
4
效果
5
展望
1
系统紧耦合
2
3
问题遗留多
发布效率低
u 多个子系统无法做到并行交付
u BUG互相影响，蔓延u 单个系统问题，影响整体版本发布
u 开发阶段测试不充分，缺陷滞留到集成阶段u 自动化能力缺失，大量依赖人工处理
u 环境多复杂，开发/测试/生产环节不一致u 环境管理成本高u 发布过程手工、低效
我们面临的问题--整个产品交付速度不满足需求的增长速度
产品特点
……
自助渠道
柜员前端
网银渠道渠道接入总线
数据服务总线
总账
总行MIS
……
风险管理
外围产品
全球支付全球资金清算全球额度结算衍生业务反洗钱
全球现金
集中授权对账管理卡交换
投资理财
核心银行系统
参数
客户
存款
贷款
支付
借记卡
分行特色系统
产品交易总线
……
中国银行作为大型传统银行企业，业务多，产品架构复杂，业务类型分为传统银行类和互联网金融类，主要的技术架构为传统集中式和新兴分布式。
需要建立适合自身特点的既支持分布式架构又支持集中式架构的中国银行特色DevOps体系。
目录1
背景
2
建设历程
3
DevOps体系
4
效果
5
展望
发展历程
四个阶段
u全生命周期配置管理
u持续集成
u持续交付
u DevOps
目录1
背景
2
建设历程
3
DevOps体系
4
效果
5
展望
DevOps体系
体系化实施方法
价值交付
持续交付、快速反馈、降低风险、质量内建
任务流程
组织
Dmgr 核心原则
Ø标准化Ø自动化Ø
可视化
关键实践
Ø配置管理Ø构建管理Ø持续集成
Ø测试管理Ø环境管理Ø部署管理
技术
基础架构
应用架构
容器技术
基础环境自动化
工具链
微服务架构
配置化架构
精益用户故事看板
团队协作度量改进
成熟度
开发编译
Ø编译构建Ø单元测试
测试验证Ø系统测试Ø集成测试
部署运维Ø发布部署Ø运维监控
可靠、可重复流水线
任务
•生产任务看板的实践
•实时记录任务进度和问题，实现信息共享
流程
•以标准化、自动化和可视化为准则，形成相应的体系和规范。
•开展相应实践活动：配置管理、持续集成等。
流水线
•建立基于AIX、X86、ZOS系统的交付流水线
•利用容器技术缩短部署周期•
分布式系统运维研究
组织
•通过流程建设，实现组织进一步的协作融合
•建立成熟度评价模型，持续改进
基础架构
•在开发环节，研究实现虚拟资源的自动申请、注销
•容器技术研究，并形成中行的Docker技术使用规范
应用架构•技术解耦
体系化实施方法
流程体系
建立统一协作流程，实现合理分工、密切合作的实施组织。
原则是以交付为核心，打通交付流程；建立产品开发、测试、运维端到端统一协作流程。
模型规范
建立应用模型和相关规范。
完
善持续集成应用平台，考虑运
维需求，在原有规范和模型基
础上，进一步优化完善。
交付流水线
打造适合中国银行特点的交付
流水线。
在持续集成开发流水
线的基础上，生产环节复用、
优化自动部署和自动化测试资
产；把质量和安全软规范内建
到产品的生产过程中，实现软
规范硬约束。
度量评价
建立多维度度量、评价体系。
通过度量和评价，建立反馈，持续改进。
文化环境
推进Devops文化建设。
将DevOps理念渗透至工程领域各相关人员，促进团队间协作关系的改善。
中国银行DevOps建设内容“五个”方面
目录1
背景
2
建设历程
3
DevOps体系
4
效果
5
展望
建立统一协作流程，促进融合协作
质量管理部
p DevOps整体设计和管理；
p协调、组织开发、测试、维护群组，在生产环节实施自动化部署、稳定性测试；
p完善持续集成应用平台；
p优化持续集成应用模型；
开发群组
p扩大持续集成应用的深度和广度；
p优化自动化部署流程，提升部署效率；
p提供稳定性测试案例脚本；
版本安装团队
p自动化部署需求和改进建议；
p实施功能测试环境应用产品版本自动化部署；
p应用自动化部署功能，提供自动化部署验证报告；
维护群组
p自动化部署需求和改进建议；
p实施生产环节应用产品版本自动化部署；
p协助提供生产环境下自动部署平台所需软、硬件和网络环境；
“一个”工作小组，“两个”实施方针（管理上强调融合协作机制，技术上强调标准化统一手段）
软件中心数据中心
建立DevOps应用模型和相关规范
建立DevOps框架和技术规范，形成
相应的开发规范和应用模型，为中国
银行应用产品快速实现DevOps应用
提供技术指导。
建立DevOps应用模型支撑能力建设
应用产品生命周期管理依赖于工具系统支
撑能力，创建强大工具集，支撑DevOps
生产线。
涉及代码管理、变更管理、构建、
部署、测试、代码复查等工具96个；相
关系统3个。
打造适合中国银行特点的产品交付流水线
AIX
建立基于Power架构下的AIX系统应用产品交付流水线
ZOS
基于Power架构下的主机系统应用产品交付流水线
X86
基于X86架构交付流水线应用产品交付流水线
“三条”交付流水线。
为了实现应用产品快速交付、提高运维的效率和质量，根据中国银行应用产品现状，
建立“开发测试运维一体化平台系统”产品，三个子产品，形成相应交付流水线。
交付流水线
以交付为核心，根据应用产品现状，建立以配置管理为基础，AIX、X86、ZOS三条交付流水线。
提升交付流水线上各工程活动自动化能力；促进部门间协作融合，实现应用产品端到端到交付。
角色现流程实施DevOps流程
研发中心产品库
运维中心生产调度
版本出库放于
产品库某网段FTP
发送邮件到
生产调度
检查合规
发送邮件到
生产调度
Y
取出版本
检查版本合规性
检查合规
将版本放于调度版本服务器某网段
FTP
Y
N
版本出库放于
产品库某网段FTP
将版本自动放于调度版本服务器某网段FTP/推
送至部署平台演练/生产版本库
产
品
出
入
库
检查合规
Y运维调度检查点合
并至版本出库
序号工作流程
1•依据版本标识，将版本自动推送至连接22和21网段之间的中转服务器上
•依据版本标识，将版本自动化推送至自动化部署平台演练环境相关服务器指定位置
2•依据版本标识，从中转服务器将版本自动化推送至自动化部署平台在生产环境相关服务器指定位置
3•部署平台自动获取版本至部署服务器
G O P S 全球运维大会2017·上海站WAS部署
因权限原因，目前WAS部署架构为，搭建WAS服务器，通过该WAS服务器实现目标系统WAS服务器间版本推送和部署工作。
经过应用验证，WAS堡垒机的版本号须与目标环境WAS 版本保持一致，至少大版本号相同。
SADP-AIX部署系统
...........................
..................
WAS堡垒机WAS堡垒机WAS堡垒机目标环境目标环境目标环境
演练环境、生产环境、准生产环境部署架构图
.........
.........
G O P S 全球运维大会2017·上海站WAS 部署
涉及工作流程：
序号工作项
1
按照目标环境版本情况，搭建WAS堡垒机（演练、生产、准生产）2
各应用产品实施自动化部署前，申请目标环境与堡垒机之间网络端口开通（8879~8884，9060~9065，9043~9048，22）（演练、生产、准生产）3因WAS8版本自身原因，在涉及该WAS版本的应用产品版本部署前，需要系统管理员协助删除一个JAR包。