电商实时风控系统建设方案
事件中心
es 中事件结构
6 反欺诈风控系统技术架构
事件流程详细
பைடு நூலகம் 技术交流
规则指标等所有配置在容器启动时加载到内容中,如 果有新的改动时如何同步到分布环境中的多个实例中 每个业务场景采集的数据字段可能不一样,如何减少 开发&上线部署来解决新的场景接入 一个事件可能需要并行去提取几十个指标 如何支持高并发 流式计算和内存计算能力
• 一主多从的数据库架构 • 账户&交易几张大宽表 • 运营库同步问题 • DROOLS的规则编写问题 • 新业务接入过程有些复杂 • 接入字段不统一,cellPhone, mobile, phone,telephone
3. 引入动态接入模块jade
主要思想: •业务场景的字段统一化,从数据字典中选取 •业务场景接入的数据采用可配置化 •按业务场景数据垂直分表,分库处理 •数据采集或者更新自动化
Jade场景配置
Jade场景配置
Jade线上对接
对接过程是jade先上线对收单场景(最大的场景) 数据进行双写(大概一个月的时间,然后复制所有 规则到新场景, 之后每天双边对比规则命中情况 ,确定无误之后断开老场景的采集。
4. 用脚本表达式替换Drools
对线上的几千个drools的规则抽样发现后,实施反欺 诈规则没那么复杂,可以用脚本表达式像Mevl2 等替 代,Mevl2 也是 drools 的规则的一个实现。另外 Mvel2支持java代码,因此在新的反欺诈引擎中,我们 选择了预编译的脚本表达式进行规则的执行。
策略 路由 规则&指标
内存模型
5. 用ES存储非结构化数据
对于运营来说数据可能需要保留几年,当一张 表的数据量达到几十亿时,因为业务的需要要 对表结构进行变更时,对dba或者运营的人员 来说都是极其困难的事情。 原因是变更表结构 需要几个小时才能完成,运营人员处理客诉时由 于延迟根本查不到这些数据。因此问题才凸显 出来。在新的反欺诈引擎中采用了Elastic Search 作为运营数据的来源。
Q&A
电商实时风控系统建设方案
技术创新,变革未来
1. 实时风控系统简介
• 实时风控是作为旁支渗透到各个业务系统中,为业务 提供风险判断能力
• 辅助风控运营人员日常运营,主要包含人工审核、案 件审理、处罚中心、交易辅助查询、名单库管理等等
• 收集了业务系统的部分数为风险分析师或者模型训练 提供数据来源
2. 背景(当前存在的问题)