苏宁数据中台技术架构实践
∙OLAP 是底层的加速、查询引擎,底层支持Druid、ES、PGCitus 集群,类似Presto,跟Presto 不同的是OLAP 会主动对数据进行Cube 预加速。
∙百川是指标平台层,让用户建模、定义指标,对外提供指标查询服务。
百川主要支持的建模方式是:星型模型。
数据建模自然离不开维表维度,UDMS 系统就是来定义、管理所有维度、维表,目前收录了整个集团近200 多个维度,对外提供维度、维表信息服务。
∙天工是类似Tableau、Superset 的可视化报表设计平台,与这些BI 软件最大的不同点是,天工基于百川的指标、UDMS 的维度来制作报表,数据来源已经高度标准化、归一化。
目前商业报告分析工具:Cognos、阿里QuickBI 等,是将数据建模、可视化设计能力放到一起,这是天工与它们的最大区别。
∙慧眼,是统一报表门户,所有的报表统一发布到慧眼面向业务。
慧眼最大的挑战在于报表权限管控与自动匹配,总共4000 多张报表,用户2w 多,一张报表开放给8000+人员是很常见的。
所有这一切靠人工维护,既容易出错又不利于数据安全,也不能及时响应用户需求,这些都是慧眼系统要解决的问题。
数据中台对一个企业,起着至关重要的作用。
在数据中台这个称谓成型之前,各个企业也都在用不同的方式来尽可能地利用数据产生价值。
只是在这个过程中,也不得不处理着数据带来的各种问题,比如各个业务系统经年累月以烟囱架构形式存在而导致的数据孤岛、数据隔离、数据不一致等等。
数据中台对企业的真正意义是,让传统企业向科技企业升级,让IT系统集成向大数据集成升级,让工具/流程/管理向驱动业务运营升级。