主数据管理(MDM)的成熟度MDM全写Master Data Management,翻译为主数据管理或元数据管理。
什么是MDM企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。
主数据和主数据管理的概念企业主数据可以包括很多方面,除了常见的客户主数据之外,不同行业的客户还可能拥有其他各种类型的主数据,例如:对于电信行业客户而言,电信运营商提供的各种服务可以形成其产品主数据;对于航空业客户而言,航线、航班是其企业主数据的一种。
对于某一个企业的不同业务部门,其主数据也不同,例如市场销售部门关心客户信息,产品研发部门关心产品编号、产品分类等产品信息,人事部门关心员工机构,部门层次关系等信息。
数据管理的范畴和主数据管理的概念如图所示,企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。
●交易数据:用于纪录业务事件,如客户的订单,投诉记录,客服申请等,它往往用于描述在某一个时间点上业务系统发生的行为。
●主数据:主数据则定义企业核心业务对象,如客户、产品、地址等,与交易流水信息不同,主数据一旦被记录到数据库中,需要经常对其进行维护,从而确保其时效性和准确性;主数据还包括关系数据,用以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
元数据:即关于数据的数据,用以描述数据类型、数据定义、约束、数据关系、数据所处的系统等信息。
主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保证主数据的完整性、一致性和准确性 ( “ The set of disciplines, technologies, and solutions used to create and maintain consistent, complete, contextual and accurate business data for all stakeholders (users, applications, data warehouses, processes, companies, trading partners, customers, etc.) across and beyond the enterprise ” ) 。
主数据管理的典型应用有 Customer Data Integration —客户数据管理和Product Information Integraiton —产品数据管理。
图 2. 主数据管理的信息流一般来说,主数据管理系统从 IT 建设的角度而言都会是一个相对复杂的系统,它往往会和企业数据仓库 / 决策支持系统以及企业内的各个业务系统发生关系,技术实现上也会涉及到 ETL、EAI、EII 等多个方面,如图 2 所示,一个典型的主数据管理的信息流为:1.某个业务系统触发对企业主数据的改动;2.主数据管理系统将整合之后完整、准确的主数据分发给所有有关的应用系统;3.主数据管理系统为决策支持和数据仓库系统提供准确的数据源。
因此对于主数据管理系统的建设,要从建设初期就考虑整体的平台框架和技术实现。
MDM的意义如图 3 所示:集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用,包括各个业务系统、业务流程和决策支持系统等。
主数据管理使得企业能够集中化管理数据,在分散的系统间保证主数据的一致性,改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。
从 IT 建设的角度,主数据管理可以增强 IT 结构的灵活性,构建覆盖整个企业范围内的数据管理基础和相应规范,并且更灵活地适应企业业务需求的变化。
以客户主数据为例,客户主数据是目前企业级客户普遍面临的一个问题,在大多数企业中,客户信息通常分散于 CRM 等各个业务系统中,而每个业务系统中都只有客户信息的片断,即不完整的客户信息,但却缺乏企业级的完整、统一的单一客户视图,结果导致企业不能完全了解客户,无法协调统一的市场行为,导致客户满意度下降,市场份额减少。
因此,建立客户主数据系统的目的在于:●整合并存储所有业务系统和渠道的客户及潜在客户的信息:一方面从相关系统中抽取客户信息,并完成客户信息的清洗和整合工作,建立企业级的客户统一视图;另一方面,客户主数据管理系统将形成的统一客户信息以广播的形式同步到其他各个系统,从而确保客户信息的一致;●为相关的应用系统提供联机交易支持,提供客户信息的唯一访问入口点,为所有应用系统提供及时和全面的客户信息;服务于 OCRM 系统,充分利用数据的价值,在所有客户接触点上提供更多具有附加价值的服务;●实现 SOA 的体系结构:建立客户主数据系统之前,数据被锁定在每一个应用系统和流程中,建立主数据管理系统之后,数据从应用系统中被释放出来,并且被处理成为一组可重用的服务,被各个应用系统调用。
MDM的模式元数据管理涉及到各个层次的元数据,管理的内容包括元数据的获取、元数据的更新、使用和面向应用项目的元数据使用处理等多个方面。
元数据的管理涉及数据库、数据处理软件、数据使用系统、面向应用的数据分析等各个环节。
下面给出了一种普通意义的以元数据信息系统为基础的元数据管理模式:通常意义上的元数据管理是指元数据通过各种途径形成后,对其内容的添加、删除、更新等涉及内容改变的操作和元数据内容检索、查询、放置、组织等常规性元数据操作,从这种意义上元数据的管理可以通过两种方式实现,即系统管理模式和用户管理模式。
系统管理模式是面向数据库的,由数据库管理系统专业人员完成,数据用户只有使用权,没有元数据的操作权,数据应用项目中新生成的数据集的元数据也有应用系统传递给数据库管理员,然后由数据库管理员统一管理。
这种方式中,数据在处理过程中形成的动态元数据很难及时记录下来。
另一种管理方式是用户管理模式,它是面向应用项目的,即允许某些数据用户在数据应用元数据的变动信息直接反馈给元数据库,这样则能保证元数据的动态更新和新生成数据集元数据的及时捕获及写入元数据文件。
但这种模式中数据用户的权限要适当的控制,以避免数据库的破坏。
通常对元数据的管理是采用两者结合的模式。
主数据(MD Master Data)指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据)。
与记录业务活动,波动较大的交易数据相比,主数据(也称基准数据)变化缓慢。
在正规的关系数据模型中,交易记录(例如,订单行项)可通过关键字(例如,订单头或发票编号和产品代码)调出主数据。
主数据必须存在并加以正确维护,才能保证交易系统的参照完整性。
从报告或维度建模角度看,主数据指基于其组织或配置指标的维度或层次,而不是实际情况或其自身测量结果。
例如,收入、成本和利润是实际情况,而时间、地点、客户和供应商是维度。
应根据以下因素或更多因素综合考虑主数据:企业绩效管理报告(如利润或收入计划随产品、客户、账户等产生的变化)要求综合多个系统的主数据。
遵从报告要求一致性主数据。
同步交易系统处理特定客户(如提供具体报价)或供应商(如指定采购的首选供应商)。
主数据管理(MDM)的成熟度根据主数据管理实施的复杂程度,参照Jill Dyche, Evan Levy的观点大体可以把主数据管理可以分为五个层次,从低到高反映了主数据管理(MDM)的不同成熟度。
下面我们简单介绍一下这五个层次:Level 0 :没有实施任何主数据管理(MDM)在Level 0的情况下,意味着企业的各个应用之间没有任何的数据共享,整个企业没有数据定义元素存在。
比如,一个公司销售很多产品,对这些产品的生产和销售由多个独立的系统来处理,各个系统独立处理产品数据并拥有自己独立的产品列表,各个系统之间不共享产品数据。
在Level 0, 每个独立的应用负责管理和维护自己的关键数据(比如产品列表、客户信息等),各个系统间不共享这些信息,这些数据是不连通的。
Level 1 :提供列表不管公司大还是小,列表管理是我们常用的一种方式。
在公司内部,会通过手工的方式维护一个逻辑或物理的列表。
当各个异构的系统和用户需要某些数据的时候,就可以索取该列表了。
对于这个列表的维护,包括数据添加、删除、更新以及冲突处理,都是由各个部门的工作人员通过一系列的讨论和会议进行处理的。
业务规则(Business Rules)是用来反映价值的一致性,当业务规则发生改变或者出现类似的情况时,这样高度手工管理的流程容易发生错误。
由于列表管理是通过手工管理的,其列表维护的质量取决于谁参加了变更管理流程,一旦某人缺席,将会影响列表的维护。
MDM Level 1比MDM Level 0的不同就是,各个部门虽然还是独立维护各自的关键数据,但会通过列表管理维护一个松散的主数据列表,能够向其他各个部门提供其需要的数据。
在MDM Level 1中,数据变更决定以及数据变更操作都是由人来决定的,因此,只有人完成数据变更决定后才会变更数据。
在实际情况中,虽然数据变更流程有严格的规定,但是由于缺乏集中的、基于规则的数据管理,当数据量比较大时,数据维护的成本会变的很高,效率也会很低。
当主数据,比如客户信息、产品目录信息等数量比较少时,列表管理的方式是可行的,但是当产品目录或客户列表出现爆炸式增长以后,列表管理的变更流程将变得困难起来。
MDM Level 1 依赖于人的协作。
如果产品经理需要更新过后的产品价格列表,那需要联系ERP系统所有者,让其发送邮件给她。
在企业范围内实现客户或产品列表就如同维护不同部门之间人们的关系一样。
如果客户或产品存在层次或分组,列表将很难提供,并且通常在Level 1因为过于复杂难以被管理。
Level 2 :同等访问(通过接口的方式,各个系统与主数据主机之间直接互联)MDM Level 2与MDM Level 1相比,引入了对主数据的(自动)管理。
通过建立数据标准,定义对存储在中央知识库(Central Repository)中详细数据的访问和共享,为各个系统间共享使用数据提供了严密的支持。
中央知识库(Central Repository)通常会被称为“主数据主机(Master Data Host)”。
这个知识库可以是一个数据库或者一个应用系统,通过在线的方式支持数据的访问和共享。
创建、读取、更新和删除 (CRUD)是处理基本功能的典型编程术语。