一.主数据的理解
企业主数据是指在整个企业范围内的各个操作型应用系统(OLTP)和分析型应用系统(OLAP)间需要共享的数据,是企业内部能够跨业务、跨系统重复使用的高价值的数据。这些主数据在进行主数据管理之前经常存在于多个异构或同构的系统中。
主数据不是企业内所有的业务数据,只是有必要在各个系统间共享的数据才是主数据。企业各个业务系统中的大部分的交易数据、帐单数据等都不是主数据,而描述核心业务实体的数据,例如,客户、产品、帐户、合作伙伴、服务渠道以及企业组织等数据,由于在多个业务系统中共用,所以是企业主数据。主数据通常需要在整个企业范围内保持一致性、完整性和正确性,为了达成这一目标,就需要进行主数据管理(MDM-- Master Data Management)。
二.主数据管理的必要性
主数据管理是指用一组管理方法机制来保证主数据在各个系统中的正确性、重用性和通用性。主数据管理作为应用流程的补充,通过从各个操作型应用以及分析型应用中分离出主要的信息,使其成为一个集中的、独立于企业中各种应用的核心资源,从而使得企业的核心信息得以重用并确保各个操作型应用以及分析型应用间的核心数据的一致性。通过主数据管理,强化了对企业各业务系统的共性数据实体的数据和模型管理,改变了原来系统数据、流程封闭的现状,降低了应用孤岛、数据孤岛出现的几率。增强了各系统在企业层面的互动,从而更好地优化企业业务流程,提升企业运转效率。
主数据管理可以帮助企业创建并维护整个企业内主数据的统一视图,通过保证统一视图的准确性、一致性和完整性,从而提高数据质量,逐步统一企业级数据模型,简化改进企业流程并提供业务的响应速度。从变化的频率来看,主数据和日常交易数据不一样,变化相对缓慢,另外,主数据由于跨各个系统,所以对数据的一致性、实时性以及版本控制要求很高。
三.主数据管理系统的方案
主数据管理系统从IT系统建设的角度而言是一个相对复杂的系统,它会和企业数据仓库、决策支持系统以及企业内的各个业务系统发生关联,技术实现上也会涉及到 ETL、EAI、ESB等方面,基于企业级共享主数据管理的示意图如下所示:
其中主数据系统与操作型系统数据和分析型系统数据通过企业数据总线ESB进行集成,其中操作型系统采用EAI的方式通过开发适配器与主数据系统进行数据交互,分析型系统数据通过ETL的方式与主数据系统进行数据交互。
主数据的完整流程包括五个步骤:数据生产、数据收集、数据稽核、数据发布和数据消费。其中主数据的收集、稽核和发布主要集中在主数据管理系统环节;数据生产和数据消费主要集中在企业其它系统环节。
企业中各系统的主数据和交易数据,一般都是在操作型系统进行数据的生产,然后把主数据实时传送到主数据系统,操作型系统和分析型系统进行数据消费。
针对各系统提交的主数据,主数据系统进行数据的收集、稽核、发布:
数据收集:
主数据从外部业务系统及分析系统中通过批处理方式拷贝到共享区;
数据被清洗、匹配、标准化后加载到主数据数据库,并进行完整性分析;
数据稽核:
对主数据进行质量分析,包括数据的一致性分析和准确性分析;
数据发布:
对合格数据进行转换并发布到数据共享区;
主数据系统在以上处理的步骤中,如发现异常,则生成错误报告,并通知数据源系统和系统维护人员。
四.小结
通过搭建主数据管理系统,为企业在数据管理、模型统一、项目建设和流程优化等方面带来价值:
数据:
实现了企业级各系统数据的一定程度的整合,使得各业务系统的数据更能够真实地反映企业运营情况,减少了数据不一引起的混乱和纠错成本。
模型
统一了各系统中最重要数据的数据模型,这套数据模型由于兼顾了多个系统,所以更贴近企业真实的业务情况。为企业搭建统一模型奠定了基础。
项目
主数据管理具有很好的继承性,在以后企业业务发展中,搭建新的业务系统时,可以直接使用和继承主数据管理系统的数据、模型和流程。节省了新系统的建设成本并降低了新系统建设风险。
流程
通过主数据管理与各业务系统的配合,主数据的生产、汇集、稽核、发布和消费流程的贯通,跨系统的数据流转得以实现。对现有业务流程的优化具有很大的借鉴意义。