取消
搜索历史
热搜词
原创
活动
产业创新
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
主数据管理的7个实践总结
来源:谈数据  作者: 石秀峰 2023-02-06 09:47:39
主数据是企业最为核心的数据,解决企业各业务之间的数据一致、高效、准确地流转,被公认为企业的“黄金数据”,是企业数据交换共享、分析挖掘的基准数据。主数据管理是企业数据治理、数据质量管理的最为核心内容。

01 大目标、小步骤

主数据管理在企业数据架构中占据重要位置,是企业数据战略的最重要的一环。企业在规划设计主数据管理项目时,不仅要有一定的广度,还需要有一定的深度。广度上要求应站在全局的视角进行主数据规划设计,要能够覆盖企业的各组织单位、各业务领域、各应信息系统;深度上,主数据的规划不仅需要满足企业现有的应用需求、数据交换共享需求,还需要考虑未来主数据在大数据分析、决策支持方面上的应用要求。

企业在主数据项目落地实施的时候往往会陷入这样一个误区:“贪大求全”。恨不得通过一个项目的建设就把企业多年沉积下的各种数据问题一下子全部解决了,岂不知这样的做法却是让企业的数字化治理陷入了一个泥潭。人力、物力、财力都投入进去了,却见不到成效,或者时项目建设期看到了一定效果,隔了一段时间视乎一切又回到了原点。-_-||

一个企业主数据会有很多,如果一次把所有主数据都管理起来,工作量会非常大,周期会很长,而且需要建立相应的管理制度和考核体系全员的数据标准化思维的培养。通常,主数据会分2~3年去完成,并持续优化。笔者建议企业主数据项目要基于“总体规划、分步实施”的原则来开展项目的设计和施工。项目目标要能够支持企业发展战略,实施步骤符合企业运营策略。项目目标要定的大一些,实施步骤要分的细一些。

企业数据治理是场马拉松,不能被前方琐碎而繁杂的事务所吓倒,要做好整个赛程的规划,一步步推进。

日本的马拉松选手山田本一曾两次获得全国马拉松大赛冠军,他说:起初,我把我的目标定在40多公里的那面旗子上,结果我跑到十几公里的时候就已经疲惫不堪了,我被那段遥远的路程吓到了。后来,我每次比赛前都要把赛程仔细看一遍,把沿途醒目的标志画下来,比赛开始后我先朝第一个冲,冲过第一个目标后,又朝第二个目标努力,第三个目标……,就这样40多公里的赛程就被我分解成多个小目标轻松跑完。

02 业务驱动、技术引领

主数据管理决对不是为了做数据而做数据,而是为了服务于企业的业务目标。主数据项目的建设不是一个部门的任务,也不只是信息技术部的“活儿”,需要技术和业务很好的协同起来,为实现企业的业务目标而服务。

主数据项目建设需要业务驱动、技术引领双引擎。

业务驱动,是业务的需求驱动,业务需求来自各个具体的生产单位,业务驱动的本质是生产单位“一把手”的推动。主数据建设从需求规划、标准设计、管理流程、平台建设都需要业务部门的深度参与。主数据的分类、编码、属性模型的制定都需要由业务部门主导,将业务管理人员纳入到主数据的管理组织中来,才能保障业务连贯性和数据的一致性、完整性和准确性。只有如此,才能让主数据来源业务、服务业务,从而让主数据达到一种“自治”的状态。

技术引领,是将新技术、新思维应用到主数据管理中来。笔者曾在《主数据的前世今生、未来畅想》一文中提到,主数据+新技术(大数据云计算人工智能物联网等)将改变主数据管控模式和业务形态。而当前企业要做的是让业务和技术协同起来,基于业务进行主数据管理、利用技术引领业务创新。

主数据管理通过业务驱动、技术引领,对贯穿主数据全生命周期的关键数据要素的管理,颁布数据标准,建立主数据管理平台,进而提升企业的数据管控能力、提升数据质量,为企业的数据交换和共享、数据分析和挖掘提供重要的支撑。

03 主数据编码不是你想的那么简单

主数据编码是保证数据的唯一性、一致性的关键属性。编码的目的在于将数据编码化繁为简,便于主数据的管理,如果编码过于繁杂,则违反了编码之目的。所以,主数据编码一般采用数字的形式进行编码。通常情况下,会使用系统自动生成的流水码来作为主数据的编码。主数据编码用于机器识别,重点解决的是异构系统之间的数据映射问题,是数据集成的基础。

主数据编码看是简单,但在应用过程中却没有那么简单。拿物料主数据来说:

同一种物料,供应商不同,那么在主数据管理是给一个码还是多个码?

这种情况,一般来说设计环节、生产环节只需要一个物料码,而财务核算可能是要分开核算的,物料的给码建议:如果仓库区分摆放,分开管理,且不同供应商价格变动大影响产品成本,建议设置多个代码。如果库房没有分开管理,实物无法区分是哪个供应商的,价格变动较小,建议设置一个代码。

同一种物料,型号、规格都相同,但颜色不同,是给一个码还是多个码?

这种情况是物料管理的颗粒度问题,同时也反映出了企业的管理颗粒度。对于精细化管理的企业,显然是要分码管理的,虽然是同一种物料,即便型号、规格相同,制造成本相同,但由于颜色的不同,可能面对的客户受众不同(细分市场不同),价格和销量也不一定相同。这种情况,是必需要分不同的物料码管理的。但如果颜色这个属性对于销售业务,以及下游的客户市场影响不大,甚至没有影响,是可以作为一个物料进行管理的。

主数据编码作为一类重要的数据资源,在信息化建设中具有重要的地位和作用,是保证现有信息系统和未来新系统建设成功的关键因素,决定着系统中的信息一致性。

04 怎样让数据清洗“苦差”变成“美差”

数据清洗是指发现并改正不完整、不正确和不一致的主数据,从而提高数据质量的过程。数据清洗从名字上也可以看出就是把“脏”的数据“洗掉”,是发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性、处理无效值和缺失值等。从数据清洗的定义上我们也能够看出数据清洗是一个“脏活”;一个企业中主数据的量或多或少,有时候中小规模的企业,物料主数据也能够达到几十万,对企业来说,几十万的数据清洗工作是个“累活”;我们都知道主数据是支撑业务运行、系统集成以及数据分析的基础,主数据如果存在“脏数据”,将直接降低业务的效率,影响管理决策的准确性。因此,数据清洗还是一个责任大、任务重的活,是数据治理的一个“苦差事”。

那么如何是企业这项“脏活、累活”的苦差变成光鲜亮丽、人人都想干的美差呢?笔者建议从以下三个方面入手:

第一,思想文化建设。企业需要逐步培养全体员工的数据思维,认识到数据是企业的一些重要资产,而主数据是企业的黄金数据,谁掌握了数据谁就更有话语权。

第二,管理政策的倾斜。企业要做好数据治理,必须将数据管理作为一项战略性任务,对于数据清洗的工作企业管理者应给予一定力度的支持,采取相应的激励和考核措施,约束和激励数据质量的不断优化和提升。

第三,“人工智能”的技术。“人工智能”是人工+智能的方式进行数据清洗。智能清洗是利用数据清洗工具和先进的计算机技术,进行自动化处理,找出“脏数据”,不完整的数据,自动清洗。人工清洗是通过查找原始记录、标准文件或请教专家进行缺失数据的填补、重复数据的剔除和“脏数据”的处理。在项目实际执行过程中,是两种方式结合使用,首先利用“智能化”的计算机技术,迅速排查和找到“脏数据”和不完整的数据,再利用人工的方式进行核对、校正,这种方式比单纯的机器清洗准确率高,比单纯的人工清洗效率高。

05 标准落地:简单粗暴 VS 平滑过渡

有过主数据项目经验的小伙伴一定清楚,主数据标准的落地是主数据项目实施的一个难点。有些企业信息化起步较早,已经建设了N多个系统,这些系统有很多是购买的套装软件,存在数据库不一致、开发语言不一致、系统架构一致等问题,想要将主数据标准在这些异构的遗留系统中落地,也不是一件轻松容易的事。新老体系的兼容、历史数据的处理是主数据标准落地不得不面对的两个难题。

对于新建系统可以直接引用新标准的主数据,对于遗留系统来说主数据标准的落地,笔者给出以下方法供参考:

1)简单粗暴式,企业强力度进行主数据标准化推广,所有业务系统必须按照主数据标准进行整改,一次性彻底解决遗留系统的主数据问题。这种方式虽然说是简单粗暴,但操作起来却不容易。对于遗留系统多年一直使用旧体系,对于历史数据还有没有结清的业务来说想要彻底替换成新的体系,难度还是非常大的。

2)断点切换,即遗留系统以一个相对适合的时间点,建立断点。这个时间点之前的数据,就不再处理了,对于时间点内的数据进行清洗转换,替换成新的主数据标准体系。这种方式优点在于相比简单粗暴式要容易操作,遗留系统的改造难度低。缺点是对于历史数据的查询还需要按旧标准查询,对于企业的数据的整体统计分析造成两层皮,无法有效利用历史数据,影响分析结果。

3)建立映射平滑过渡,遗留系统需要按照新的主数据标准体系引入并与现有的数据建立映射关系,对于新增的数据直接按新标准执行,对于历史数据可以依旧使用旧标准。同时,因为新旧体系之间存在映射关系,可以为企业提供完整的数据的统计分析。这是笔者比较推荐的方式,但是这种方式也有一定的弊端,那就是遗留系统的历史数据的质量要相对较好。如果遗留系统的主数据质量本身非常差,与新的主数据标准体系无法建设映射关系,那就需要花大量的时间和精力去处理遗留系统的历史数据。这样一来,这种方式反倒不如采用简单粗暴式来的直接,解决的彻底。

06 企业小数据融合社会大数据

数字化时代,是数据驱动业务、数据驱动管理的时代。企业的主数据管理模式和数据形态与传统的主数据管理将发生一定的变革。笔者曾在《主数据前世今生、未来畅想》一文中对未来主数据的应用模式和技术形态的蓝图,有兴趣可在(微信公众号:谈数据)的历史消息中查找。

在主数据管理方面,通过企业内部数据与外部社会资源的融合,构建出客商的完整主数据视图,并能够实现自动化的数据填充、自动化清洗、动态式的数据更新,改变了传统主数据管理和运维模式。同时,保障了数据的有效性、提升了数据质量。

目前部分企业已经尝试将企业的小数据与社会的大数据进行融合,从而实现业务和管理的创新。

这里打一个小广告:用友云主数据平台已经具备了一定的社会化数据融合能力,支持将企业工商信息、企业信用信息、企业股权信息、企业经营信息等数据引入客商主数据管理,提供客商信息的全息画像,为企业的业务创新、风险控制提供了支撑。有需要了解的企业可与我联系。

07 主数据运维平凡但不简单

先给大家讲一个小故事:

有一个小和尚在一座名刹担任撞钟之职。他自认为早晚各撞一次钟,简单重复,谁都能做,并且钟声只是寺院的作息时间,没什么大的意义。就这样,敲了半年钟无聊至极,唉,“做一天和尚,撞一天钟”吧。有一天,方丈宣布调他到后院劈柴挑水,原因是他不能胜任撞钟之职。小和尚很不服气,心想我撞的钟难道不准时、不响亮?方丈告诉他:“你的钟撞得很响,但是钟声空泛、疲软,没什么力量。因为你心中没有认识‘撞钟’这项看似简单的工作所代表的深刻意义。钟声不仅仅是寺里作息的准绳,更为重要的是要唤醒沉迷的众生。因此,钟声不仅要洪亮,还要圆润、浑厚、深沉、悠远。心中无钟,即是无佛;不虔诚,不敬业,怎能担当神圣的撞钟重任呢?” 小和尚无言以对,心中很惭愧。

企业的主数据运维工作的主要内容是管理和维护系统的现有主数据规则,并根据业务情况对主数据分类、主数据编码进行更新和规则变更。很多企业其实对主数据运维工作的重视程度是不够的,将主数据运维看做是一项简单的工作去做,安排的运维人员多数是非骨干人员,甚至有的企业对于主数据运维没有专职人员,都是相关业务部门兼职去做的。

在笔者看来,主数据是企业数据资产中的核心资产,企业应该给予一定的重视。企业主数据的运维人员是需要对企业核心价值链业务都熟悉的人员进行胜任的,例如:物料主数据,你首先要能够识别物料是个啥,其次你要了解物料的来源、用途、价值、关键特征的作用等,最后你还应该了解物料在设计环节、生产环节、仓储环节、物流环节和售后环节的形态,只有这样才好给物料进行归类和赋码。

作为主数据管理员,我们要为自己的职业和岗位感到骄傲和自豪,要清楚我们管理的主数据是企业的“黄金数据”,是企业最重要的数据资产。主数据的质量高低,直接影响业务的运营效率和管理决策的水平。一个优秀的主数据管理员不仅是能够将日常的数据运维工作做好,还能够通过自己的工作对企业全员的数据思维建立和企业数据治理文化的建设提供支撑,是企业数字化转型的中坚力量!

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:雷生杰
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。