阿里云日前宣布,未来3年再投2000亿元,用于云操作系统、服务器、芯片、网络等重大核心技术研发攻坚和面向未来的数据中心建设。意味着阿里云的数据中心和服务器规模再翻3倍。
阿里巴巴在大数据中心上的大手笔投入,让我们再次联想到,自从阿里巴巴提出中台战略思想以来,建设数据中台与大数据中心的步伐就在不断加快。
我们可以说,传统的IT是成本中心,而有了数据就可能成为价值中心,这个价值体现在:在管理上提供决策支持,在生产上提供与管理者相匹配的智能工具。大数据时代,数据规模急剧增大,深算能力显著提升,数据从源端到应用端距离更短,数据的重塑也更快捷。数据中台就把数据渗透到了整个业务的闭环中,用系统的方式推动工作,并实现业务数据到知识分发的实时应用。
企业在建设数据中台时,下面几个原则是硬核,要高度重视,必须理解和遵守:
一、数据分层
数据分层,在阿里数据中台的提法是大中台,小前台。要实现业务数据化,就是所有的商业活动都应该记录下相关的数据,并把数据业务化,本质就是从数据中发现价值,反过来赋能业务。我们可以利用大数据技术,有效实现数据采集、转运、存储、分类、估算预测、关联分组、聚类,及数据循序样式采矿等,充分地对数据进行优化整合与知识沉淀,完成封装,以此有效满足多样化的数据应用需求。常常的做法是建立操作数据层、公共维度模型层及应用数据层。当然,不同的企业也可开发不同的分层模式。
二、数据标准化
数据标准化,在阿里的数据中台思想中叫做OneData。实现数据资产各域、主题、模型、字段、指标命名等的统一规范,值得强调的是,数据标准化一定要在源头解决,如果一个庞大的企业的业务系统数据资产都遵循这个原则,那应该是非常厉害了。我们可以利用维度建模的方式建设总线矩阵,对数据域与业务过程等进行明确定义。通常可以将指标组成体系,细分成包括原子与衍生指标、修饰类型与修饰词等在内的众多组成部分。我们可以运用统一工具,统一标准建模,运用统一元数据管理机制甚至实现元数据驱动智能化并计算出对资源的诉求。
三、主题标签化
主体标签化,在阿里数据中台思想中叫做OneID。ID-MAPPING是互联网公司的一个核心技术,其需要确保各个领域搜集的数据是可以继承和关联分析的,没有统一ID的支持,多样化的数据集中起来分析是没有意义的,这是另一种形式的数据孤岛。数据关联,这也是我们在传统数据仓库中数据分析的依据。
三、数据资产卡片
数据资产卡片在阿里数据中台思想叫OneMeta。这是我们进行数据资产分析和数据血缘跟踪的基础,是数据管理里非常基本的东西。这里面包括数据安全管理,质量管理,成本管理,资产的创建信息,修改信息等等。
四、主题式数据服务
主题式数据服务在阿里数据中台思想叫OneService。基于元数据构建的简单数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表,就是一套业务化的虚拟查询,方便取数。数据推送、定时任务,跨源数据服务等都叫主题式数据服务。
笔者认为,数据中台建设的最大障碍,是企业对于数据的理解是否已经达到了一定的高度,是否能够驱动公司去建立一套适合自己标准的数据管理机制和流程,如果牵涉到更多的人性和制度障碍,数据中台的建设是难以完成的。数据中台建设模式也并非千篇一律,不同的企业、不同的业务所需要的数据中台并不相同,技术部门需要和业务部门通力协调,在考虑前瞻性,扩展性,灵活性的情况下,建立起一套属于自己的数据中台。