大婷电子分析网

主页
分享数据分析资讯
大婷电子分析网-书数据挖掘,人工智能

什么是数据中台?全面解读数据中台数据中台的终局剖析

更新时间:2022-01-15 09:09:25点击:

什么是数据中台?全面解读数据中台数据中台的终局剖析(图1)




一、数字化时代企业级数据中台的终局
从2019年第一篇数据中台10万+文章()以来,数据中台从默默无闻到陡然崛起,现在进入到平稳落地的阶段,不少企业都把数据中台当做了企业的数字化标准配备。 什么是数据中台?全面解读数据中台数据中台的终局剖析(图2)
但是,现在市场上还是有很多的企业同学在问,数据中台和数据仓库,大数据平台等概念的区别。经过过去一年的沉淀和实践,我个人把对于企业级数据中台的本质进行了深度剖析,整合了多个行业,企业,厂商的数据中台产品的多种理解和解读,形成此文,供大家参考。
企业数字化转型的终局
首先,数据中台是服务于企业数字化转型的,所以,我们要从企业数字化的终局来看数据中台的终局。企业数字化转型的终局是传统业务变成数字化业务,数字化业务的本质就是以数据作为新生产要素进行加工处理,构建以数据作为主要存在形式的产品,产生商业价值的业务模式。数字化业务的典型代表是:天猫、淘宝、抖音、滴滴这样的互联网企业。天猫,淘宝本身是一个数字化平台,天猫,淘宝本身不生产一件商品,它构建了一个数字化平台,把商家上传的数字化商品以数据的形式(天猫店铺,SKU)提供给消费者,让消费者在线上用数字化的形式下单,然后拉通线下,获得物理世界的实体商品,从而从中获取平台收益。抖音,连实体产品都没有,用户上传的是原生数据产品(视频),然后通过信息流,通过推荐算法,推荐给平台用户,形成商业收益。滴滴,某种意义上和天猫,淘宝是类似的,将物理世界的运力,运单,地图以数据形式变成平台产品,提供给消费者和司机,进行撮合交易,精准匹配,从而赚取价差和增值服务,形成商业收益。数字化业务和传统的实体业务比较起来,是具有升维的绝对优势的。体现在以下几个方面:什么是数据中台?全面解读数据中台数据中台的终局剖析(图3)分发复制速度快,数字化业务的分发复制速度快,一个抖音的短视频可以在一秒钟内触达几十亿用户;柔性敏捷高响应,当业务数字化后,面对市场的变化有高速的响应能力,业务本身会变得非常柔性和敏捷,从而能够做类似于A/B Testing这样的数字化测试。实时数据洞察准,业务数字化的特点是所有的业务流程,业务动作,交易,都数据化了,业务都实时变成了数据,而通过数字化技术,这些数据可以被实时处理,形成业务的数字化呈现形式,全链路,全口径的呈现出来,所有的业务都能够被可视化,从而能够更好地被准确洞察。海量数据精预测,有了全量的数据,包括交易,用户,行为数据等,就能够形成对未来的趋势的预测,从而能够根据历史数据,用户画像做精准匹配和推荐,这样能够产生更多的业务创新和主动性。数字化企业的终局对企业数据处理能力提出了新的要求,未来的数字化企业就是一个把数据当做生产要素的制造企业,所以,数字化企业的就是一个数据产品和服务的加工工厂,如下图所示: 什么是数据中台?全面解读数据中台数据中台的终局剖析(图4)
每个企业都是获取数据,采集数据,然后将数据放入数据加工的厂房,生产出不同的数据产品,每个企业都会有基于数据去做创新的实验室,去研发新的数据产品,比如字节跳动的今日头条,孵化出抖音,然后沉淀更多的数据生产要素,并且通过对用户数据的洞察,在创新实验室发现更多的数据产品需求,生产出更多的数据产品,这样就形成了源源不断的闭环数据价值生态。制造业最重要的是生产力也就是生产设备,产线,管理方法,这些对应到就是数字化企业的数据加工厂。未来数字化企业的所有员工,不论线上线下业务的人,都是在围绕数据做工作,线下的业务人员,在进行作业的同时,是为了把物理业务数据化,产生数据。线上的分析人员,是将数据做加工,变成有业务价值的数据产品;运营人员,是将数据产品通过数字化渠道匹配给对应的用户,并且提升用户的使用满意度。整个企业从数据的维度来看就是一个数据加工厂。所以,这个加工厂的效率,性能,柔性,运维,监控,管理的高效性,协同的效率就非常重要,而这就是数字化企业的数据中台的愿景目标。当我们把企业看作是一个数据加工厂的时候,我们就可以重新定位企业级数据中台是什么了。企业级数据中台是数字化企业用来加工数据的全链路平台,它的输入是数据,输出是各种数据产品和数据服务。如果将企业级数据中台进行拆解的话,我们可以看到它的六大核心能力。

二、企业级数据中台的六大核心能力
数据中台六大能力模型利用领域建模的思想,企业级数据中台的核心能力可以分成两类:一类是核心的业务域就是直接存储,加工,生产数据和数据产品的能力,就像工厂生产线里的主要加工设备。第二类是辅助于生产的管理域是为了让生产的过程更加高效,安全,稳定的能力,就像工厂里的传送带,实验室,检测中心和监控运维中心。这样一来我们就清晰的看到了数据中台所需要的六大核心能力: 什么是数据中台?全面解读数据中台数据中台的终局剖析(图5)

1、

业务能力(Business)


1. B1数据的获取存储和处理从源系统中获取到数据,并且将数据存储起来,对它进行适当形式的处理,这是数据加工的第一步。例如,大数据平台,通过爬虫、ETL、接口等方式,从多样化的业务系统获取数据,将数据进行清洗、转换,建模存储到各种不同类型的数据库中,如结构性,非结构性,图数据库等,这也是我们常讲的“业务数据化”的最后一公里。2. B2 数据价值的探索和挖掘当数据已经获取并存储起来后,人们需要对它进行分析探索和挖掘,从而识别出有价值的业务场景数据,从而将数据业务化,反作用于业务本身。目前这个能力主要是靠人的经验在线下完成,线上只是补充。比如,现在的报表,就是数据价值的一种呈现形式,领导层希望看到业务的情况,于是通过数据可视化报表的形式来3. B3数据产品和服务的构建和发布发现数据能够产生价值的场景后,就需要把这个场景开发成数据产品和服务,提供给用户使用。这是数据加工厂的最后一公里的环节,也是面向用户价值呈现的环节。这个环节主要的工作是在发现的数据价值场景基础上用合适的形式(API,报表,APP,数据包)为客户提供数据产品和服务。

2、

什么是数据中台?全面解读数据中台数据中台的终局剖析(图6)

伴随着云计算、大数据、人工智能等IT技术迅速发展及与传统行业实现快速融合,一场由数字化和智能化转型带来的产业变革正在孕育。

随着企业规模不断扩大、业务多元化——中台服务架构的应运而生。“中台”早期是由美军的作战体系演化而来的,技术上说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。阿里在今年发布“双中台+ET”数字化转型方法论,“双中台”指的是数字中台和业务中台。

管理能力(Management)


 除了核心域的数据生产,价值探索和产品开发能力外,为了更好地协作,提升数据产品的生产效率,还需要有很多管理性的配套工作,这就是数据中台的管理能力部分,主要分为三类4. M1 共享和协作企业级数据中台,要具备一站式,全链路的数据开发能力,让所有的数据相关的工作者都能够在这个平台上工作,这里就需要两个主要的子能力。数据共享:就像Netflix的数据中台有一个数据门户一样,企业的数据要通过一个统一的入口根据不同的权限进行共享,开放给对应的用户,让他们能够方便的访问数据。数据协作:数据的生产链路是需要多人协作的,比如,源系统提供数据,数据工程师进行数据的抽取和采集,数据分析师对数据进行分析,数据可视化工程师完成数据的可视化设计等。传统这些工作都是通过文件传来传去,而企业级数据中台则需要一个全链路协同的工作环境,让所有的角色都在这个平台上对同样的数据集进行操作。 5. M2 管理和治理要把数据当做资产来管理和治理,这里的管理主要指的是以数据资产目录为核心的相关能力,比如数据资产的规划,数据资产的分类,数据资产的获取,数据资产目录的维护,还包括数据权限分级的能力,从而保证数据在一套标准化的管理体系下进行应用,而避免出现管理缺位,数据安全,数据分散的问题,数据的管理要从源头就开始,也就是数据中台要对企业级的数据进行统一的管理,而不仅是数据相关的系统,还要包括源数据。数据治理就是一个老生常谈的话题了,是以数据标准为核心,对企业的数据质量进行管理,数据中台要有元数据、数据血缘、数据质量、数据版本等全方位的功能,并且企业级数据中台的数据治理模块不能是一个独立运行的模块,它应该嵌入到整个数据生产链路的每一个环节,从而在数据的全链路中发挥作用。6. M3 运营和运维要把数据当做一个核心生产要素来进行运营,所以,数据中台也是需要运营的,这里的运营就包括对数据中台的用户行为数据进行分析,从而发现哪些数据集是高价值的,哪些是被调用比较少的,要把数据产品和服务当做一个互联网产品一样来进行用户运营,只有这样,才能够让数据中台被更多的用户所接受,不断地迭代新的功能,才能够有更强的生命力。未来数字化企业中,数据中台是一个企业级生产系统,就像淘宝,天猫一样,是不可能接受宕机的,所以数据中台的运维就显得至关重要,SLA要得到必须的保证,这样的话,就需要一套自动化的运维体系。 当我们把这两大类,六个数据中台的核心能力进行组合后,我们就会得到下图的十二个能力子域: 什么是数据中台?全面解读数据中台数据中台的终局剖析(图7)
每一个企业根据自己的情况,这十二个能力子域的建设优先级,功能都会有差异。一般来说,从业务价值的产生速度来讲,一定是先完成数据产品的构建和应用是最高优先级的,毕竟这是最快能带来价值的,而管理域的功能则是大型数字化企业必须具备的能力。 数据仓库、数据湖和大数据平台与数据仓库的区别当我们把这六个能力分析清楚后,就能够更加清晰的看出数据仓库,大数据平台,数据湖和数据中台的区别:如下图所示:什么是数据中台?全面解读数据中台数据中台的终局剖析(图8)大数据平台,是偏数据存储和加工的系统,带有部分数据探索的能力,生产的数据产品以数据集为主,不全面。数据仓库则比较均衡,包括结构化数据的存储加工,可以用自分析报表(Query)的方式实现数据的探索和挖掘,最终数据产品以报表和数据可视化为主。数据湖则偏重于数据存储和提供,有一部分的数据管理,共享和运维的能力。数据中台是需要这六大能力都全面具备的。 数据中台一定不仅是一个单体的软件能够形成的,它是一个体系化的企业级数据加工厂,所以数据中台的建设也是需要顶层规划,分步建设的。

延伸阅读:

2021,咨询公司怎么办?

数据中台是什么

数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。

广义的数据中台包括了数据技术,比如对海量数据进行采集、计算、存储、加工的一系列技术集合,今天谈到的数据中台包括数据模型,算法服务,数据产品,数据管理等等,和企业的业务有较强的关联性,是企业独有的且能复用的,比如企业自建的2000个基础模型,300个融合模型,5万个标签。它是企业业务和数据的沉淀,其不仅能降低重复建设,减少烟囱式协作的成本,也是差异化竞争优势所在。

2021年度书单|CMKT咨询圈推荐

建立数据中台的原因

数据中台和业务中台相比,面临的情况可能会更加复杂一点。建立数据中台的原因:

未来三年,咨询业的十大风口!

咨询公司遭遇招人难,四大模式破解困局!

大数据可以告诉决策者一些潜在的规律,以数据来证明或判断决策。以往我们会用数据来证明我们的决策对错,现在我们用数据来引导我们做出对的决策。在大数据时代,样本就是全体,大数据可以防止伪造和偏差。

35岁现象:咨询人的一道坎!

别找了,最全PPT配色指南!

顶级咨询公司PPT配色大全

数据催生人工智能。数据是人工智能的根基,并且可以进行融合形成新的数据。数据给我们无限的创新,让我们不停去尝试。

顶级咨询公司PPT制作指南

数据是机器人的指令,我们形成数据服务思维。数据是不断变化的,让机器智能成为决策环节,运营就可以智能化。

CMKT咨询圈的顾问大部分来自以下机构,欢迎大家回复本平台“同行”,加入我们!什么是数据中台?全面解读数据中台数据中台的终局剖析(图9)

中台的目标是提升效能、数据化运营、更好支持业务发展和创新,是多领域、多BU、多系统的负责协同。中台是平台化的自然演进,这种演进带来“去中心化“的组织模式,突出对能力复用、协调控制的能力,以及业务创新的差异化构建能力。为什么数据中台如此重要呢,大致有以下四个原因:

1、回归服务的本质-数据重用

浙江移动已经将2000个基础模型作为所有数据服务开发的基础,这些基础模型做到了“书同文,车同轨”,无论应用的 数据模型有多复杂,总是能溯源到2000张基础表,这奠定了数据核对和认知的基础,最大程度的避免了“重复数据抽取和维护带来的成本浪费。”

曾经企业的数据抽取就有多份,报表一份,数据仓库一份,地市集市一份,无论是抽取压力、维护难度及数据一致性要求都很高。同时,统一的基础模型将相关业务领域的数据做了很好的汇聚,解决了数据互通的诉求,这点的意义巨大,谁都知道数据1+1>2的意思。

2、数据中台需要不断的业务滋养

在企业内,无论是专题、报表或取数,当前基本是烟囱式数据生产模式或者是项目制建设方式,必然导致数据知识得不到沉淀和持续发展,从而造成模型不能真正成为可重用的组件,无法支撑数据分析的快速响应和创新。其实,业务最不需要的就是模型的稳定,一个数据模型如果一味追求稳定不变,一定程度就是故步自封,这样的做法必然导致其他的新的类似的数据模型产生。

数据模型不需要“稳定”,而需要不断的滋养,只有在滋养中才能从最初的字段单一到逐渐成长为企业最为宝贵的模型资产。

以报表为例,企业报表成千上万的原因往往也是没有沉淀造成的,针对一个业务报表,由于不同的业务人员提出的角度不同,会幻化出成百上千的报表,如果有报表中台的概念,就可以提出一些基准报表的原则,比如一个业务一张报表,已经有的业务报表只允许修改而不允许新增,自然老报表就会由于新的需求而不断完善,从而能演化成企业的基础报表目录,否则就是一堆报表的堆砌,后续的数据一致性问题层出不穷,管理成本急剧增加,人力投入越来越多,这样的事情在每个企业都在发生。

3、数据中台是培育业务创新的土壤

企业的数据创新一定要站在巨人的肩膀上,即从数据中台开始,不能总是从基础做起,数据中台是数据创新效率的保障。研究过机器学习的都知道,没有好的规整数据,数据准备的过程极其冗长,这也是数据仓库模型的一个核心价值所在,比如运营商中要获取3个月的ARPU数据,如果没有融合模型的支撑,得自己从账单一层层汇总及关联,速度可想而知。

在如今的互联网时代,企业都在全力谋求转型,转型的关键是要具备跟互联网公司一样的快速创新能力,大数据是其中一个核心驱动力,但拥有大数据还是不够的,数据中台的能力往往最终决定速度,拥有速度意味着试错成本很低,意味着可以再来一次。

4、数据中台是人才成长的摇篮

原来新员工入职要获得成长,一是靠人带,二是找人问,三是自己登陆各种系统去看源代码,这样的学习比较支离破碎,其实很难了解全貌,无法知道什么东西对于企业是最重要的,获得的文档资料也往往也是过了时的。

现在有了数据中台,很多成长问题就能解决,有了基础模型,新人可以系统的学习企业有哪些基本数据能力,O域数据的增加更是让其有更广阔的视野,有了融合模型,新人可以知道有哪些主题域,从主题域切入去全局的理解公司的业务概念,有了标签库,新人可以获得前人的所有智慧结晶,有了数据管理平台,新人能清晰的追溯数据、标签和应用的来龙去脉,所有的知识都是在线的,最新的,意味着新人的高起点。

更为关键的是,数据中台让新人摆脱了在起步阶段对于导师的过渡依赖,能快速的融入团队,在前人的基础上进行创新。数据中台天然的统一,集成的特性,有可能让新人打破点线的束缚,快速构筑起自己的知识体系,成为企业数据领域的专家。

当然,数据中台的建立不是一蹴而就的,每个企业都应该基于实际打造独有的中台能力,在这个过程中,需要遵循一些原则:

首先,企业的组织架构及机制需要顺势而变。比如以前负责数据的部门或团队往往缺乏话语权,面对业务需求往往是被动的接受的角色,这让一切数据中台的想法化为泡影,需要为数据中台团队授权。

其次,要改变工作方式。现在很多企业的数据团队的主要工作内容就是项目管理、需求管理等等,当一个项目完成后又投入到下一个项目,做好一个需求后又开始负责下一个需求,这样的工作确实非常锻炼人的组织、协调能力,但这样能力的提升与工作时间的长短并不是呈线性增长的,虽然增加了项目和需求管理经验,但并不能在某一个专业领域得到知识和经验的沉淀,随着时间的流逝,越来越多的人会失去最初的工作积极性和创造性,事实上,数据人员只有深入的研究业务、数据和模型,端到端的去实践,打造出数据中台,才是最大的价值创造,才能使得持续创新成为可能。

第三,数据中台的团队要从传统的支撑角色逐步向运营角色转变。不仅在数据上,在业务上也要努力赶超业务人员,中台人员要逐步建立起对于业务的话语权,不仅仅是接受需求的角色,更要能提出合理的建议,能为业务带来新的增长点,比如精确营销。

最后,中台是适合公司特点的。最合适的中台是当你深入了解业务、产品、系统、组织,而且不仅了解今天在哪里,还要了解过去是怎么演变而来,未来又会怎么演化。只有当了解所有的东西之后,才能做出较好的中台架构设计。

【版权声明】图文来源于网络,版权归原作者所有,侵权必删。

推荐文章