避免数据中台“踩坑”,浅谈企业数据平台的建设
admin
2023-09-16 20:41:02
0

数据中台的兴起以及企业数字化转型的数据诉求

大约六七年前开始,互联网大厂的扩张,使得很多企业在转型上希望跟随互联网的节奏,所以那时候开始流行搞互联网化,搞互联网+,甚至很多传统制造业的企业管理者都或多或少受到一些影响进行跟风。随之而来的就是各种互联网的技术概念被推广和尝试,以阿里提出的中台概念为主要的架构思路被奉为IT架构转型的未来方向。很多无论大小的企业都要开始流行做中台,不做中台就意味着落后被淘汰等等,首当其冲的就是数据中台,一夜之间大大小小的公司或者软件服务商都提出中台方案,仿佛中台统治天下。

当我们被这些概念种草或者被很多“专家”劝说要做数据中台时候,需要先问下面几个问题:

  1. 业务上有哪些问题是数据造成的?
  2. 有哪些业务场景是需要有数据分析来驱动的?
  3. 通过什么样的数据能帮助业务来实现价值?
  4. 未来数据驱动业务的策略是否适合公司的业务发展目标?

所以,在考虑清楚这些问题的时候,就会发现在企业数字化的过程中,面对各种各样的数据来源和业务场景需求,我们迫切地认为需要建一个数据的”盒子“,通过这个盒子来进行数据收集,同时可以提供对外数据服务,如图1。




图1.数据“盒子”示意图

对于企业来讲,我们提到数字化转型需要数据驱动业务,那么就比如会考虑到构建这样的一个数据的“盒子”来满足要求。当有这样的“盒子”诉求的时候,很自然的就会想去做“数据中台”,但是,仔细研究下数据中台就会发现,数据中台包罗万象,只有是数据相关的各方面的工具和平台都被放进来,从底层的大数据平台,到数据治理的工具,以及模型构建,标签体系等等,它能将将你能想到的所有的东西都拿进来。在构建这样一个负责平台的同时还有建立复杂而庞大的配套运营组织。如果陷入其中,就会发现庞杂的技术体系,相关性不高的运营机制会让企业不断的进行成本的投入,而短期又很难从业务上看到效果。

企业自有数据平台建设方法

那么如何避免陷入这样的“泥潭”呢。首先要抛弃“数据中台”这个概念,回归企业诉求的本源,要整合保留有用的数据,通过对有用的数据来进行数据分析驱动业务转型,实现价值。因而,数据平台的建设不能脱离企业实际的业务能力,不能超出实际的IT运营能力,要逐步积累,逐渐形成自己的数据平台。提出通过三个方面的框架来进行企业自有数据平台的建设如下:




图2:数据平台建设框架

导入业务场景下,定义业务应用主题的和价值分析:

业务场景的导入从业务全生命周期的管理特点上来看,企业大体上需要分为以下五个方面来“管理”:

  1. 经营管控:注意是"管控",从财务的视角来对经营过程进行管理和控制,核心就是成本、利润等损益方面的管理。所以需要经营过程中的数据来进行跟踪和分析,比如预算和成本的跟踪比较分析.......等。
  2. 市场营销:从销售的视角来进行销售机会的挖掘和转化,尽可能得了解客户的分布、购买能力等围绕客户的深度(或定制化)营销策略,即量身定制的挖掘销售潜力。所以需要在营销过程中对于销售活动、客户DNA(行为等)进行各方面的数据收集来进行分析指导营销策略(ToC和ToB差异很大,ToB营销请参考之前的文章)
  3. 供应链管理:供应链的管理要求能够最优化的协调和整合供应链路过程中的所有参与活动的制造商、供应商、经销商等的关系,来保障生产后的产品能够顺利到达用户端(各行业有差异需具体分析)。所以需要收集整个供应链的过程中的每个活动环节上的数据来进行分析和整合,实现整体供应链的状态透明化和效率最大化
  4. 生产过程控制:生产过程中对于订单的生产计划、排产、质量、仓储等等各个生产环节上的管理,目的是平滑高效的进行既有计划的生产过程控制。所以需要收集生产过程中的计划、工作状态、产品产出、物料消耗等等过程中的数据(离散和连续流差异较大,需具体分析),实现生产过程控制的生产环节状态透明化和生产成本的控制,以及产能的优化。
  5. 其他:办公协同、员工,环境等的综合事务性的管理内容,需要提升的是跨人,物,流程间的效率。

从上面几个业务领域的特点来看,我们在企业中需要采集很多数据,这些数据可以用来支撑上面那些不同的业务执行的要求,用来在上面的业务场景中创造价值。

数据资产化,进行基础数据、分析数据等的梳理和管理

对于通过什么样的数据来提供上述业务场景下的应用支持,就需要对数据进行梳理、运营和管理,不能是所有的数据都进行无差别的采集和存储(费时费钱),所以,有效的数据就可以被定义为数据资产,即从业务视角能够解释价值的数据,从技术视角可以被采集、计算得到的数据。传统意义上的资产定义是一个公司所控制的可以产生经济效益的资源,所以在企业中资产是需要被集中进行管理和运营,来将这些资源来产生价值。同理,数据资产,就是企业级对于有业务价值的数据资源,这些数据资源是有意义是可以为企业的业务提供有价值信息的。数据资产最重要的是数据资产的分类框架,标准规则。数据资产主要包含下面几方面内容:

  1. 基础数据:业务流程执行过程中的,基本业务数据,如传统意义上的主数据(产品、客户等)就属于一类基础数据资产。
  2. 指标、标签类数据:如各种KPI的计算规则,不同业务领域中相关指标的定义和计结果,比如企业经营过程中的成本、利润等指标,还包括各种对于数据分类描述的标签体系定义。如根据客户特点的制定的分类标签等。
  3. 分析和模型的定义和结果数据,具有业务意义的经过分析运算后的结果数据,和模型的特征、有意义的结果数据等
  4. 业务流程中的关键节点的交易数据,对于这些关键过程的需记录的结果数据。如价格体系的计算和交易,生产过程中的关键数据等

数据技术平台,数据管理、建模、分析工具等的选择和搭建

有了数据内容和数据场景,就需要进行数据平台的搭建来对数据提供存储、承载、分析和对外服务等能力,这个时候需要进行判断:到底什么样的数据平台适合当前的企业的规模、数据的现状,以及未来提供的数据服务能力。大部分数据技术平台会分为以下几类:

  1. 基本的数据仓库体系的建设(传统的数据仓库体系)
  2. 近几年出现的中小数据湖的搭建(再如湖仓一体化)
  3. 大数据技术平台的搭建(基于hadoop,Spark等)

这几类数据技术平台的选择,需要结合现状,尤其需要注意,不要过度化建设,见过很多传统企业,在假设初期就开始大搞大数据平台,白花了很多钱采购某些大型厂商的大数据平台,但是实际上地使用就是几张分析报表,一个基本的数据仓库就可以解决,数据平台的搭建的原则是架构规划清晰,按需逐步上,根据数据的积累和运算能力的要求来逐步扩展数据平台,避免浪费。

结语

综合来看企业在数字化转型过程中,要实现数据驱动的业务转型,创造业务价值,就需要考虑数据体系的建设,主要有以下关键点:

  1. 业务场景的价值识别和用例细化是业务视角上的关键提出者。
  2. 数据资产的运营和管理是数据分析体系的核心
  3. 数据技术平台是要按需搭建的底层平台和工具的基础。

三者相互关联,相互作用,共同构成了企业数据平台。其中,数据资产作为数据运营的核心,需要花大力气进行逐步建设,如果抛开数据资产的管理和运营,仅仅谈数据平台是不准确的。需要注意不要陷入技术赛马的陷阱中,对于数据平台的建设需要辩证的来看,不盲目,不激进,稳步推进才是有效的建设方式。

相关内容