数据中台是什么
admin
2023-06-26 00:21:38
0

数据中台已经是一个非常容易就听到的概念,很多企业目前也在做数据中台,或者大数据平台,那么最初谁最先提出数据中台这个概念的,又是为了解决什么问题而去做数据中台?

数据中台的概念最早由阿里巴巴首次提出为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,而在技术、组织架构等方面采取的一些变革,其本质上还是一个平台,阿里称之为“共享服务平台(Shared Platform as Service,SPAS)”。总结一下,数据中台是指通过数据技术,对海量的数据进行采集,清洗,加工,统一的标准和口径。数据通过数据中台之后,形成标准数据,进行存储,加工成大数据资产,另外可以快速的对不同数据进行处理,形成数据处理流水线,提高数据处理的效率。数据中台的应用场景,数据中台应该是应用在数据对A,B,C,D 等不同部门的提供服务的场景,如果一个公司本身就只有一个业务部门,或者就是一种应用场景的情况,需要的是大数据平台即可,数据中台是满足不同应用场景,且高效率的情况下提供服务。数据中台和大数据平台的区别是什么?数据中台区别大数据平台所必须具备的特征是什么?总结来看,数据中台必须具备4项核心特性。

  • 数据汇聚能力,即可以从不同地方获取数据,采集,抽取,汇聚的能力,并且通过数据中台服务上层业务系统之后,数据可以回流到数据中台,进而进行数据迭代。
  • 数据清洗加工能力,因为数据中台需要提供标准的,统一的数据服务,所以数据中台必须具备从不同数据源获取到的数据,经过数据清洗规则,数据加工规则之后,形成标准的数据。
  • 数据服务的可视化能力,由于需要提高数据处理,数据服务的效率,所以需要对数据的采集,清洗,加工,分析,管理可视化,即需要具备数据分析能力可视化,数据洞察可视化,数据资产可视化,数据管理可视化。
  • 数据价值变现能力,跨部门实现业务价值,数据应用管理,数据驱动业务,面向市场的数据应用。

数据中台的技术体系在不同公司所使用的技术体系不一样,主要是跟企业的应用的场景相关。

  • 报表需求:hadoop
  • 实时的指标统计和实时推荐需要实时的流失计算能力:storm 、spark、flink
  • 决策类业务,比如海量人群的筛选需求,即席计算能力和即时查询,需要 elasticsearch、greenplum、impala。
  • 高并发业务应用场景(用户画像),需要在线计算能力:mysql、oracle、redis
  • 语言分析,关联分析,企业图谱等,使用的是neo4j等。

总结一下,数据中台是为了提高数据开发效率,同时满足不同应用场景,高效率的提高数据价值的平台,根据不同企业的应用场景使用不同的技术框架。

相关内容