数据中台,解决的是企业数据的“存”、“通”、“用”的难题,即帮助企业实现连接数据孤岛,让一切业务数据化,让一切数据业务化。总结起来,数据中台策略有以下几个过人之处和价值。
1、数据汇聚,承上启下
数据中台策略的基本理念是,将所有的数据汇聚到数据中台,以后的每个数据应用(无论是指标和分析类的,还是画像类和大数据类的)统统从数据中台获取数据。按照这种模式,如果企业中数据应用数量大于3-5个,那么数据中台将整体上节约30%的成本,随着数据应用的增长,这样节约的成本还会更大。数据中台策略相比传统数据仓库更加强调数据的“全”以及数据中台组织与数据应用组织之间的协作关系,从设计、组织、建设、流程角度保障了模式的落地。
小元元整理了一份“数据中台”资料,供大家参考学习,数据中台解决方案
2、纵观大局,推动全局
数据业务在企业中应当是一个完整业务,是一个亟需提高定位的业务,是企业的战略业务。所以数据中台策略应当对应企业的数据战略,并提供更有力的支撑,而不是仅仅停留在把数据找到,把数据清洗,把数据算出来,所以,构建数据中台建设,需要详实了解企业的数据情况、数据需求以及构建数据业务的推动蓝图。上述内容应当通过相互衔接的七个数据服务进行完整的构建以及推动。
1)数据资源规划获取
2)数据治理
3)基于中台策略的数据建模和数据资产管理
4)基于中台策略的业务建模
5)实体画像和标签引擎
6)数据指标体系梳理和计算(BI)
7)数据应用规划和实现
元年在实施数据中台的过程中,在常规技术体系外还引入了基于TABASE的强业务建模工具进行中台业务建模。在中台数据治理和数据建模实施过程中,我们会根据客户数据量和业务场景,针对性地进行实施,主要分为基于Greenplum(GP)和Hadoop技术生态两类,充分发挥不同数据情况和业务场景下的技术优势。
基于GP技术栈的解决方案主要应用于数据来源聚焦结构化数据,并且数据量达不到PB级的企业,数据应用主要以BI报表系统为主,此技术栈相比hadoop大数据生态圈最大的特点在于其实施难度偏低,实施周期相比大数据来说较短,不需要部署和掌握hadoop大数据架构中复杂多样的技术组件。GP与其他常见的关系型数据库不同,其底层计算架构采用MPP技术实现,即大规模并行计算技术框架,该架构不仅能提供高效稳定的计算能力,同时又可以兼顾高弹性扩展的特点。在数据应用场景要求不高的情况下,元年通常会建议企业优先选择基于GP来进行整体数据中台的开发工作。
基于Hadoop大数据的解决方案主要应用于数据应用场景多样化,数据来源多样化,数据总量海量,数据增长速度快的企业和集团。元年采用开源的HDP大数据架构作为该解决方案的基石,涵盖了诸如HDFS、YARN、MAPREDUCE、HIVE、HBASE、SPARK、KAFKA、FLUME、SQOOP等常用的大数据技术组件,与此同时,元年与普元信息科技进行了深度合作,引入了普元在数据治理方面优秀的行业经验和技术能力,在数据应用层,元年与科大讯飞进行合作,推出了基于语音识别的元年智答产品,为企业数字化转型提供更多的技术保障。
3、技术升级,应用便捷
传统数仓和数据中台相比,无论在海量数据处理能力、节点扩展能力、实时计算能力、软件购买和维护成本等诸多方面都无法与大数据平台进行抗衡。元年通过整合第三方软件和工具,形成了自己成熟的数据中台解决方案,针对不同客户进行针对性的方案实施。