大数据提供管道，AI提供智能

2016年被称为机器学习之年，2017年大数据开始进入实施应用阶段，相应地出现了一个新兴的技术栈。在这个技术栈里面，大数据被用于处理核心的数据工程挑战，而机器学习与自然语言处理（NLP）等共同构建起AI，用于从数据中析取出价值和商业洞察。这也就是所谓的“大数据提供管道，AI提供智能”。

根据业内人士分析称整个大数据和AI产业可分为三层，如下图：

什么是大数据？

虽然大数据一直萦绕在耳边，但实际上很多人并不清楚大数据到底是什么。一位运营人士曾经在运营人圈子内做过一个调查：下面5个选项哪些属于“数据”概念的范围？

结果是大部分人都知道把“4.报表”选上，但是很少有人会认为上面5个选项都是。其实这反映了一个很普遍的现象：很多人都会先入为主，认为数据就是各种表格、各种数字，例如excel报表、各种数据库。

但其实这是一个错误或者说有偏差的认识，它会使得我们对数据的认识变得狭隘。我们通常所说的数据只是结构化数据，但其实这只占到了企业数据的20%，其他80%的企业数据都是非结构化数据。简单来说，大数据是“结构化大数据”和“非结构化大数据”之和，而后者又常常被称为企业内容。

如何治理大数据？

从数据流转过程来看，底层基础平台主要解决了数据存储问题，而大数据通用技术则解决了从数据采集到数据分析的问题，如下图。

通用技术又可分为两类：一类技术用于推动业务进一步发展，提升处理效率；另一类技术则主要为企业客户等提供基于业务的数据服务。如网页爬虫技术、文本挖掘技术、BI、日志分析等都是常见的通用技术。

网页爬虫技术：网页爬虫技术很早就出现了，早期百度、Google等搜索引擎都在使用。随着大数据概念深入人心，数据价值被企业所重视，爬虫技术有了更加广阔的市场。

文本挖掘技术：文本挖掘技术主要应用于舆情监控方面，收集互联网的各类文本信息，帮助企业更好地进行竞争分析、公关、用户调研、战略制定等。

BI商业智能：BI公司与数据可视化公司，将报表等数据以图像等形式呈现，可视化更侧重于数据呈现，给企业客户更加清晰地展示，BI更侧重于人机互动，让业务人员可以更好地在图像上进行业务分析。

日志分析：日志分析在早期主要应用在信息安全领域，随着大数据技术发展，对日志数据处理更加迅速、精细，日志数据的价值被企业客户认可，其应用领域也逐步延展到公司业务领域，如反欺诈等。

移动统计、用户行为分析等领域则是随着移动互联网的兴起而得到快速发展的。

鸿翼在做什么？

显而易见，企业客户首先得将分散的大数据收集存储起来，并在此基础上进一步实现数据可视化，才能挖据数据的内在价值。目前，行业内大型企业大多处于收集行业信息，并实现可视化这一阶段。鸿翼股份的InWise ICS系列产品正是基于企业的这一阶段需求，通过ETL、NLP、机器学习等技术，充分收集企业各类数据，统一存储，实现企业内容数据可视化。

其实，大数据并不神秘，企业在大数据上投入与上个时代企业在硬件设备和ERP等软件上投入没有本质区别，即虽然大数据无法直接给企业带来利润，但通过大数据应用便可帮助企业的主营业务产生更大利润。这不仅是众多大数据软件开发的出发点，更是企业级客户真正愿意为大数据业务买单的原因。