大数据hadoop和spark怎么选择?
admin
2023-06-23 21:42:24
0次
两者在大数据应用当中都启着非常重要的作用。Hadoop在大数据分析中被广泛应用，也可以与Spark相结合提高其实时计算分析能力。
第一，Hadoop 和Spark 两者都是大数据中常用的框架，但解决问题的层面和方向有所不同。Hadoop更多是一个分布式数据基础设施，将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，节省了硬件成本 ，而Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，依赖于分布式数据存储。
第二， Spark要比Hadoop的MapReduce计算速度快很多。Spark会在内存中以接近“实时”的时间完成所有的数据分析，从集群中读取数据，完成所有必须的分析处理，将结果写回集群。对于动态数据实时分析而言，Spark要比Hadoop性能较为优越。 比如实时的市场活动、网络安全分析等方面的应用。
除以之外，建议再学习涉猎Flink。
上一篇：【大数据】国内几家大数据公司介绍
下一篇：论司法大数据的发展与趋势