大数据开发岗位可以做什么？
admin
2023-06-29 11:06:54
0次
从上帝视角看一张图，了解下大数据所处的位置及与相关岗位的关系
Java开发和大数据开发就像流水线上的工作差不多，大数据，顾名思义，主要是对数据的研究，而数据哪来，肯定是业务产生的，业务是怎么开发的，就是Java等语言开发的
但是你要说Java和大数据有哪些重合点，唯一的重合点就是大数据的组件大多是Java开发的，Java转大数据相对容易些，但是实际工作中，它们是两个不同的工作，内容基本都不一样，如果重合过多的话也不会成为流水线上的先后两个工作了
那么大数据专业怎么发展，需要转行吗，目前来看是不需要的，因为都是其他行业转到大数据
大数据专业该怎么学习呢，可以看下我的公众号【五分钟学大数据】上的教程，里面有大数据技术各个组件的详细讲解，离线批处理Hadoop的底层原理，在线流处理 Flink 的使用及底层原理等都有
大数据需要掌握的技能如下：
大数据开发工程师一般是以写代码为主，以 Java 和 Scala 为主。
大数据开发分两类，第一类是编写Hadoop、Spark、Flink 的应用程序，第二类是对大数据处理系统本身进行开发，如对开源框架的扩展开发，数据中台的开发等！
需要重点掌握的技能：
- 语言：Java 和 Scala（语言以这两种为主，需要重点掌握）
- Linux（需要对Linux有一定的理解）
- Hadoop（需理解底层，能看懂源码）
- Hive（会使用，能进行二次开发）
- Spark（能进行开发。对源码有了解）
- Kafka（会使用，理解底层原理）
- Flink（能进行开发。对源码有了解）
- HBase（理解底层原理）