学了大数据能干啥

对于刚入行大数据的朋友,有不少不清楚大数据到底是做什么的。今天这篇文章我结合我自己的经历,按照数据处理的上下游关系,简单划分目前大数据的职位:

大数据框架开发工程师:主要开发分布式计算、存储框架,这个岗位主要在大公司有应用,尤其是云计算业务,中小企业基本上应用云服务或者开源的框架,如:Hadoop、Spark、Flink

大数据/ETL开发工程师:应用 Hadoop 、 Spark、Flink等大数据框架,处理实时或离线的日志数据,落地到数据库或者分布式文件系统

数据仓库工程师:进行数据建模,提供方便的数据服务,工作核心是数据仓库的分层设计,设计数仓中每个表的结构以及表之间的关系。目前主流的建模方式为维度建模,实现技术主要是 Hive

BI/数据分析师:主要是做基本的报表开发,对数据进行分析,从数据中挖掘价值,对数据进行解读,指导商业决策。这块不太侧重编程,但最好对数据有感兴趣,平时需要注重培养对数据的敏感度

机器学习/数据挖掘:从数据发现规律和特征,利用机器学习或深度学习挖掘数据的价值或者潜在问题,对未来进行预测。这块更需要系统的机器学习的知识

实际工作中职位界限不会划分这么清晰,可能每个人负责的内容会涉及几个方面。比如BI开发需要会数据建模,同时解读数据可能也会用上机器学习算法。

希望每个想从事大数据的朋友都能结合自己的兴趣,找准位置。

 

公众号「渡码」,分享更多高质量内容

posted @ 2019-11-11 13:14  渡码  阅读(510)  评论(0编辑  收藏  举报