大数据开发工程师-----职位要求（网上招聘查找）

一、

java开发工程师（大数据方向）

岗位职责：

1、参与大数据平台的设计与开发，解决海量数据面临的挑战；

2、管理、优化并维护Hadoop、Spark等集群，保证集群规模持续、稳定；

3、负责HDFS/hive/HBase的功能、性能和扩展，解决并实现业务需求；

4、协助团队成员建立数据模型，对数据进行挖掘、优化及统计。

 

任职要求：

1、本科生及以上学历，2年及以上互联网系统或者其他企业应用系统开发相关经验；

2、具备Java开发经验，Java编程基础扎实，熟练使用struts2、spring、ibatis或hibernate等框架；

3、有分布式系统开发经验；

3、熟悉Hadoop/HBase/Spark/Storm/Hive，熟悉数据挖掘策略与算法者优先；

4、数据控，善于发现问题、解决问题,具备良好的分析和解决问题的能力，具备一定的钻研精神和持续学习的意愿，强烈的责任感和团队感，对负有挑战性的工作充满热情

二、

大数据开发工程师

岗位职责：

1、开发大数据的数据接入、数据存储及管理系统

2、负责大数据的维度分解及统计汇报

3、梳理并维护大数据及汇总工作

4、设计并参与开发大数据服务系统。

任职要求：

1、精通java开发，熟悉JVM及java常用包

2、熟悉大数据开发流程

3、熟悉Linux操作系统及Apache Hadoop

4、熟悉大数据生态环境的常用组件，如Kafka、Storm等

5、熟悉常用关系型及非关系型数据库

6、人际关系良好，具有较强的沟通技能

7、有工作热情，爱岗敬业。

 

三、

前端开发工程师（大数据平台方向）

岗位要求：

1、熟悉Web应用的开发，有2年以上web开发经验，有良好的编码习惯，注重代码质量与代码整洁；

2、熟练掌握JavaScript语言，对JavaScript core有深刻认识，熟悉ES6语法；

3、具备Web前端编程经验，熟悉HTTP/HTML5/CSS3/Ajax等页面技术，熟悉Web Service/json等常用数据接口和格式，确保页面代码对各种浏览器的良好兼容性；

4、掌握前端各种常用工具，保持着对新技术的追求；

5、对网站性能优化有研究并有相关实践经验，包括代码管理、图片压缩、代码压缩、减少HTTP请求等；

6、熟悉jquery、bootstrap等常用类库，有/SVG/canvas实战项目经验，有web图形化框架（如d3、echarts、highchart等）实战项目经验;

7、有地图开发框架（如leaflet、openlayers、mapboxgl等）实战项目经验者优先考虑;

8、有reactJs、redux、vue、nodejs等实战项目经验者优先考虑;

9、熟悉webgl技术，有webgl实战项目经验者优先考虑;

10、有数据可视化相关实战经验、技术上富有探索性和钻研性、有较强的学习能力者优先考虑。

 

四、

大数据开发工程师

岗位职责：

1、负责大数据相关领域技术的跟踪研究以及相关技术标准、规范、流程的制定与实施

2、负责大数据分析平台相关数据挖掘算法、统计分析方法、数据处理流程制定及应用开发工作

3、参与研究拟订及实施公司大数据领域战略、规划和政策措施，引导和推动公司大数据领域相关工作

4、协助公司数据服务平台的大数据分析平台建设及运行维护

5、协助其他数据开发工程师制定大数据对应信息的标准和相关要求

6、协助数据需求工程师对口数据用户，提供相关大数据应用支持

 

任职资格：

1、熟悉Spark生态系统组件使用，2年以上Spark(Core/SQL/Streaming/MLlib)研发经验

2、熟悉Scala、Java、Python语言，对Scala有比较深入的研究

3、熟悉Kafka+Spark进行数据的流式实时处理

4、有海量数据处理开发经验

5、良好的沟通、学习、团队协作能力

6、有民航领域相关工作经验优先

7、有统计学数学知识，海量数据处理、数据分析和挖掘经验优先

8、开源社区活跃并有积极贡献优先

 

五、

大数据开发工程师

岗位职责：

1、负责大数据平台的设计研发工作；

2、承担数据抽取、清洗、转化等数据处理程序开发；

3、负责大数据相关应用系统的性能分析、性能监控，不断优化系统运行效率；

任职要求：

1、2年以上大数据技术的实际研发、应用经验；

2、有文本挖掘、自然语言处理相关的工作经验优先；

3、为人踏实，愿意挑战困难，具备一定抗压能力；

4、较强的逻辑思维能力，良好的沟通、表达能力，良好的学习能力；

5、具备扎实的java技术；

6、具有分布式系统架构开发能力，精通大数据相关技术、框架及组件；

7、（Hadoop、Kafka、Spark、Storm、HBase、Hive、Zookeeper)等；

8、熟悉数据仓库架构，熟悉oralce，mysql数据库，并精通至少一种数据库产品。

 

六、

大数据开发工程师

职责描述：
1. 负责面向下厨房业务的数据平台研发工作，保证核心数据的准确性、完整性、稳定性；
2.助力数据驱动决策，构建分布式的数据存储/计算/查询等系统。

任职要求：
1.熟悉SQL，有数据仓库研发经验，熟悉Hadoop生态技术 (Hive Spark 等)
2.对数据处理、数仓建模、数据分析有深刻认识和实战经验
3. 熟悉Linux系统环境
加分项：
熟练使用 python 和 java

七、

大数据开发工程师（偏数据分析）

岗位职责：

1. 数据统计，基于公司级海量数据，为产品和商业提供有价值的决策参考

2. 基于海量的用户反馈数据和算法建模，做智能化的画像处理和趋势预测

3. 参与优化与维护大数据平台数据仓库，保证BI系统的稳定性与准确度

 

任职要求：

1. 有2年以上大数据项目开发经验，掌握分布式数据仓库、数据模型相关知识2. 熟练使用linux操作系统

2. 熟悉大数据平台及数据仓库工具，数据同步工具，包括Spark各种组件，Hive, Impala, Sqoop等

3. 熟练掌握Java/Python及常用框架，精通SQL

4. 熟悉AWS环境, S3, EMR, Redshift, Kinesis, Pipeline

5. 极强的学习能力和动力，对未知领域能快速掌握并实践

6. 熟练使用可视化分析工具者优先考虑，如Tableau/R

 

八、

大数据开发工程师

岗位职责：

1.负责工业大数据相关的预测模型开发、模型运维；

2.负责大数据预测产品的核心模型与算法的创新研究和实现； 

3.分布式平台应用开发（Hadoop/Spark/Hbase）；

4.从各种数据系统导出指定格式的文件 ，支撑各业务线数据需求；

5.配合指导算法团队完成大数据文本分析系统建设。

任职要求：

1.具有丰富的数据仓库开发经验，有2年以上Hadoop/Spark/SparkStreaming/Hbase等应用开发经验，对分布式计算、数据仓库理论有深刻理解 ；

2.熟练掌握linux常规命令与工具 ；

3.精通Scala、Python，有并发应用或者分布式应用软件开发经验优先 ；

4.熟悉主流的大数据产品（Hadoop、Spark、Flume、kafka、es等）并具有其中部分组件的应用或者开发经验； 

5.熟悉常用机器学习算法:如随机森林、决策树、时间序列等,对深度学习如TensorFlow了解者优先;

6.良好的系统分析、架构设计能力； 

7.对数据敏感、对新技术敏感，有数据挖掘技能者优先 ；

8.对商业和业务逻辑敏感，具备良好的分析、组织、沟通能力和团队精神。

 

九、

大数据开发工程师

 

岗位职责：

1、基于Python的Web服务或产品开发 

2、面向对象高效的程序开发 

3、开发数据处理，计算等程序 

4、开发数据统计分析程序 

任职要求：

1、具有2年以上java或者python开发经验,会C语言更佳 

2、熟练掌握pandas，numpy，sklearn等python开源包 

3、熟练使用tornado， django等python web框架

4、熟悉Hadoop / Spark / Hive / Hbase，有一定的Sql性能调优经验； 

5、了解简单的机器学习算法 

6、具有良好的自学能力及团队合作能力

十、

大数据开发工程师

岗位职责：

1、负责公司数据仓库的搭建以及快速并行化查询需求的支持

2、负责公司的数据处理、数据统计以及数据挖掘的开发工作 

3、负责公司后台日志统计分析系统的具体开发工作  

4、利用hadoop、spark等框架做数据的实时及离线分析

 

岗位要求：

 

1、硕士以上学历，或优秀的本科生

2、java基本功扎实，熟悉Scala的优先

3、熟悉分布式计算和存储技术，熟悉Hadoop、MapReduce、Spark等，

4、熟悉Mongo、HBase等NOSQL数据库。 

5、熟悉大数据的统计分析和挖掘，了解常用的数据统计方法和挖掘算法。

6、熟悉Linux 操作系统, 可以自行部署开发环境

加分项：

1、对程序开发有浓厚热情的，愿意深入学习，立志成为开发大牛的；

2、有写博客习惯或能提供github地址的

3、了解股票，期货和其他金融衍生品的知识者优先 

 

posted @ 2018-04-19 19:15  瓶子xf  阅读(571)  评论(0)  编辑  收藏  举报