'「大數據就業」大數據開發:成為大數據高級工程師都有哪些要求?'
大數據平臺研發高級工程師
- 工作職責:
1、負責建設公司大數據平臺,為公司用戶提供穩定、易用的大數據平臺工具和便捷、酷炫的數據產品;
2、參與並主導大數據平臺工具鏈的設計、開發以及後續維護;
3、參與數據產品的研發,助力數據商業價值的發掘;
4、不斷迭代優化已有大數據平臺工具和數據產品,推動大數據平臺的發展。
- 崗位要求:
1、全日制本科及以上學歷,6年以上相關工作經驗,紮實的Java基礎知識,具有JavaSpring研發和大型系統架構經驗,熟悉分佈式系統的設計和應用;
2、熟悉Hadoop/Hbase/Hive/Kylin/Impala/Spark/Flink/Flume/Storm/Druid等大數據開源框架,清楚原理和機制;
3、清晰的邏輯分析和表達能力,熱愛技術,樂於分享,對行業和技術的發展有自己的見解;
4、有數據平臺建設經驗者優先;
5、良好的語言溝通能力與表達能力,能夠自我驅動。
大數據研發高級工程師
- 工作職責:
負責分佈式大數據應用平臺開發(包括數據服務接口系統、畫像系統、多維分析系統、實時處理系統等)的架構設計和開發;
負責推薦引擎平臺相關模塊的開發;
負責數據系統後臺存儲和計算優化。
- 任職要求:
計算機相關專業本科及以上學歷,五年以上開發工作經驗,有紮實的計算機理論基礎;
至少熟練使用JAVA、GOLANG、PHP、C++開發語言中的1-2種;
具備海量實時數據處理平臺建設經驗優先;
熟練掌握並能熟練應用常用算法、數據結構,有搜索、推薦等相關工作經驗者優先;
熟悉海量數據數據倉庫體系建設的優先;
熟悉HADOOP/SPARK/FLINK/DRUID/等組件,有相關項目經驗優先。
大數據高級大數據工程師
- 崗位職責:
1. 負責大數據管理平臺的設計與開發;
2. 負責大數據平臺相關組件的二次開發;
3. 負責數據倉庫的ETL設計與開發;
- 任職要求:
1. 本科以上學歷,計算機,數學等相關專業;
2. 3年以上的大數據開發經驗,掌握整個大數據開發流程;
3. 掌握java語言,能熟練使用shell腳本;
4. 精通Hadoop\\hive\\spark\\presto\\oozie等開源大數據技術組件中的至少兩種;
5. 具備良好的團隊合作精神、較強的自驅力,抗壓能力,溝通能力,責任心以及獨立解決問題的能力;
6. 有帶團隊經驗優先。
大數據後端開發高級工程師
- 工作職責:
1、負責大規模實時系統的架構設計和研發工作。
2、參與複雜分佈式系統的設計、開發、維護及優化。
3、和團隊一起攻克高性能、高併發、高可用性等各種不同技術場景下的技術挑戰。
- 崗位要求:
1、計算機相關專業,至少5年以上開發經驗,熟練掌握至少一種後端開發語言,比如Python/Golang
2、具備紮實的編程基礎,熟悉常用數據結構與算法,熟悉常用分佈式算法。
3、熟練使用MYSQL以及常用NOSQL數據庫。
4、熟悉Linux系統原理,包括但不限於IO棧,文件系統,網絡協議棧等。
5、熟悉分佈式理論及對應實現。
6、熟悉微服務設計思想並有實踐經驗。
7、熟悉docker以及相關工具鏈的使用。
8、具備線上問題解決與系統性能優化的經驗。
9、有較強的文獻閱讀和算法實現能力。
10。有良好的團隊合作和溝通能力。
11、有以下相關經驗優先:有海量用戶系統開發經驗的優先;開源社區參與者和貢獻者優先;瞭解機器學習算法的優先。
12、有Hadoop、spark、kubernetes等開源分佈式系統經驗的優先。
大數據工程師
- 工作職責:
1、參與搜索數據平臺架構和規劃;
2、參與數據倉庫的建模開發,滿足業務各應用端對數據的使用需求;
- 任職要求:
1、從事數據倉庫領域至少2年以上,熟悉數據倉庫模型設計與ETL開發,具備海量數據加工處理(ETL)相關經驗
2、具有一定數據模型和數據架構基礎,熟悉hadoop \\ hive和常用數據庫,理解雲計算和數據服務