大數(shù)據(jù)開發(fā)工程師的具體職責

1、大數(shù)據(jù)開發(fā)工程師的具體職責大數(shù)據(jù)開發(fā)工程師的具體職責1職責 :1、 負責公司大數(shù)據(jù)平臺數(shù)據(jù)處理工具ETL、 流處理平臺等建設，功能規(guī)劃，平臺演進，維護調(diào)優(yōu)等;2、 結(jié)合公司業(yè)務特征，負責公司數(shù)據(jù)倉庫規(guī)劃、數(shù)據(jù)倉庫建設、數(shù)倉管理等;3、 負責大數(shù)據(jù)處理技術研究及新技術引進，參與超大規(guī)模實時/離線數(shù)據(jù)計算框架，存儲、查詢、可視化解決方案的設計，研發(fā);4、 負責公司業(yè)務數(shù)據(jù)倉庫模型建設及全業(yè)務數(shù)據(jù)域打通;5、 負責 BI 報表和可視化項目，和客戶深度溝通，理解客戶的業(yè)務挑戰(zhàn)，提供解決方案，制定開發(fā)計劃并執(zhí)行，支持各單位日常數(shù)據(jù)需求和任務;任職資格 :1、熟練掌握關系型數(shù)據(jù)庫，例如：Oracle My

2、sql、Vertica等;熟悉NoSql數(shù) 據(jù)庫，例如HBase Redis MongodDB等;具備豐富的數(shù)據(jù)庫管理和運維調(diào)優(yōu)經(jīng)驗；2、 熟悉數(shù)據(jù)倉庫領域知識和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理，數(shù)據(jù)打通等;3、 有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗，熟悉Hadoop 生態(tài)相關技術并有相關實踐經(jīng)驗著優(yōu)先，如Hdfs、 Mapreduce、 Hive、 Hbase、 Spark、Storm;4、 精通數(shù)據(jù)預處理、檢驗、 清洗、 分析方法，精通各種常用統(tǒng)計檢驗方法;熟練掌握一門或多門編程語言，并有大型項目建設經(jīng)驗者優(yōu)先，如 Java、 Py

3、thon、Shell 和 scala等；5、 精通Linux， 熟悉日常運維、搭建常見服務器、定位解決日常問題的能力，具備ETL開發(fā)經(jīng)馬優(yōu)先；6、 良好的語言溝通與表達能力，有豐富的數(shù)據(jù)開發(fā)經(jīng)驗，較強的數(shù)據(jù)、平臺、技術理解能力;7、 具備數(shù)學類、計算機類等相關專業(yè)統(tǒng)招本科及以上學歷，具有 3 年及以上大數(shù)據(jù)開發(fā)工作經(jīng)驗，有互聯(lián)網(wǎng)行業(yè)背景優(yōu)先。大數(shù)據(jù)開發(fā)工程師的具體職責2職責：1、在 hadoop 平臺進行hive/hbase/spark 開發(fā) ;2、處理公司大數(shù)據(jù)平臺產(chǎn)品的技術工作，包括存儲、處理、分析、挖掘、架構設計、研發(fā)工作;3、熟悉設計、構建和優(yōu)化基于 hadoop/Hbase的存儲平臺

4、架構；4、熟悉整體提升hadoop/Hbase/Storm/Spark 集群的高可用性、高性能、高擴展特性;5、部門相關工作。崗位要求：1、計算機等相關專業(yè)大專及以上學歷;2、3年以上軟件開發(fā)經(jīng)驗，精通 Java開發(fā)，至少2年以上Hadoop相關開發(fā)經(jīng)驗 ;3、熟悉分布式系統(tǒng)、分布式計算系統(tǒng)的工作機制，具有大規(guī)模數(shù)據(jù)平臺，高并發(fā)大型系統(tǒng)，大數(shù)據(jù)等架構設計和開發(fā)經(jīng)驗;4、熟悉sqoop、Hive、hbase、spark等大數(shù)據(jù)生態(tài)組件；5、精通linux shell 和 sql 腳本 ;6、有java web 開發(fā)經(jīng)驗者優(yōu)先;7、良好的團隊精神和溝通能力，很強的邏輯思維能力和學習能力。大數(shù)據(jù)開發(fā)

5、工程師的具體職責3職責1. 負責大數(shù)據(jù)分析需求設計和開發(fā)工作，包括數(shù)據(jù)存儲、預處理、查詢、統(tǒng)計、實時分析、數(shù)據(jù)優(yōu)化及配置等功能;2. 對大數(shù)據(jù)分析系統(tǒng)存在的問題進行跟蹤和定位并及時解決;3. 負責上級交辦的其他相關工作。崗位要求：1. 本科以上學歷，2 年以上工作經(jīng)驗;2. Java基礎扎實，熟練使用Java IDE進行代碼編寫和調(diào)試，熟悉 JUnit單元 測試框架;3. 熟悉Linux操作系統(tǒng)，能在Linux上完成開發(fā)、調(diào)試工作；4. 熟悉網(wǎng)絡IO、多線程并發(fā)編程、集合等基礎框架，精通數(shù)據(jù)結(jié)構和數(shù)據(jù)算法;5. 參與過分布式高性能服務的設計開發(fā)過程，有大規(guī)模分布式系統(tǒng)的實踐經(jīng)驗;6. 熟悉數(shù)據(jù)

6、庫操作和使用的基本技能，熟練一種關系型數(shù)據(jù)庫的使用;7. 能獨立編寫詳細設計文檔;8. 有大數(shù)據(jù)分析工具Hadoop、spark使用開發(fā)經(jīng)驗優(yōu)先；9. 具有團隊精神與敬業(yè)精神，學習鉆研能力強，具有良好的協(xié)調(diào)溝通能力。大數(shù)據(jù)開發(fā)工程師的具體職責4職責：1、大數(shù)據(jù)的分布式采集與環(huán)境搭建和測試;2、大數(shù)據(jù)存儲、處理和分析工作;3、大數(shù)據(jù)相關產(chǎn)品線的改進和相關核心開發(fā)工作;4、其他大數(shù)據(jù)相關工作。任職要求：1、本科及以上學歷，計算機相關專業(yè);2、2年以上Java開發(fā)及大數(shù)據(jù)相關開發(fā)經(jīng)驗，java基礎扎實，熟練掌握多線程、集合、緩存、序列化、nio 等技術 ;3、熟悉 Linux 環(huán)境，熟悉 Linux

7、 shell/python/perl 任一月卻本；4、熟悉Hadoop、Spark、ZooKeeper等主流的大數(shù)據(jù)處理架構，并有 1年以 上Hadoop相關的實際開發(fā)、架構及調(diào)優(yōu)經(jīng)驗；5、使用過阿里云;6、熟悉架構;7、具有較好的學習能力、溝通表達能力及團隊合作能力。大數(shù)據(jù)開發(fā)工程師的具體職責5職責：1、本崗位培養(yǎng)方向為證券基金行業(yè)數(shù)據(jù)架構師2、輔助大數(shù)據(jù)架構師制定項目開發(fā)流程、規(guī)范，輔助數(shù)據(jù)模型設計人員進 行模型設計；3、輔助技術架構師進行大數(shù)據(jù)平臺調(diào)優(yōu)（業(yè)務邏率?角度）；4、負責大數(shù)據(jù)平臺開發(fā)，包括數(shù)據(jù)抽取、轉(zhuǎn)換和加載 ；5、負責控制數(shù)據(jù)需求、管理項目開發(fā)進度，配合QA完成項目質(zhì)量管理；職位要求：1、2年以上證券或者基金行業(yè)數(shù)據(jù)中心、大數(shù)據(jù)平臺建設經(jīng)驗；2、具備較強的學習能力，對數(shù)據(jù)模型和大數(shù)據(jù)技術有濃厚的興趣；3、熟練掌