數(shù)據(jù)采集相關(guān)工作

數(shù)據(jù)采集相關(guān)工作數(shù)據(jù)采集相關(guān)工作篇一1、負(fù)責(zé)生產(chǎn)環(huán)境Mysql數(shù)據(jù)庫系統(tǒng)高可用、高性能架構(gòu)方案，分庫分表策略，數(shù)據(jù)庫擴(kuò)展方案;2、排查數(shù)據(jù)庫故障，分析和解決疑難問題，提出預(yù)防方案;3、制定數(shù)據(jù)庫監(jiān)控策略、備份策略、容災(zāi)策略，探查系統(tǒng)潛在的問題和可能的性能瓶頸并進(jìn)行優(yōu)化;4、對(duì)開發(fā)工程師的SQL語句進(jìn)行審核及SQL優(yōu)化;5、負(fù)責(zé)redis、memcache等非關(guān)系數(shù)據(jù)庫的管理和擴(kuò)展，能夠根據(jù)業(yè)務(wù)需求完成系統(tǒng)設(shè)計(jì)、架構(gòu)設(shè)計(jì)工作;6、參與前瞻性新技術(shù)研究，解決數(shù)據(jù)庫相關(guān)疑難問題。數(shù)據(jù)采集相關(guān)工作篇二崗位職責(zé)：業(yè)務(wù)數(shù)據(jù)的收集整理和分析;負(fù)責(zé)公安、交通領(lǐng)域的業(yè)務(wù)建模和算法設(shè)計(jì);分析項(xiàng)目數(shù)據(jù)需求，完成系統(tǒng)中數(shù)據(jù)分析模塊的設(shè)計(jì)、實(shí)現(xiàn)和測(cè)試;設(shè)計(jì)、構(gòu)建和優(yōu)化基于大數(shù)據(jù)的存儲(chǔ)平臺(tái)架構(gòu)，編寫相關(guān)技術(shù)文檔;設(shè)計(jì)并實(shí)現(xiàn)基于開源項(xiàng)目(Cobar，Spark等)的海量數(shù)據(jù)集成與處理平臺(tái);為其他部門提供數(shù)據(jù)分析支撐。任職資格：計(jì)算機(jī)相關(guān)專業(yè);熟悉數(shù)據(jù)挖掘算法，對(duì)分類、聚類、時(shí)序、圖等算法有很深了解;熟練掌握Hadoop、Spark生態(tài)系統(tǒng)組件(MR、HBase、Hive、ZooKeeper、SparkSQL、SparkMlib等)，有相關(guān)大數(shù)據(jù)架構(gòu),開發(fā)成功案例;熟練的使用、開發(fā)ETL工具經(jīng)驗(yàn)，有數(shù)據(jù)庫建模ER建模經(jīng)驗(yàn)優(yōu)先;有海量數(shù)據(jù)BI或數(shù)據(jù)挖掘項(xiàng)目實(shí)施和管理經(jīng)驗(yàn)，對(duì)數(shù)據(jù)挖掘理論方法有一定了解者優(yōu)先;熟悉的BashShell和Python等腳本編程能力;強(qiáng)烈的責(zé)任心和工作熱情，良好的團(tuán)隊(duì)合作精神。數(shù)據(jù)采集相關(guān)工作篇三崗位職責(zé)：深入研究業(yè)內(nèi)領(lǐng)先的技術(shù)思路，輸出具有創(chuàng)新價(jià)值的預(yù)研項(xiàng)目可行性分析報(bào)告以及相關(guān)實(shí)驗(yàn)數(shù)據(jù);負(fù)責(zé)產(chǎn)品、銷售、供應(yīng)鏈、電商等公司數(shù)據(jù)的海量挖掘，并建立和優(yōu)化用戶標(biāo)簽、特征模型、產(chǎn)品精準(zhǔn)匹配、異常預(yù)警等;負(fù)責(zé)大數(shù)據(jù)下傳統(tǒng)機(jī)器學(xué)習(xí)算法的并行化實(shí)現(xiàn)及應(yīng)用，并提出改進(jìn)方法和思路;參與公司大數(shù)據(jù)架構(gòu)，負(fù)責(zé)BI實(shí)施中的數(shù)據(jù)挖掘模塊算法研究、模型建立和優(yōu)化，幫助實(shí)現(xiàn)數(shù)據(jù)挖掘和分析平臺(tái)的建設(shè);負(fù)責(zé)相關(guān)數(shù)據(jù)挖掘項(xiàng)目的需求收集、項(xiàng)目建立、項(xiàng)目設(shè)計(jì)開發(fā)和結(jié)果輸出質(zhì)量把控，通過數(shù)據(jù)挖掘結(jié)果驅(qū)動(dòng)業(yè)務(wù)執(zhí)行;配合技術(shù)進(jìn)行數(shù)據(jù)挖掘模型開發(fā)和模型封裝，例如決策規(guī)則模型、預(yù)警模型、流失模型、效果標(biāo)桿模型、客戶生命周期管理模型等;任職要求：大學(xué)本科及以上學(xué)歷，統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、信息技術(shù)、數(shù)學(xué)相關(guān)專業(yè);兩年以上數(shù)據(jù)建模經(jīng)驗(yàn);數(shù)據(jù)主流數(shù)據(jù)庫，mysql、oracle、DB2等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫，熟悉HBase、MongoDB等非結(jié)構(gòu)化數(shù)據(jù)庫;熟悉常用的聚類、分類、回歸、關(guān)聯(lián)、時(shí)間序列等監(jiān)督式和非監(jiān)督式學(xué)習(xí)算法;熟悉R、Python、MLlib等數(shù)據(jù)挖掘工具中至少一種。熟悉spark、storm等大數(shù)據(jù)計(jì)算框架者優(yōu)先。數(shù)據(jù)采集相關(guān)工作篇四職責(zé)描述：1、負(fù)責(zé)文本數(shù)據(jù)處理，如格式轉(zhuǎn)換、分詞處理、實(shí)體抽取、專業(yè)詞典整理等；2、自然語言處理相關(guān)工具開發(fā)；3、協(xié)助訓(xùn)練nlp模型。任職要求：1、計(jì)算機(jī)相關(guān)專業(yè)（本科2年以上）；2、精通c/c++或java，熟悉python、bash？shell等腳本語言；3、熟悉正則表達(dá)式，了解常用分類、聚類算法及相應(yīng)工具；4、熟悉使用基本分類、聚類算法及相應(yīng)工具；