新職業(yè)-大數(shù)據(jù)工程技術(shù)人員就業(yè)景氣現(xiàn)狀分析報(bào)告

職業(yè)——大數(shù)據(jù)工程技術(shù)人員就業(yè)景氣現(xiàn)狀分析報(bào)告一、產(chǎn)生背景大數(shù)據(jù)產(chǎn)業(yè)指以數(shù)據(jù)生產(chǎn)、采集、存儲(chǔ)、加工、分析、效勞為主的相關(guān)經(jīng)濟(jì)活動(dòng)，包括才智醫(yī)療、才智城市、精準(zhǔn)扶貧以及其他相關(guān)高技術(shù)產(chǎn)業(yè)都離不開大數(shù)據(jù)的支撐，大數(shù)據(jù)技術(shù)在我國(guó)得到了較為廣泛的應(yīng)用?！惨弧硣?guó)家實(shí)施大數(shù)據(jù)戰(zhàn)略，構(gòu)建數(shù)字中國(guó)212023年大數(shù)據(jù)首次寫入政府工作報(bào)告；2023年8月國(guó)務(wù)院公布《促進(jìn)大數(shù)據(jù)進(jìn)展行動(dòng)綱要城市大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、交通旅游效勞大數(shù)據(jù)等多層次下游應(yīng)用市場(chǎng)，加快實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略。同時(shí)，伴隨大數(shù)據(jù)政策出臺(tái)，各地政府相繼成立了大數(shù)據(jù)治理機(jī)構(gòu)，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)展222001各省大數(shù)據(jù)治理機(jī)構(gòu)設(shè)置數(shù)量〔單位：個(gè)〕〔二〕大數(shù)據(jù)行業(yè)進(jìn)展迅猛，產(chǎn)業(yè)規(guī)模巨大2023年，工信部印發(fā)了《大數(shù)據(jù)產(chǎn)業(yè)進(jìn)展規(guī)劃〔2023-2023年掀起熱潮，目前已形成八大大數(shù)據(jù)綜合試驗(yàn)區(qū)，建成100多個(gè)大數(shù)據(jù)產(chǎn)業(yè)園。伴隨一代信息技術(shù)、才智城市、數(shù)字中國(guó)等進(jìn)展戰(zhàn)略逐步推動(dòng)社會(huì)經(jīng)濟(jì)數(shù)字化轉(zhuǎn)型，大數(shù)據(jù)的產(chǎn)業(yè)支撐得到強(qiáng)化，應(yīng)用范圍加速拓展，產(chǎn)業(yè)規(guī)模實(shí)現(xiàn)快速增長(zhǎng)。1572家企業(yè)的調(diào)查結(jié)果顯示，企業(yè)對(duì)數(shù)據(jù)分析的重視程度進(jìn)一步提高，65.2%的企業(yè)已成立數(shù)據(jù)分析部門，24.4%的企業(yè)正在打算成立相關(guān)數(shù)據(jù)部門。近四成的企業(yè)已經(jīng)應(yīng)用了大數(shù)據(jù)。在承受調(diào)查的企業(yè)中，已經(jīng)應(yīng)用大數(shù)據(jù)的企業(yè)有623家，占比為39.6%，垂直行業(yè)中如金融等領(lǐng)域大數(shù)據(jù)應(yīng)用增加趨勢(shì)較為明顯。此外，24.3%的企業(yè)表示將來一年內(nèi)將應(yīng)用大數(shù)據(jù)。對(duì)數(shù)據(jù)分析方式選擇狀況的調(diào)查顯示40.332.3%和25.5%。不久的將來，隨著人工智能技術(shù)的進(jìn)展和應(yīng)用普及，選擇機(jī)器學(xué)習(xí)進(jìn)展關(guān)心決策的企業(yè)占比有望進(jìn)一步提升。202356〔2023年2023年我國(guó)大數(shù)據(jù)產(chǎn)業(yè)增速約15540520234384.523.52023800022023-2023〔單位：億元〕從企業(yè)業(yè)務(wù)布局來看，大數(shù)據(jù)產(chǎn)業(yè)主要集中在華北、華東及中南地區(qū)。12023〔三〕數(shù)據(jù)資源資產(chǎn)化步伐穩(wěn)步推動(dòng)20238化進(jìn)程。202310據(jù)治理和應(yīng)用工作，提升國(guó)內(nèi)數(shù)據(jù)治理和應(yīng)用力量。2023年10月，在中國(guó)共產(chǎn)黨第十九屆中心委員會(huì)第四次全體會(huì)議上，中心首次公開指出“健全勞動(dòng)、資本、土地、學(xué)問、技術(shù)、治理和數(shù)據(jù)等生產(chǎn)要素按奉獻(xiàn)參與安排的機(jī)制產(chǎn)要素按奉獻(xiàn)參與安排，反映了隨著經(jīng)濟(jì)活動(dòng)數(shù)字化轉(zhuǎn)型加快，數(shù)據(jù)對(duì)提高生產(chǎn)效率的乘數(shù)作用凸顯，成為最具時(shí)代特征生產(chǎn)要素的重要變化。〔四〕技術(shù)融合成為大數(shù)據(jù)進(jìn)展主流當(dāng)前，大數(shù)據(jù)相關(guān)技術(shù)已根本成熟，逐步成為支撐型的根底設(shè)施，其進(jìn)展方向也開頭向提升效率轉(zhuǎn)變，向共性化的上層應(yīng)用聚焦。隨著5G通信標(biāo)準(zhǔn)的落地，物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、傳統(tǒng)行業(yè)將深度融合，算力、流批、TA、模塊、云數(shù)、數(shù)智等技術(shù)融合的趨勢(shì)愈發(fā)明顯，大量既懂大數(shù)據(jù)技術(shù)又懂其他相關(guān)行業(yè)技術(shù)的人才在大數(shù)據(jù)應(yīng)用領(lǐng)域發(fā)揮著越來越多的作用。〔五〕數(shù)據(jù)安全受到業(yè)界普遍關(guān)注202396臺(tái)杭州魔蝎數(shù)據(jù)科技被警方掌握，高管被帶走，相關(guān)效勞臨時(shí)癱瘓。同日，另一家供給大數(shù)據(jù)風(fēng)控效勞的顏科技人工智能科技高管被帶走幫助調(diào)查。大數(shù)據(jù)安全合規(guī)的問題，特別是對(duì)于個(gè)人信息保護(hù)的問題，當(dāng)前已成為整個(gè)社會(huì)和行業(yè)關(guān)注熱點(diǎn)。在全球不斷收緊數(shù)據(jù)合規(guī)政策的大環(huán)境下，我國(guó)在數(shù)據(jù)法律監(jiān)管方面也日趨嚴(yán)格標(biāo)準(zhǔn)。2023年以來，數(shù)據(jù)安全方面的立法進(jìn)程明顯加快。中心網(wǎng)信辦針對(duì)網(wǎng)絡(luò)安全審查、數(shù)據(jù)安全治理、兒童個(gè)人信息網(wǎng)絡(luò)保護(hù)、個(gè)人信息出境安全評(píng)估等四項(xiàng)關(guān)于數(shù)據(jù)安全的治理方法相繼公布征求意見稿。這些我國(guó)數(shù)據(jù)安全法律法規(guī)重點(diǎn)關(guān)注個(gè)人信息的保護(hù)，大數(shù)據(jù)行業(yè)整體合規(guī)也必定將以此作為核心。二、職業(yè)定義和工作任務(wù)近年來，隨著經(jīng)濟(jì)社會(huì)進(jìn)展、科學(xué)技術(shù)進(jìn)步和產(chǎn)業(yè)構(gòu)造調(diào)整，產(chǎn)業(yè)、業(yè)態(tài)、模式滋生孕育出很多職業(yè)。大數(shù)據(jù)技術(shù)應(yīng)用在各行各業(yè)的全面開放，我國(guó)社會(huì)需要越來越多的大數(shù)據(jù)工程技術(shù)人員。其職業(yè)定義和工作任務(wù)如下：并加以利用、治理、維護(hù)和效勞的工程技術(shù)人員。大數(shù)據(jù)工程技術(shù)人員主要工作任務(wù)：爭(zhēng)論和開發(fā)大數(shù)據(jù)采集、清洗、存儲(chǔ)及治理、分析及挖掘、呈現(xiàn)及應(yīng)用等有關(guān)技術(shù)；爭(zhēng)論、應(yīng)用大數(shù)據(jù)平臺(tái)體系架構(gòu)、技術(shù)和標(biāo)準(zhǔn)；設(shè)計(jì)、開發(fā)、集成、測(cè)試大數(shù)據(jù)軟硬件系統(tǒng)；大數(shù)據(jù)采集、清洗、建模與分析；治理、維護(hù)并保障大數(shù)據(jù)系統(tǒng)穩(wěn)定運(yùn)行；監(jiān)控、治理和保障大數(shù)據(jù)安全；供給大數(shù)據(jù)的技術(shù)詢問和技術(shù)效勞。三、當(dāng)前就業(yè)人群分析2023427得。〔一〕學(xué)歷層次4個(gè)大類，分別是碩士及以上、本科、?？?、?？埔韵隆?大數(shù)據(jù)人才學(xué)歷構(gòu)造〔單位：人〕可以看出，本科占比最高，其次是碩士及以上，?？普急戎挥?2.22%。大數(shù)據(jù)行業(yè)是興行業(yè)，目前學(xué)歷要求比較高?！捕硨I(yè)來源專業(yè)來源分為4個(gè)大類，分別是數(shù)理類、經(jīng)濟(jì)治理類、計(jì)算機(jī)類及其他專業(yè)。計(jì)算機(jī)類占比最高，其次是數(shù)理類。工程組調(diào)研企業(yè)大數(shù)據(jù)人才的各專業(yè)人數(shù)和占比見以下圖。4大數(shù)據(jù)人才專業(yè)來源〔單位：人〕〔三〕渠道來源4個(gè)大類，分別是校招、社招、內(nèi)部培育和推舉、培訓(xùn)機(jī)構(gòu)聘請(qǐng)。企業(yè)大數(shù)據(jù)人才各渠道來源的人數(shù)和占比見以下圖。5大數(shù)據(jù)人才渠道來源〔單位：人〕其中社招占比最大，比校招、內(nèi)培和內(nèi)推以及培訓(xùn)機(jī)構(gòu)聘請(qǐng)的總和還要高。大數(shù)據(jù)人才目前主要依靠社招，說明學(xué)校教育與社會(huì)需求脫節(jié)，內(nèi)培和培訓(xùn)也不能滿足崗位要求?！菜摹承劫Y水平分布當(dāng)前，大數(shù)據(jù)人才的薪資處于相對(duì)較高水平。薪資在1萬(wàn)元以下，占總?cè)藬?shù)的34.6%；1萬(wàn)元-235.64%；229.77%。6大數(shù)據(jù)人才薪資水平分布〔單位：人〕〔五〕崗位類型及數(shù)量目前企業(yè)供給的大數(shù)據(jù)崗位依據(jù)工作內(nèi)容要求，可以分為以下幾類：①初級(jí)分析類，包括業(yè)務(wù)數(shù)據(jù)分析師、商務(wù)數(shù)據(jù)分析師等。②挖掘算法類，包括數(shù)據(jù)挖AI工程師、數(shù)據(jù)科學(xué)家等。③開發(fā)運(yùn)維類，包括大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)工程師、大數(shù)據(jù)運(yùn)維工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)庫(kù)治理員等。④產(chǎn)品運(yùn)營(yíng)類，包括數(shù)據(jù)運(yùn)營(yíng)經(jīng)理、數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)工程經(jīng)理、大數(shù)據(jù)銷售等。四類崗位的數(shù)量和占比見以下圖。7大數(shù)據(jù)崗位類型構(gòu)造〔單位：人〕四、行業(yè)人才需求狀況〔一〕整體需求當(dāng)前信息化對(duì)人類經(jīng)濟(jì)活動(dòng)產(chǎn)生深刻影響，正滲透到生產(chǎn)生活方方面面，數(shù)據(jù)已經(jīng)成為的生產(chǎn)要素，大數(shù)據(jù)行業(yè)已成為人們按需使用信息處理、信息存儲(chǔ)、信息交互資源的重要模式，也是進(jìn)展大數(shù)據(jù)處理和深度挖掘的重要平臺(tái)，大數(shù)據(jù)工程技術(shù)人員在我國(guó)現(xiàn)階段及將來發(fā)揮的作用將日益凸顯?！洞髷?shù)據(jù)產(chǎn)業(yè)進(jìn)展規(guī)劃〔2023-2023年》指出，目前大數(shù)據(jù)人才隊(duì)伍建設(shè)亟需加強(qiáng)，大數(shù)據(jù)根底爭(zhēng)論、產(chǎn)品研發(fā)和業(yè)務(wù)應(yīng)用等各類人才短缺，難以滿足進(jìn)展需要。要建設(shè)多層次人企業(yè)、社會(huì)資源，推動(dòng)建立創(chuàng)人才培育模式，建立健全多層次、多類型的大數(shù)據(jù)人才培育體系。依據(jù)天府大數(shù)據(jù)國(guó)際戰(zhàn)略與技術(shù)爭(zhēng)論院〔簡(jiǎn)稱“天府大數(shù)據(jù)爭(zhēng)論院《2023全球大數(shù)據(jù)20230.23179.4萬(wàn)人。獵聘《2023年中國(guó)AIamp;大數(shù)據(jù)人才大數(shù)據(jù)人才就業(yè)趨勢(shì)報(bào)告》指出，2023年中國(guó)大數(shù)據(jù)人才缺口高達(dá)150萬(wàn)。另?yè)?jù)中國(guó)商業(yè)聯(lián)合會(huì)數(shù)據(jù)分析專業(yè)委員會(huì)統(tǒng)計(jì)，將來中國(guó)根底性14008大數(shù)據(jù)人才規(guī)模及增速5G等技術(shù)應(yīng)用的不斷進(jìn)展，社會(huì)對(duì)該職業(yè)從業(yè)人員的需求日益增2023210，202530%-402023〔二〕行業(yè)進(jìn)展對(duì)大數(shù)據(jù)相關(guān)崗位產(chǎn)生的影響機(jī)器學(xué)習(xí)和自然語(yǔ)言處理等多方面學(xué)問綜合把握的人才。從技術(shù)變化的角度看，深度神經(jīng)網(wǎng)絡(luò)等興技術(shù)的進(jìn)展，彌補(bǔ)了傳統(tǒng)分析挖掘技術(shù)在大數(shù)據(jù)時(shí)代的短板，這就需要大數(shù)據(jù)技能人才把握深度學(xué)習(xí)方面的相關(guān)學(xué)問，適應(yīng)大數(shù)據(jù)的分析挖掘需要。從運(yùn)營(yíng)方式的角度看，運(yùn)營(yíng)方式的變化要求運(yùn)營(yíng)人員提升運(yùn)營(yíng)前預(yù)備、運(yùn)營(yíng)中把握、運(yùn)營(yíng)后反響、修正，提升預(yù)見力量和掌控力量。目前企業(yè)對(duì)中高職層次的大數(shù)據(jù)人才相關(guān)崗位主要有：數(shù)據(jù)分析師、挖掘工程師、深度學(xué)習(xí)/算法/機(jī)器學(xué)習(xí)工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)工程師、大數(shù)據(jù)運(yùn)維工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)庫(kù)治理員、數(shù)據(jù)運(yùn)營(yíng)經(jīng)理、數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)工程經(jīng)理、大數(shù)據(jù)銷售工程師?？梢钥闯觯袠I(yè)進(jìn)展引發(fā)技術(shù)革命，相對(duì)應(yīng)的崗位及要求也有所變化。技術(shù)層面逐步由“萬(wàn)花筒”向“中國(guó)特色業(yè)界標(biāo)準(zhǔn)，中國(guó)證書漸漸成為業(yè)界證書。尖專才需求，又有中等層次的廣博復(fù)合型人才需求?！踩硩徫宦氊?zé)及技能要求依據(jù)調(diào)研狀況整理，大數(shù)據(jù)工程技術(shù)人員相關(guān)崗位的職責(zé)以及對(duì)大專以上學(xué)歷人才的職業(yè)技能要求如下表。2大數(shù)據(jù)相關(guān)崗位的職責(zé)以及崗位技能要求崗位崗位職責(zé)崗位技能數(shù)據(jù)分析師負(fù)責(zé)行業(yè)數(shù)據(jù)搜集、整理、分析，并依據(jù)數(shù)據(jù)做出行業(yè)爭(zhēng)論、評(píng)估和推測(cè)數(shù)理統(tǒng)計(jì)根本學(xué)問，Excel，SQL，Python/R。挖掘工程師負(fù)責(zé)行業(yè)數(shù)據(jù)整理、挖掘，并依據(jù)數(shù)據(jù)做出行業(yè)爭(zhēng)論、評(píng)估和推測(cè)常用數(shù)據(jù)挖掘算法，SQL，Python/R/Java。深度學(xué)習(xí)/算法/機(jī)器學(xué)習(xí)工程師負(fù)責(zé)利用各種神經(jīng)網(wǎng)絡(luò)模型及其算法并處理具體事務(wù)。各種神經(jīng)網(wǎng)絡(luò)模型，Python/C++/Java，TensorFlow、Caffe等深度學(xué)習(xí)系統(tǒng)。大數(shù)據(jù)開發(fā)工程師使用編程語(yǔ)言開發(fā)大數(shù)據(jù)相關(guān)軟件和應(yīng)用系統(tǒng)Java/Python/C++/Scala，Linux/Unix大數(shù)據(jù)架構(gòu)工程師負(fù)責(zé)大數(shù)據(jù)架構(gòu)的設(shè)計(jì)與實(shí)施。分布式系統(tǒng)原理，Linux/Unix系統(tǒng)及其腳本shellHadoop、Spark其組件Yarn，HBase、Hive、Pig大數(shù)據(jù)運(yùn)維工程師負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的運(yùn)行和維護(hù)Linux/Unix系統(tǒng)及其腳本shellJava。數(shù)據(jù)可視化工程師負(fù)責(zé)大數(shù)據(jù)可視化應(yīng)用開發(fā)，對(duì)數(shù)據(jù)分析結(jié)果多維度生動(dòng)地表達(dá)。前端框架及工具如jQueryVue.jsWebpack等，Web前端相關(guān)技術(shù)包括HTML/CSS/Javascript，數(shù)據(jù)可視化框架如Echars、Highcahrts、D3.js數(shù)據(jù)采集工程師負(fù)責(zé)數(shù)據(jù)采集、預(yù)處理、標(biāo)注等。Linux/UnixMysql，redis，mongdbScrapyweb根底學(xué)問如HTML/JavaScript/CSS/xpath/url/Ajax/xmlClientjsoup、WebDriver、phantomjs數(shù)據(jù)庫(kù)治理員負(fù)責(zé)數(shù)據(jù)庫(kù)的運(yùn)行