人工智能核心技術(shù)產(chǎn)業(yè)白皮書

互中國信通院——深度學(xué)習(xí)技術(shù)驅(qū)動下的人工智能時代版權(quán)聲明本白皮書版權(quán)屬于中國信息通信研究院和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟，并受法律保護。轉(zhuǎn)載、摘編或利用其它方式使用本白皮書文字或者觀點的，應(yīng)注明“來源：中國信息通信研究院和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟”。違反上述聲明者，編者將追究其相關(guān)法律責(zé)任。企業(yè)比拼重點從單項技術(shù)的“理論”準(zhǔn)確率轉(zhuǎn)向應(yīng)用場景白熱化的能產(chǎn)業(yè)似乎顯現(xiàn)出“陷入困境”與“高速發(fā)展”的矛盾現(xiàn)象。編制說明技有限公司等單位的專家在白皮書成稿過程中提出了許多建設(shè)性意 4 5 5 8 9 （二）以科技巨頭引領(lǐng)的產(chǎn)業(yè)垂直整合速度不斷加快 （六）全球數(shù)據(jù)鴻溝仍在加大，開放共享機制與數(shù)據(jù)服務(wù)能力加速構(gòu)建 22（七）以開源開發(fā)框架為核心的生態(tài)體系雛形漸顯，多種小生態(tài)同步形成.24 26（一）十三五期間我國總體發(fā)展情況 26 2 4 8 1一、人工智能核心技術(shù)產(chǎn)業(yè)發(fā)展總體態(tài)勢（一）深度學(xué)習(xí)技術(shù)進入升級優(yōu)化階段，產(chǎn)業(yè)開始步入高速發(fā)展階段（二）寒冬并非低谷，產(chǎn)業(yè)生態(tài)已現(xiàn)加速構(gòu)建態(tài)勢增速明顯放緩，2019、2020年全球每年新增人工智能企業(yè)數(shù)量已不筆融資的知名創(chuàng)新企業(yè)由于預(yù)期過高、虛假宣傳等原因退出產(chǎn)業(yè)舞臺。曾對標(biāo)英特爾的芯片企業(yè)WaveComputing，是人工智能計算領(lǐng)23等智能應(yīng)用已開始進入規(guī)?；瘧?yīng)用階段,大量的行業(yè)應(yīng)用場景加速深分析、部署監(jiān)測等完備研發(fā)工具鏈加速建立全棧智能計算技術(shù)體力探索孕育基礎(chǔ)和垂直行業(yè)技術(shù)平臺；產(chǎn)業(yè)規(guī)?；l(fā)展的進程正4（三）人工智能以空前廣度與深度推動社會發(fā)展，加速產(chǎn)業(yè)結(jié)構(gòu)升級進程的結(jié)合已開始改變基于傳統(tǒng)學(xué)術(shù)經(jīng)驗的科學(xué)研究方式,實現(xiàn)從大量已5到2030年約70%的行業(yè)企業(yè)將使用人工智能技術(shù)，預(yù)計為全球增加二、人工智能技術(shù)創(chuàng)新重點在探索萬幅圖片的ImageNet數(shù)據(jù)集至2020年臉6標(biāo)記的數(shù)據(jù)集中學(xué)習(xí)監(jiān)督信息，提升數(shù)據(jù)無標(biāo)注下的學(xué)習(xí)能力；DeepMind、OpenAI等機構(gòu)不斷演進深度強化學(xué)習(xí)算法，試圖顯著提7經(jīng)網(wǎng)絡(luò)（DNN）架構(gòu)的膠囊網(wǎng)絡(luò)，試圖解決小樣本問題。然而，膠囊8（二）任務(wù)場景愈加復(fù)雜，倒逼學(xué)習(xí)方式多元化發(fā)展有監(jiān)督學(xué)習(xí)建立在嚴(yán)苛條件之上，已不能完全滿足模型學(xué)習(xí)需后發(fā)布使用自監(jiān)督學(xué)習(xí)的算法模型，通過挖掘無標(biāo)注數(shù)據(jù)的監(jiān)督信9型構(gòu)造并學(xué)習(xí)數(shù)據(jù)特征,而非基于對數(shù)據(jù)內(nèi)容和任務(wù)對象的深層次認(rèn)（三）深度神經(jīng)網(wǎng)絡(luò)理論體系嘗試顛覆性創(chuàng)新，多分支融合趨勢漸顯深度學(xué)習(xí)局限性日益凸顯，理論體系探索革新。當(dāng)前，以杰弗用也在不斷探索，2020年Hinton團隊提出一種深度神經(jīng)網(wǎng)絡(luò)與其他技術(shù)分支加速融合發(fā)展。人工智能頭部企蟻內(nèi)部以及合作伙伴的微貸、保險智能理賠和智能理財?shù)葮I(yè)務(wù)領(lǐng)域（四）預(yù)訓(xùn)練模型加速演進，試圖實現(xiàn)語言處理領(lǐng)域的通用智能宣布與OpenAI達成合作協(xié)議，獲得GPT-3語言模型源碼的獨家授預(yù)訓(xùn)練模型已進入可直接用于多種自然語言處理任務(wù)的“通用”文本生成等服務(wù)，搜索服務(wù)提供商Algolia、社交媒體平臺Reddit（五）模型小型化成為提升模型運行效率的關(guān)鍵度復(fù)雜模型在硬件能力受限的設(shè)備上部署運行難度越來越大，以能與硬件能力的矛盾成為模型效率的關(guān)注重點。6、剪枝7、量化8等模型小型化的技術(shù)手段十倍壓縮率。如亞馬遜利用知識蒸餾進行預(yù)Transformer，結(jié)合量化和剪枝技術(shù)將Transformer模型（六）深度學(xué)習(xí)應(yīng)用加速推動智能計算革命力。當(dāng)前，全球最大規(guī)模的訓(xùn)練模型所需算力每年增長幅度高達10三、人工智能產(chǎn)業(yè)發(fā)展趨勢展的深度融合應(yīng)用需要構(gòu)建新的發(fā)展模式。一是加速打造提供模型選（二）以科技巨頭引領(lǐng)的產(chǎn)業(yè)垂直整合速度不斷加快環(huán)節(jié)的水平化都尚未完全確立，過去以通用基礎(chǔ)能力自居的芯片企專用硬件及芯片，提升其智能計算服務(wù)的競爭力；谷歌、百度等AI技術(shù)優(yōu)勢顯著的互聯(lián)網(wǎng)頭部企業(yè)基于先進算法和技術(shù)優(yōu)勢布局開源（三）開發(fā)框架格局逐步清晰，已從百花齊放向幾家分爭轉(zhuǎn)變CNTK、日本初創(chuàng)企業(yè)首選網(wǎng)絡(luò)（preferrednetworks）Chainer、加合并或直接停止更新的方式退出歷史舞臺。TensorFlow依托工業(yè)界行開源開發(fā)框架的系統(tǒng)化布局，百度飛漿、曠視MegEngine、華為片化挑戰(zhàn)，一方面，計算終端所使用的芯片類型多樣，CPU、GPU雖高級語言接口與硬件適配優(yōu)化成為開源框架構(gòu)筑壁壘的關(guān)鍵，一方架易用競爭力，與近期以易用性為優(yōu)勢快速提升地位的PyTorch抗（四）以研發(fā)和技術(shù)服務(wù)為核心，產(chǎn)業(yè)開始打造平臺化發(fā)展模式署、監(jiān)測分析等全生命周期的工具服務(wù)，如SageMakerAutopi術(shù)平臺是人工智能產(chǎn)業(yè)形成最早的平臺形態(tài)，產(chǎn)業(yè)主體主要包括谷業(yè)技術(shù)平臺存在技術(shù)服務(wù)直接輸出和提供關(guān)鍵應(yīng)用場景解決方案兩硬件選型，高精度地圖、路線規(guī)劃等智能軟件為一體的（五）智能計算產(chǎn)業(yè)形態(tài)初顯，呈現(xiàn)蓬勃發(fā)展態(tài)勢點。其中，2020年英偉達和英特爾在汽車智能芯片方面持續(xù)位于領(lǐng)多樣化行業(yè)場景的計算生態(tài)、搶占細(xì)分市場。例如，2020年，英偉人等軟硬一體計算平臺，寶馬公司使用英偉達ISSAC機器人平臺、（六）全球數(shù)據(jù)鴻溝仍在加大，開放共享機制與數(shù)據(jù)服務(wù)能力加速構(gòu)建速數(shù)據(jù)生成和積累，數(shù)據(jù)資產(chǎn)對全球經(jīng)濟利益的分配已開始產(chǎn)生影智能產(chǎn)生的經(jīng)濟價值中約有70％會累積到中美兩個國家，而若推動英國、法國、瑞典等國紛紛跟進修訂或新增；美國以原則倡議為主，種社會公益項目等問題共享數(shù)據(jù)，但尚未開放其產(chǎn)生利潤專有數(shù)據(jù)積極，數(shù)據(jù)合作已從點狀互惠向有組織的開放共享方向發(fā)展。微軟、組織密切關(guān)注數(shù)據(jù)隱私問題，企業(yè)也在自發(fā)建立數(shù)據(jù)開放協(xié)議或規(guī)科技頭部企業(yè)推出Datasetsearch、據(jù)的智能化標(biāo)注能力成為這一時期數(shù)據(jù)服務(wù)企業(yè)的發(fā)展重點；一方公司FigureEight，大幅提升企業(yè)數(shù)據(jù)服務(wù)競爭力；另一方面，智（七）以開源開發(fā)框架為核心的生態(tài)體系雛形漸顯，多種小生態(tài)同步形成如，2020年微軟在研發(fā)平臺、技術(shù)服務(wù)等方面持續(xù)深耕基礎(chǔ)上，向AI技術(shù)實現(xiàn)精準(zhǔn)醫(yī)療服務(wù)。二是人工智能技術(shù)服務(wù)企業(yè)、互聯(lián)網(wǎng)企四、我國人工智能發(fā)展重點與機遇（一）十三五期間我國總體發(fā)展情況發(fā)展人工智能是黨中央、國務(wù)院準(zhǔn)確把握新一輪科技革命和產(chǎn)1.人工智能政策環(huán)境持續(xù)優(yōu)化于積極推進“互聯(lián)網(wǎng)+”行動的指導(dǎo)意見》首次將人工智能納入將其上升至國家戰(zhàn)略，人工智能發(fā)展政策環(huán)境不斷完善。截至20202.人工智能技術(shù)創(chuàng)新能力持續(xù)提升我國企業(yè)在應(yīng)用算法、專用芯片、開源開放平臺、智能傳感等度、阿里、華為、騰訊、曠視、科大訊飛、第四范式、京東等一批倍引用的論文數(shù)量和發(fā)明專利授權(quán)量，處在第一梯隊。3.人工智能產(chǎn)業(yè)規(guī)模不斷發(fā)展壯大4.人工智能行業(yè)融合應(yīng)用不斷深入我國人工智能產(chǎn)業(yè)發(fā)展不斷深入，與一、二、三產(chǎn)業(yè)融合成效5.積極探索人工智能倫理和治理實踐時，2019年全國人大常委會已將一些與人工智能密切相關(guān)的立法項業(yè)加強人工智能倫理自律探索。各地地方積極探索人工智能治理實（二）十四五期間我國發(fā)展方向與機遇1.加快AI基礎(chǔ)原創(chuàng)技術(shù)的創(chuàng)新突破，打造融合創(chuàng)新生知科學(xué)等底層近現(xiàn)代學(xué)科早期創(chuàng)始人、重大貢獻者鮮有我國學(xué)者身習(xí)方式等顛覆技術(shù)主導(dǎo)權(quán)幾乎被全球幾位巨頭掌握；卷積神經(jīng)網(wǎng)絡(luò)、各分支中產(chǎn)生,延續(xù)性較強；人工智能顛覆、階躍技術(shù)的發(fā)展幾乎是寡頭壟斷的格局。仔細(xì)分析全球人工智能前沿技術(shù)的發(fā)展，Yoshua議上的觀點常引起全球?qū)W者追隨，引領(lǐng)新熱點方向發(fā)展。如，2020智能的路徑之一，引發(fā)自監(jiān)督學(xué)習(xí)熱潮，CPVR2020、ICLR2020會擁有一批追求算法技術(shù)極致優(yōu)化的人工智能企業(yè)，如曠視研發(fā)的我國企業(yè)在多個全球權(quán)威比賽中成績顯著，不斷挑戰(zhàn)更為復(fù)雜的任一是進一步構(gòu)建人工智能基礎(chǔ)理論與應(yīng)用技術(shù)相結(jié)合的學(xué)科體能+”為主線，著重應(yīng)用學(xué)科的發(fā)展。然而，相較于應(yīng)用技術(shù)，人工智能的基礎(chǔ)理論是我國下一時期提升人工智能顛覆性創(chuàng)新話語權(quán)的在逐步顯現(xiàn)。從全球來看，高校教授成為企業(yè)和高校間歌大腦人工智能團隊首席科學(xué)家；紐約大學(xué)終身教授YannLeCun，育的歷史，企業(yè)級研究院對于我國早期人工智能人才的培育貢獻顯著，微軟等頭部科技企業(yè)的企業(yè)級研究院培養(yǎng)一批諸如化型、階躍型技術(shù)具有重要引領(lǐng)作用。量子信息科學(xué)（QIS）科學(xué)中心發(fā)展，進一步完善其人工智能技術(shù)創(chuàng)2.協(xié)同發(fā)展AI基礎(chǔ)核心生態(tài)，加快構(gòu)建一批行業(yè)智能軟件平臺能計算時期，芯片頭部企業(yè)針對人工智能任務(wù)需求加速優(yōu)化芯片架成全球智能應(yīng)用的引領(lǐng)作用，并持續(xù)推進人工智能應(yīng)用先導(dǎo)區(qū)的