2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望

計算機研究與發(fā)展DOI：10.7544/issn1000-1239.202440063JournalofComputerResearchandDevelopmen2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望（浙江大學(xué)計算機科學(xué)與技術(shù)學(xué)院杭州310013）（weizishu@）LookaheadAnalysisandDiscussionofResearchHotspotsinArtificialIntelligencefrom2021to2023WeiZishu,HanYue,LiuSihao,ZhangShengyu,andWuFei（CollegeofComputerScienceandTechnology，ZhejiangUniversity,Hangzhou310013）AbstractIncurrentera,markedbyadvancementsandachievementsmadeindigitalandintelligentfields,artificialintelligence(AI)hasemergedasapivotalenginedrivingtechnologicalinnovation,whichindicatesencapsulatingandexaminingthelatesttrendsandfuturetrajectoriesinAIresearchmakessenseonthedevelopmentoffutureAIresearch.Thiscanbeimplementedbycollectingtheresearchoutcomesduringrecentthreeyearsfromtop-tierinternationalconferencesandjournalsinthefieldofAIthatarerecommendedbytheChinaComputerFederation(CCF-Acategory),introducingkeyword-centricanalysesbasedonabibliometricmethodologies,andanalyzingresearchhotspotsbasedonhigh-frequencykeywords,discerningemergingtrendsthroughnewly-addedkeywords,identifyinghigh-impactstudiesusingcitation-weightedkeywordanalysis.Theresultoftheseanalyses,whichcontainssignificantinformationabouttrendsinAIresearch,canenabletheprincipaldirectionsofAIresearchtobedelineatedandtheinterconnectionsandintegrativefusionwithinmainstreamAIresearchdirectionstobeunveiled.Moreover,anin-depthexplorationofthecurrenthottopics,suchaslargelanguagemodels(LLMs),AI-drivenscientificresearch(AIforScience)andvisualgenerationtechnologies,wouldhelpusrevealtheunderlyingscientifictheoriesandapplicationprospectsbehindthesetechnologicalinnovations,therebythelatesttrendsandfuturetrajectoriesinAIfieldgetdemonstratedmoreadequatelyandconcretely.摘要在當(dāng)今數(shù)字化和智能化的時代背景下，人工智能（artificialintelligence，AI）已成為科技創(chuàng)新的重要引擎，總結(jié)探討AI研究的最新趨勢和未來發(fā)展方向具有重要的研究和現(xiàn)實意義.為此，對2021—2023年間在中國計算機學(xué)會（CCF）推薦的AI領(lǐng)域CCF-A類國際會議和期刊所發(fā)表論文的研究成果進行收集，并在此基礎(chǔ)上采用文獻計量學(xué)的方法論來通過關(guān)鍵詞對研究熱點進行分析，進行基于高頻關(guān)鍵詞分析研究熱點、基于新增關(guān)鍵詞分析研究趨勢、基于引用量加權(quán)的關(guān)鍵詞分析高影響力研究，可以梳理AI研究的主流方向、發(fā)現(xiàn)AI主要研究方向的相互聯(lián)系和交叉融合的特點.此外，對當(dāng)前研究熱點如大語言模型（largelanguagemodel，LLM）、AI驅(qū)動的科學(xué)研究（AIforScience）和視覺生成相關(guān)論文的關(guān)聯(lián)熱點進行分析，可以挖掘技術(shù)路徑和方法論的演變，展現(xiàn)技術(shù)創(chuàng)新背后的科學(xué)理論和應(yīng)用前景，從而進一步揭示AI研究的最新趨勢和發(fā)展前景.關(guān)鍵詞人工智能；研究熱點；關(guān)鍵詞；統(tǒng)計分析；數(shù)據(jù)挖掘中圖法分類號TP391收稿日期：2024-01-29；修回日期：2024-03-29通信作者：吳飛（wufei@）1262計算機研究與發(fā)展2024，61（5）領(lǐng)域技術(shù)的潛力，是類似于內(nèi)燃機或電力的一種通用目的使能技術(shù)，被廣泛應(yīng)用于其他眾多領(lǐng)域.2017年7月，國務(wù)院印發(fā)《新一代AI發(fā)展規(guī)劃》，這是本世紀(jì)以來中國發(fā)布的第一個AI系統(tǒng)性戰(zhàn)略規(guī)劃，這一規(guī)劃提出了面向2030年我國新一代AI發(fā)展的指導(dǎo)思想、戰(zhàn)略目標(biāo)、重點任務(wù)和保障措施，推動了AI發(fā)展.由于AI技術(shù)研發(fā)和落地應(yīng)用的復(fù)雜性，亟須對世界范圍AI前沿研究近年來的發(fā)展?fàn)顩r和研究特性進行總結(jié)梳理.因此，本文采用定性分析與定量研究相結(jié)合的研究方法，對2021—2023年間，中國計算機學(xué)會推薦的CCF-A中AI國際會議和期刊論文研究成果進行深入分析.本文從多維度解讀AI的最新趨勢，涵蓋基于高頻關(guān)鍵詞分析研究熱點、基于新增關(guān)鍵詞分析研究趨勢、基于引用量加權(quán)的關(guān)鍵詞分析高影響力研究等，以期為學(xué)術(shù)界和產(chǎn)業(yè)界揭示AI最新發(fā)展，為政策制定和行業(yè)應(yīng)用提供參考和依據(jù).NeurIPS等CCF-A類國際學(xué)術(shù)會議的論文集中的論TVCG等CCF-A類國際學(xué)術(shù)期刊發(fā)表的論文，一共學(xué)術(shù)論文中的關(guān)鍵詞是對論文研究主題和方法的高度概括，也是對所解決問題和使用手段的精準(zhǔn)總結(jié).因此，本文研究以關(guān)鍵詞為熱點分析原子，構(gòu)建多重分析維度以解釋研究者們的主要關(guān)注點，進而提煉AI領(lǐng)域的核心研究熱點.本文從3個方面進行關(guān)鍵詞分析：1）統(tǒng)計每年的高頻關(guān)鍵詞揭示年度研究焦點；2）新增關(guān)鍵詞的分析有助于識別當(dāng)年學(xué)術(shù)探索的新趨勢；3）鑒于單個關(guān)鍵詞難以全面反映研究內(nèi)容，本文綜合分析了每年的關(guān)鍵詞對以分析主流方向的相互聯(lián)系和交叉融合.在高頻關(guān)鍵詞的統(tǒng)計分析中，考慮到不同論文的影響力存在差異，本文引入了論文引用量指標(biāo)，通過結(jié)合引用量加權(quán)的方法，進一步深化了對高頻關(guān)鍵詞的分析和理解.綜合考慮年度高頻關(guān)鍵詞分析、引用量加權(quán)的關(guān)鍵詞分析以及新增關(guān)鍵詞和關(guān)鍵詞對的分析提升了AI領(lǐng)域的研究動態(tài)和未來趨勢分析的系統(tǒng)性.本文研究進一步深入探討了當(dāng)前研究的核心熱的科學(xué)研究（AIforScience）以及視覺生成的相關(guān)技術(shù)，并按時間進行統(tǒng)計分析，揭示其關(guān)鍵技術(shù)發(fā)展路徑和方法論的演變，為理解技術(shù)創(chuàng)新背后的科學(xué)原理和把握未來應(yīng)用前景提供了新的視角.1基于高頻關(guān)鍵詞的熱點影響力分析這2個關(guān)鍵詞在高頻關(guān)鍵詞和引用量加權(quán)高頻關(guān)鍵詞統(tǒng)計結(jié)果中均排名靠前.遷移學(xué)習(xí)利用數(shù)據(jù)和任務(wù)的相似性，將舊領(lǐng)域的問題遷移到新領(lǐng)域，解決目標(biāo)域數(shù)據(jù)集稀疏問題，極大減少模型訓(xùn)練，尤其是大語言模型訓(xùn)練所需的計算資源和時間.大語言模型借助強大的參數(shù)量和計算能力，能夠?qū)W習(xí)到更為復(fù)雜的模式和規(guī)律，遷移學(xué)習(xí)可以顯著地提升這一過程的效率，因此成為研究熱點.通過遷移學(xué)習(xí)，研究人員可以將一個領(lǐng)域?qū)W習(xí)到的知識應(yīng)用遷移到其他相關(guān)的科研領(lǐng)域，這使得遷移學(xué)習(xí)廣泛地應(yīng)用于醫(yī)學(xué)[1]、生物學(xué)[2]等研究樣 本較難獲取的領(lǐng)域.大語言模型強大的泛化能力和表達能力、在通用任務(wù)上的優(yōu)越表現(xiàn)以及在零樣本環(huán)境下表現(xiàn)出的出色的學(xué)習(xí)能力，使得面向特定領(lǐng)域應(yīng)用的大語言模型遷移學(xué)習(xí)研究成為熱門，催生[4]等一 系列在少量數(shù)據(jù)集的基礎(chǔ)上對大語言模型進行微調(diào)來適應(yīng)目標(biāo)領(lǐng)域特定數(shù)據(jù)、完成目標(biāo)領(lǐng)域特定任務(wù)的方法，使大語言模型強大的能力逐漸滲透到各個領(lǐng)域.認知計算主要是通過模擬人類認知過程的計算方法來使計算機系統(tǒng)具備感知和理解能力[5]，從而對 包含文字、圖像、音頻等多種模態(tài)的數(shù)據(jù)聯(lián)合進行處理，實現(xiàn)更為復(fù)雜、多樣化的任務(wù).通過對認知計算的研究，可以使人類和AI更好地理解和解釋復(fù)雜的科學(xué)現(xiàn)象，如實現(xiàn)氣候變化等物理現(xiàn)象的模擬和分析[6]等；對認知計算進行研究，也可以幫助大語言 模型從自然語言處理（naturallanguageprocessing,NLP）領(lǐng)域向多模態(tài)領(lǐng)域拓展，從而進一步提升大語言模型的知識量，在一定程度上解決大語言模型在特定領(lǐng)域的應(yīng)用中無法提供高度精確的解決方案的問題，為大語言模型的發(fā)展提供新的思路、帶來新的機遇.AI在科研領(lǐng)域的廣泛應(yīng)用，同時帶動了知識表示魏子舒等：2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望1263%Fig.1Relativefrequencyforhighfrequencykeywordsofthepapersover2021—2023圖12021—2023年度論文高頻關(guān)鍵詞相對頻數(shù)Fig.2Relativefrequencyforhighcitation-weighted-frequencykeywordsofthepapersover2021—2023圖22021—2023年度論文引用量加權(quán)高頻關(guān)鍵詞相對頻數(shù)等成為研究熱門.知識表示旨在以計算機可理解的方式存儲和處理信息，主要是將科學(xué)數(shù)據(jù)和現(xiàn)象轉(zhuǎn)化為計算機可理解的形式，從而使AI系統(tǒng)能夠解決復(fù)雜問題的技術(shù)[7].對知識表示進行研究，可以促進 大語言模型和知識庫、知識圖譜的深度融合，為大語言模型在特定領(lǐng)域應(yīng)用中難以提供高度精確的解決方法這一問題提供新的解決思路.特征提取是指從大量高維度原始科學(xué)數(shù)據(jù)中提取有用信息的過程，這一過程可以幫助預(yù)測模型理解數(shù)據(jù)的內(nèi)在規(guī)律和模式，從而解決科學(xué)研究中如化學(xué)反應(yīng)預(yù)測[8]、基因表達分析[9]等難以解決的關(guān)鍵問題.AI系統(tǒng)在這些問題上的成功應(yīng)用，展現(xiàn)出了知識表示和特征提取等技術(shù)的進步在推動傳統(tǒng)科學(xué)領(lǐng)域發(fā)展上的巨大潛力.分析統(tǒng)計數(shù)據(jù)還可以發(fā)現(xiàn)，多種經(jīng)典計算機視1264計算機研究與發(fā)展2024，61（5）第5名和第10名的重要地位，YOLOv7[10]、擴散模型[11]等技術(shù)革新為研究者提供新的思路和方向，因此具有更高的論文質(zhì)量和學(xué)術(shù)影響力；在2022年的研究高頻關(guān)鍵詞排名中圖像處理（imageprocessing）和目標(biāo)檢測（objectdetection）分別占據(jù)第1名和第6名的重要地位，這一趨勢與物聯(lián)網(wǎng)的高速發(fā)展密切相關(guān).以智能汽車為例，各類L2級別的自動駕駛車輛開始走出封閉空間的測試場，走向真實世界的復(fù)雜道路環(huán)境，接受更為嚴(yán)峻的挑戰(zhàn).自動駕駛的普及和應(yīng)用需要依靠高精度的圖像分割和圖像識別技術(shù).在真實世界的復(fù)雜道路環(huán)境中，自動駕駛車輛需要能夠快速準(zhǔn)確地識別和分割出道路、車輛、行人、交通標(biāo)志等對象，以便做出正確的駕駛決策.同時，語音識別（speechrecognition）和智能汽車的結(jié)合，可以為車載系統(tǒng)帶來革命性的變革，用戶可以更加方便地與智能系統(tǒng)進行交互，實現(xiàn)更加智能化的工作和生活方式.大數(shù)據(jù)（bigdata）由于在金融等領(lǐng)域廣泛應(yīng)用的商業(yè)價值以及云計算、分布式存儲、數(shù)據(jù)挖掘等技術(shù)的突破，仍然保持著高頻關(guān)鍵詞的地位.同時，大數(shù)據(jù)技術(shù)實現(xiàn)的對海量數(shù)據(jù)的快速處理與分析，可以優(yōu)化大規(guī)模數(shù)據(jù)集的處理性能；而大語言模型的訓(xùn)練和調(diào)優(yōu)都依賴于大規(guī)模數(shù)據(jù)集，因此大數(shù)據(jù)技術(shù)能夠為大語言模型的訓(xùn)練提供穩(wěn)定、高效的數(shù)據(jù)支撐.值得一提的是，大數(shù)據(jù)雖然仍然作為高頻關(guān)鍵詞，但是在高引用論文中出現(xiàn)次數(shù)卻相對較少.[12]主要是由于云計算和大數(shù)據(jù)技術(shù)體系趨于成熟，從研究突破階段逐步轉(zhuǎn)為大面積落地應(yīng)用階段.元宇宙概念熱潮的興起引發(fā)了AIGC在2022年的高光時刻.一方面，如StableDiffusion，DALL-E2等擴散模型和生成對抗網(wǎng)絡(luò)等模型在生成高質(zhì)量虛擬內(nèi)容等方面的應(yīng)用成為這個階段生成模型（generativemodel）的主要研究進展.另一方面，元宇宙概念熱潮的興起帶動了新興社交媒體的高速發(fā)展，使人們可以在虛擬現(xiàn)實世界中進行包含娛樂、工作、學(xué)習(xí)等不同的社交活動.信息世界產(chǎn)生的海量的以數(shù)字形式記錄的社交、評論、觀點等非結(jié)構(gòu)化數(shù)據(jù)，使人類情感以數(shù)字化形式被記錄，[13]這為情感系統(tǒng) （sentimentsystem）提供了全面的數(shù)據(jù)來源.情感系統(tǒng)是指基于自然文本分析用戶情感信息的系統(tǒng)，隨著元宇宙概念的興起逐步成為自然語言處理領(lǐng)域最活躍的研究領(lǐng)域之一.同時，語音識別、目標(biāo)檢測等相關(guān)技術(shù)的研究，提供了連接虛擬世界和現(xiàn)實世界的橋梁，極大提高了用戶與元宇宙虛擬場景交互的沉浸感和真實感.由于新冠病毒（COVID-19）的爆發(fā)，AI被逐漸推廣到新冠病毒的預(yù)防和治療工作中，具有高度可解釋性和可集成性的機器學(xué)習(xí)模型在新冠疫情期間發(fā)network）是一種基于變量間概率依賴關(guān)系進行變量推斷和預(yù)測的系統(tǒng)，可以輔助進行復(fù)雜系統(tǒng)中的決策，在疫情中被用于新冠病毒檢測與醫(yī)學(xué)診斷[14]等場景中.決策樹（decisiontree）作為可解釋智能的重要研究領(lǐng)域，可以更好地確保決策的公平性，在疫情中被用于基于新冠病毒臨床數(shù)據(jù)的死亡風(fēng)險預(yù)測[15]等場景中.此外，由于新冠病毒對于公眾情緒和社會心理帶來的影響，情感系統(tǒng)在新冠病毒輿情研究[16]中被管理學(xué)和社會學(xué)等多個領(lǐng)域應(yīng)用，基于社交媒體、公共態(tài)度、疫情信息等的公眾心理健康研究逐漸成為情感系統(tǒng)的研究重點之一.對高頻關(guān)鍵詞的分析揭示了當(dāng)前的計算機研究的熱點話題和趨勢，基于這一趨勢我們可以更好地把握未來的發(fā)展方向和機遇.對高引用論文關(guān)鍵詞進行分析則可以揭示當(dāng)前計算機研究的重要影響力方向和論文價值，從而幫助研究人員了解研究重心和關(guān)注點.2021—2023年期間遷移學(xué)習(xí)、認知計算在高頻關(guān)鍵詞和高引用論文高頻關(guān)鍵詞中頻數(shù)明顯增強，說明AI研究方向正在朝向智能化和自適應(yīng)算法進行開發(fā).知識表示和情感系統(tǒng)等關(guān)鍵詞的增長，也說明了計算機系統(tǒng)逐漸重視提供更加人性化和自然化的交互體驗，更注重融合知識和情感信息來理解用戶意圖和需求.同時，計算機視覺任務(wù)仍然是計算機領(lǐng)域最重要的研究方向之一.從2021年的圖像識別、目標(biāo)檢測到2023年圖像處理、圖像分割，計算機視覺在高頻關(guān)鍵詞和高引用論文高頻關(guān)鍵詞均有相應(yīng)的高頻領(lǐng)域，這得益于計算機視覺在自動駕駛、醫(yī)學(xué)影像等眾多領(lǐng)域廣泛的應(yīng)用場景.但是相比于2022年，2023年的研究更加注重與自然語言處理方向的開發(fā)，如2022年最為熱門的圖像處理在2023年下降到了第6位，而2023年情感系統(tǒng)、文本分類等自然語言處理領(lǐng)域的研究分支的頻數(shù)則較前一年大幅度上漲.另外，對比2022年和2023年的數(shù)據(jù)可以發(fā)現(xiàn)，傳統(tǒng)的模型驅(qū)動的方法，如決策樹、貝葉斯網(wǎng)絡(luò)等的頻數(shù)有所下降，而數(shù)據(jù)驅(qū)動的方法，如遷移學(xué)習(xí)、生成模型等的頻數(shù)逐漸增加.同時知識表示、情感分析等關(guān)鍵詞的增加，表明計算機領(lǐng)域正與其他學(xué)科，如心理學(xué)、語言學(xué)等進行更緊密的交叉融合.這種趨勢不僅魏子舒等：2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望1265有助于解決不同學(xué)科領(lǐng)域復(fù)雜的問題，也為跨學(xué)科的合作和交流提供了更多的機會.分析近3年數(shù)據(jù)統(tǒng)計結(jié)果可以發(fā)現(xiàn)，計算機研究領(lǐng)域出現(xiàn)了許多新的熱點和趨勢.首先，隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式增長.為了從這些海量數(shù)據(jù)中提取有價值的信息，數(shù)據(jù)處理和數(shù)據(jù)分析成為計算機領(lǐng)域研究和應(yīng)用的重要方向，大數(shù)據(jù)、知識表示等相關(guān)關(guān)鍵詞成為高頻關(guān)鍵詞重要的組成部分.其次，人們對人機交互體驗的需求升級，使得計算機應(yīng)用逐步向著智能化、自然化的目標(biāo)發(fā)展，認知計算、情感分析等研究領(lǐng)域成為向著高度智能化方向發(fā)展的關(guān)鍵驅(qū)動力.再者，元宇宙、物聯(lián)網(wǎng)等概念的興起，帶動了應(yīng)用驅(qū)動AI的發(fā)展，使得AI被廣泛應(yīng)用于智能駕駛、AR/VR等場景，為語音識別、目標(biāo)檢測等傳統(tǒng)研究分支帶來更廣闊的應(yīng)用場景.然后，大語言模型、擴散模型等新興技術(shù)的崛起，在AI領(lǐng)域引發(fā)了前所未有的變革，多模態(tài)和交叉化成為AI研究前沿的重要趨勢.最后，傳統(tǒng)機器學(xué)習(xí)研究如決策樹、貝葉斯網(wǎng)絡(luò)等技術(shù)由于其高度可集成性和穩(wěn)定性，在金融、醫(yī)療等領(lǐng)域都得到廣泛的應(yīng)用，成為AI研究領(lǐng)域的熱點.2基于新增關(guān)鍵詞的熱點趨勢分析表1是比較2021年、2022年這2年關(guān)鍵詞數(shù)據(jù)后得出的2022年前10位新增關(guān)鍵詞數(shù)據(jù)，表2是比較2022年、2023年這2年關(guān)鍵詞數(shù)據(jù)后得出的2023年前10位新增關(guān)鍵詞數(shù)據(jù).分析表1~2中的數(shù)據(jù)可見，生成模型、文本分類（textclassification）、語音識別是這2年的新增關(guān)鍵詞中最靠前的3個.其中，生成模型這個關(guān)鍵詞代表AI在各個方面的研究探索的逐漸深入，而文本分類和語音識別2個關(guān)鍵詞則反映AI領(lǐng)域的研究探索方向逐漸由計算機視覺方向轉(zhuǎn)向自然語言處理方向.生成模型旨在學(xué)習(xí)數(shù)據(jù)分布并生成新的數(shù)據(jù)樣本.2022年，生成對抗網(wǎng)絡(luò)（generativeadversarialnetwork,GAN）、擴散模型、CLIP等技術(shù)的累計融合，催生了 Imagen和DALL-E2等生成模型應(yīng)用落地，帶動了數(shù)字人、元宇宙產(chǎn)業(yè)高速發(fā)展，生成模型進入了全新的時代.其中，GAN是一個重要的新興分支，在2022年的新增關(guān)鍵詞中排名第4.GAN通過訓(xùn)練生成器和判別器2個神經(jīng)網(wǎng)絡(luò)模型來達到任務(wù)要求，其中生成器試圖生成看起來像真實樣本的數(shù)據(jù)，而判別器則試圖區(qū)分真實數(shù)據(jù)和生成器生成的數(shù)據(jù).這2個網(wǎng)絡(luò)相互對抗，生成器不斷改進以欺騙判別器，而判別器不斷改進以更好地區(qū)分真實數(shù)據(jù)和生成的數(shù)據(jù).最終，生成器能夠生成逼真的數(shù)據(jù)，而判別器能夠準(zhǔn)確地區(qū)分真實數(shù)據(jù)和生成的數(shù)據(jù).這樣的訓(xùn)練方式使得GAN可以生成細節(jié)充足而十分逼真的數(shù)據(jù).GAN作為生成模型的代表，推動了圖像生成、風(fēng)格遷移等領(lǐng)域的研究，對GAN的改進和應(yīng)用進一步促進了生成模型領(lǐng)域的創(chuàng)新.文本分類是指將文本分配到預(yù)定義的類別中的任務(wù)[17].隨著數(shù)字文檔的數(shù)據(jù)量指數(shù)級增長，如何使從海量數(shù)據(jù)中提取文本數(shù)據(jù)具備表現(xiàn)力特征成為自然語言處理處理領(lǐng)域新的挑戰(zhàn)，對于文本分類這一自然語言處理領(lǐng)域基礎(chǔ)任務(wù)的深入研究可以更好地解決這一問題，進而推動對自然語言處理領(lǐng)域其他任務(wù)的研究.語音識別是指通過識別和理解語音信號，將語音轉(zhuǎn)換為相應(yīng)的命令的過程.語音識別能夠有效提高人機交互水平，為物聯(lián)網(wǎng)的發(fā)展提供助力.這2個新增關(guān)鍵詞都代表自然語言Table1HighFrequency-IncrementKeywordsin2022表12022年度高頻新增關(guān)鍵詞排名關(guān)鍵詞頻數(shù)1數(shù)據(jù)增強4172生成模型3353優(yōu)化算法23242205生成對抗網(wǎng)絡(luò)（GAN）67馬爾可夫決策過程8圖像分割9正則化凸優(yōu)化Table2HighFrequency-IncrementKeywordsin2023表22023年度高頻新增關(guān)鍵詞排名關(guān)鍵詞頻數(shù)1知識表示5872文本分類4833語音識別3764認知架構(gòu)3705信息檢索3206決策樹2647語義分析8聊天機器人9計算語言學(xué)通用AI1266計算機研究與發(fā)展2024，61（5）3名，體現(xiàn)著研究熱點向自然語言處理方向發(fā)展的趨勢.同時，還有一系列2022年高頻新增關(guān)鍵詞如優(yōu)化鍵詞反映了提升AI模型性能的研究趨勢.其中，優(yōu)化算法旨在高效地優(yōu)化模型以提升性能，包括對傳統(tǒng)優(yōu)化算法的改進，以及針對啟發(fā)式算法和深度學(xué)習(xí)等復(fù)雜模型的新型優(yōu)化策略的研究.SGD是深度學(xué)習(xí)中常用的優(yōu)化算法，對于SGD的優(yōu)化可以提高訓(xùn)練效率和模型性能.正則化則是防止模型過擬合的重要手段，有助于提高模型的泛化能力和穩(wěn)定性，在深度學(xué)習(xí)中得到廣泛應(yīng)用[18].凸優(yōu)化是指在給定約束條件下求凸函數(shù)最小值的問題.針對凸優(yōu)化進行深入研究，可以提高訓(xùn)練效率.模型選擇是指在機器學(xué)習(xí)中，從多個候選模型中選擇最佳模型的過程，在數(shù)據(jù)量增大、AI模型的應(yīng)用場景增多而導(dǎo)致數(shù)據(jù)集的分布更加多樣的前提下，針對未探明的數(shù)據(jù)集進行模型選擇就成為更加重要的熱點.數(shù)據(jù)降維是指通過保留數(shù)據(jù)關(guān)鍵特征的方式，將高維數(shù)據(jù)映射到低維空間的過程.這個過程可以在保留數(shù)據(jù)的關(guān)鍵信息的同時減少數(shù)據(jù)的復(fù)雜性和噪音的影響.數(shù)據(jù)降維可以用于可視化、數(shù)據(jù)壓縮和特征提取等任務(wù)，從而降低數(shù)據(jù)的處理難度.這些熱點趨勢關(guān)鍵詞，反映了學(xué)術(shù)界和工業(yè)界在模型訓(xùn)練、生成能力、優(yōu)化效率等方面的探索，在大語言模型興起、訓(xùn)練數(shù)據(jù)量驟然增大的背景下，對這些問題的研究為AI技術(shù)的不斷進步提供了有力支持.響.ChatGPT的興起為構(gòu)建全新通用化對話系統(tǒng)帶來全新機遇，使得聊天機器人的性能不再局限于機械、生硬的對話.在ChatGPT的影響下，對話系統(tǒng)產(chǎn)生的對話變得更加流暢、自然，聊天機器人的用戶體驗也大幅度提升[19]；另一方面，得益于日益優(yōu)秀的上下文 和多輪對話理解能力，聊天機器人和對話系統(tǒng)的應(yīng)用逐漸擴展到如醫(yī)學(xué)、教育等專業(yè)領(lǐng)域，并被用于解決這些專業(yè)領(lǐng)域的問題.計算語言學(xué)和語義分析就是旨在開發(fā)計算機程序和算法，以便處理、分析和理解人類語言的研究分支.語義分析關(guān)注文本、語音等信息的語義理解，對于提高機器對信息的深層次理解至關(guān)重要.計算語言學(xué)和語義分析的發(fā)展可以加速自然語言處理領(lǐng)域的創(chuàng)新，推動智能對話、信息抽ChatGPT影響下自然語言處理領(lǐng)域的新的研究趨勢.最后是認知架構(gòu)（cognitivearchitecture）、信息檢下的關(guān)鍵詞.認知架構(gòu)研究AI系統(tǒng)如何模擬人類認知過程，為實現(xiàn)具有自主學(xué)習(xí)能力的AI系統(tǒng)打開新的可能性[20].一方面，認知架構(gòu)通過結(jié)合神經(jīng)科學(xué)和 識別欺詐性信號等場景中；另一方面，由于認知架構(gòu)貼近真實人類思維架構(gòu)，被廣泛應(yīng)用于教育、醫(yī)療等依賴高度情感智能的領(lǐng)域[21].認知架構(gòu)這一高頻新增 關(guān)鍵詞體現(xiàn)了認知計算領(lǐng)域的快速發(fā)展.信息檢索是指從大規(guī)模數(shù)據(jù)集中檢索出與用戶信息需求相關(guān)的信息的過程，對信息檢索的研究進一步推動了搜索引擎、推薦系統(tǒng)等領(lǐng)域的發(fā)展，為用戶提供更精準(zhǔn)的信息服務(wù)；同時，如何從多模態(tài)、不同領(lǐng)域的知識中檢測需求的知識也是2023年信息檢索領(lǐng)域的研究重點.可解釋性指的是模型的決策過程和預(yù)測結(jié)果能夠被理解和解釋的能力.一方面，在醫(yī)療和金融之類的涉及到?jīng)Q策的關(guān)鍵領(lǐng)域中，可解釋性是確保模型可信度和可接受性的關(guān)鍵因素[22]；另一方面，面對 日益增大的數(shù)據(jù)量和愈發(fā)繁雜的數(shù)據(jù)集分布，提升模型的可解釋性也對提升模型應(yīng)對不同數(shù)據(jù)分布時的性能有很大的幫助.AGI是指完全具備等同人類的智能能力的AI，是AI領(lǐng)域的終極目標(biāo).這些關(guān)鍵詞，反映了大語言模型興起之后，人們對AI領(lǐng)域進一步趨勢.結(jié)合2022年和2023年的全部熱點趨勢關(guān)鍵詞可以看出，ChatGPT的發(fā)布對AI領(lǐng)域的研究熱點趨勢產(chǎn)生了深刻的影響.2022年的熱點趨勢關(guān)鍵詞主要聚焦于生成模型方面以及模型訓(xùn)練性能優(yōu)化方面.由于數(shù)據(jù)量的增大、數(shù)據(jù)處理難度的升高，在這些方面進行研究，可以使得AI模型更加充分地利用計算資源和數(shù)據(jù)資源，得到更好的性能.ChatGPT發(fā)布后，2023年的熱點趨勢關(guān)鍵詞主要聚焦于自然語言處理方面，利用大語言模型進行自然語言處理，使得自然語言處理領(lǐng)域的研究更加易于展開；同時，可解釋性、AGI等熱點趨勢關(guān)鍵詞也反映了在大語言模型興起的條件下，AI領(lǐng)域進一步的發(fā)展方向，這些方向可能魏子舒等：2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望1267會成為未來AI領(lǐng)域發(fā)展的深層次趨勢，對整個AI領(lǐng)域產(chǎn)生長遠的影響.3基于關(guān)鍵詞對的熱點關(guān)聯(lián)分析單個關(guān)鍵詞雖然可以直觀反映AI領(lǐng)域的研究熱點和發(fā)展新趨勢，但是有時難以全面反映研究內(nèi)容.部分關(guān)鍵詞包含的內(nèi)容非常廣泛，也因此難以明確研究的焦點所在.而針對關(guān)鍵詞對的研究則可以彌補部分研究分析的空缺.對2021—2023這3年的熱點關(guān)鍵詞對的梳理和整合，能夠從關(guān)鍵詞對中發(fā)現(xiàn)熱點的關(guān)聯(lián)，以及部分熱點之間內(nèi)在的聯(lián)系和銜接，更全面地分析不同領(lǐng)域之間的當(dāng)下發(fā)展境況和未來發(fā)展方向.基于3年的熱點關(guān)鍵詞對的數(shù)據(jù)，如表3~5所示，整體而言，較多熱點關(guān)鍵詞對由熱點關(guān)鍵詞的兩兩組合構(gòu)成，對于不同領(lǐng)域的技術(shù)的融合以完成綜合性的應(yīng)用的趨勢逐漸明顯.在2021年，AI技術(shù)進入了快速發(fā)展階段，在大語言模型人機交互和訓(xùn)練數(shù)據(jù)集方面有深入研究.自然語言處理（NLP）、計算機視覺（computervitsion，CV）和數(shù)據(jù)挖掘較多地出現(xiàn)在熱點關(guān)鍵詞對中，體現(xiàn)出這些技術(shù)在具體應(yīng)用中的深度融合.2022年，強化學(xué)習(xí)（reinforcelea度上升.隨著新的強化學(xué)習(xí)算法被提出并廣泛應(yīng)用、強化學(xué)習(xí)預(yù)訓(xùn)練模型研究技術(shù)發(fā)展，新型計算智能體接連被提出，強化學(xué)習(xí)和自然語言處理、計算機視2022年底，ChatGPT聊天機器人的橫空出世讓AI在2022年熱點關(guān)鍵詞的總體頻數(shù)大幅度上升，熱點研究聚焦于通過綜合應(yīng)用多方面的AI知識，構(gòu)建具備較完備功能的智能體.2023年，熱點關(guān)鍵詞對綜合并延續(xù)了2021—2022年的情況，同時諸多大語言模型涌現(xiàn)，AGI和生成式AI（artificialintelligencegeneratedAI領(lǐng)域大踏步向前發(fā)展.機器人技術(shù)（robotics）應(yīng)用方面和其他領(lǐng)域的融合日益緊密.2021年占比最大的關(guān)鍵詞對是自然語言處理、計算機視覺和數(shù)據(jù)挖掘的組合.這3個關(guān)鍵詞均在較多的熱點關(guān)鍵詞對中，它們雖然是獨立的技術(shù)領(lǐng)域，各自有不同的研究方法和應(yīng)用場景，但是都依賴于大規(guī)模數(shù)據(jù)的處理進行研究.隨著AI領(lǐng)域和信息數(shù)據(jù)處理的發(fā)展，如何處理和應(yīng)用海量數(shù)據(jù)以得到知識成為AI領(lǐng)域研究的重點問題之一.將自然語言處理領(lǐng)域的核心算法應(yīng)用到數(shù)據(jù)處理中，有助于更好地理解和發(fā)現(xiàn)隱藏的規(guī)律、關(guān)系和模式等.數(shù)據(jù)挖掘的分類、回歸、特征分析、聚類分析、異常檢測等重要環(huán)節(jié)和計算機視覺中的相應(yīng)任務(wù)之間有緊密的聯(lián)Table3HighFrequencyKeywordPairsin2021表32021年度高頻關(guān)鍵詞對關(guān)鍵詞1關(guān)鍵詞2頻數(shù)數(shù)據(jù)挖掘計算機視覺（CV）數(shù)據(jù)挖掘強化學(xué)習(xí)計算機視覺（CV）模式識別知識表示計算機視覺（CV）強化學(xué)習(xí)75認知計算70計算機視覺（CV）知識表示機器人技術(shù)知識表示計算機視覺（CV）認知計算Table4HighFrequencyKeywordPairsin2022表42022年度高頻關(guān)鍵詞對關(guān)鍵詞1關(guān)鍵詞2頻數(shù)強化學(xué)習(xí)計算機視覺（CV）強化學(xué)習(xí)718機器人技術(shù)544計算機視覺（CV）機器人技術(shù)532遷移學(xué)習(xí)強化學(xué)習(xí)520計算機視覺（CV）圖像處理518計算機視覺（CV）模式識別495計算機視覺（CV）遷移學(xué)習(xí)481遷移學(xué)習(xí)426數(shù)據(jù)挖掘398Table5HighFrequencyKeywordPairsin2023表52023年度高頻關(guān)鍵詞對關(guān)鍵詞1關(guān)鍵詞2頻數(shù)機器人技術(shù)258強化學(xué)習(xí)231計算機視覺（CV）強化學(xué)習(xí)計算機視覺（CV）機器人技術(shù)遷移學(xué)習(xí)強化學(xué)習(xí)數(shù)據(jù)挖掘計算機視覺（CV）數(shù)據(jù)挖掘認知計算計算機視覺（CV）模式識別計算機視覺（CV）認知計算1268計算機研究與發(fā)展2024，61（5）系，在算法、評估準(zhǔn)則等方面有一定的互鑒意義.同時，自然語言處理能夠給予計算機視覺的圖片數(shù)據(jù)建立結(jié)構(gòu)化和語義化的結(jié)構(gòu)；將自然語言處理中的知識庫和圖像數(shù)據(jù)結(jié)合，可以得到兼顧圖像特征和文本特征的系統(tǒng).簡言之，這3個領(lǐng)域無論是算法還是應(yīng)用方面都有著較好的交叉前景.型——ChatGPT，引發(fā)廣泛討論和熱議.自然語言處理相關(guān)研究領(lǐng)域延續(xù)其熱點態(tài)勢，對于其理論研究和應(yīng)用探索也層出不窮.自然語言處理和遷移學(xué)習(xí)、數(shù)據(jù)挖掘等方向的結(jié)合也形成熱點.除此之外，其他的高頻關(guān)鍵詞對主要體現(xiàn)在強化學(xué)習(xí)、知識表示和認知計算在自然語言處理、計算機視覺、機器人技術(shù)這3個領(lǐng)域的應(yīng)用.強化學(xué)習(xí)是以與交互對象的互動以及獎懲機制為依據(jù)對模型的決策進行優(yōu)化的訓(xùn)練方式.在計算機視覺領(lǐng)域，使用強化學(xué)習(xí)能夠很好地解決目標(biāo)定位與追蹤、視頻分析等任務(wù)；在自然語言處理領(lǐng)域，強化學(xué)習(xí)可以較好地應(yīng)用于對話系統(tǒng)、文本摘要提取等易于得到反饋的場景.近年來，強化學(xué)習(xí)的研究更為深入，將特定問題的細節(jié)精細化，往往能提高模型的準(zhǔn)確度，在應(yīng)用領(lǐng)域也有諸多構(gòu)想提出和實踐實現(xiàn).因此，強化學(xué)習(xí)與自然語言處理的結(jié)合成為2022年熱點關(guān)鍵詞對的第1位.隨著強化學(xué)習(xí)的越發(fā)進步和成熟以及數(shù)據(jù)處理和計算能力的提升，強化學(xué)習(xí)的應(yīng)用領(lǐng)域正變得越來越廣泛，多智能體、自動化交易、聊天機器人等基于強化學(xué)習(xí)的應(yīng)用也逐漸涌現(xiàn).另外，強化學(xué)習(xí)和遷移學(xué)習(xí)的結(jié)合也成為主要研究方向之一.對于知識遷移和模型泛化能力的研究越發(fā)深入，將強化學(xué)習(xí)和遷移學(xué)習(xí)方法引入AI系統(tǒng)，可以提升模型的理解和決策能力.在2023年，機器人技術(shù)和其他領(lǐng)域的交叉結(jié)合成為熱點.隨著深度學(xué)習(xí)等技術(shù)的進步，機器人越來越多地整合了AI和機器學(xué)習(xí)技術(shù)，能夠越來越好地感知環(huán)境、學(xué)習(xí)和適應(yīng)不同任務(wù)，在處理復(fù)雜任務(wù)上的表現(xiàn)也越來越優(yōu)秀.[23]其中，自然語言處理與機器人技術(shù)這一關(guān)鍵詞對占據(jù)首位，表明研究具有較完備人機交互功能的智能機器人成為熱點之一.自然語言處理作為熱門的機器學(xué)習(xí)技術(shù)，能夠幫助機器人處理和理解人類語言，并通過自然語言的方式與人類交流.自然語言處理在機器人中的應(yīng)用能夠使其更好地理解人類需求.在計算機視覺方面，計算機視覺的應(yīng)用能夠提升機器人的感知技術(shù)，使得機器人更精確地感知和理解周圍環(huán)境，從而具備更好的性能.總體上來說，在AI技術(shù)的幫助下，機器人能夠適應(yīng)不同情境，并基于感知到的信息做出智能決策，更好地與人類協(xié)同工作.整體上看，相較于2021年關(guān)鍵詞對中呈現(xiàn)出專業(yè)領(lǐng)域的組合和學(xué)科交叉的趨勢，在2022年統(tǒng)計的熱點關(guān)鍵詞對的頻數(shù)和比率大幅度上升，關(guān)鍵詞之間相互的關(guān)聯(lián)性逐漸受到重視，融合性研究趨勢更為明顯.相比之下，2021年AI在各個專業(yè)領(lǐng)域的應(yīng)用成為熱點，而2022年AI技術(shù)用于解決實際問題的研究則更受關(guān)注，這是由于AI領(lǐng)域逐漸拓寬，跨學(xué)科交叉融合研究成為熱點并推動AI技術(shù)在多領(lǐng)域的發(fā)展應(yīng)用.2023年，機器人技術(shù)和其他技術(shù)的結(jié)合更深入，機器擁有“智能”的諸多成功應(yīng)用引發(fā)了相關(guān)方面的熱潮.另一方面，在大數(shù)據(jù)時代的背景下，對于數(shù)據(jù)挖掘的研究也有所增加.數(shù)據(jù)挖掘是指在相對較大型的數(shù)據(jù)集中發(fā)現(xiàn)模式的過程.雖然在2021年，自然語言處理和計算機視覺與數(shù)據(jù)挖掘的結(jié)合有明顯的熱點趨勢，但是2022年，相關(guān)研究整體更為關(guān)注新興的算法和應(yīng)用.而2023年，大型訓(xùn)練數(shù)據(jù)集依次推出，數(shù)據(jù)挖掘作為大數(shù)據(jù)時代AI領(lǐng)域非常重要的一部分，重新得到更多重視.數(shù)據(jù)挖掘可以捕捉大量數(shù)據(jù)中的關(guān)鍵信息，自然語言處理、計算機視覺方面的算法能給它帶來很大的啟發(fā).同時，數(shù)據(jù)挖掘中的新發(fā)現(xiàn)也能夠為自然語言處理和計算機視覺的預(yù)測建模、關(guān)聯(lián)分析等步驟打下堅實的基礎(chǔ).4針對部分熱點話題的熱點分析在分析每年熱點基礎(chǔ)上，本文還針對近期廣受各界關(guān)注的話題進行AI領(lǐng)域研究熱點的分析.針對這些熱點話題進行分析時，首先通過論文的標(biāo)題和摘要將本文的數(shù)據(jù)集中和這些熱點話題相關(guān)的論文篩選出來，隨后統(tǒng)計出這些論文的高頻關(guān)鍵詞，并依據(jù)這些關(guān)鍵詞進行熱點分析.覺生成3個主要的話題進行分析.4.1大語言模型相關(guān)論文的熱點分析大語言模型通常指的是參數(shù)規(guī)模較大的機器學(xué)習(xí)模型，這些模型在訓(xùn)練時通常包含數(shù)億乃至數(shù)百億個參數(shù)，需要龐大的計算資源和數(shù)據(jù)集來進行有效的訓(xùn)練.從圖3所示的3年數(shù)據(jù)來看，知識表示、數(shù)據(jù)增魏子舒等：2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望1269模型相關(guān)研究中一直占據(jù)重要地位.大語言模型通過學(xué)習(xí)大量數(shù)據(jù)統(tǒng)計規(guī)律生成高質(zhì)量自然語言文本，但是如何將生成高質(zhì)量文本和精確領(lǐng)域?qū)I(yè)知識結(jié)合來回答用戶需求往往是大語言模型迫切需要解決的問題.知識表示通過結(jié)構(gòu)化表示描述現(xiàn)實世界知識，目標(biāo)是構(gòu)建全面一致的知識庫，幫助大語言模型理解和推理自然文本問題.因此，借助知識表示形成大規(guī)模結(jié)構(gòu)化知識庫、構(gòu)建知識圖譜與大語言模型之間的結(jié)合被廣泛研究.同時，由于大語言模型包含數(shù)以萬計的模型參數(shù)，如何在數(shù)億規(guī)模的信息流中實現(xiàn)高效的信息檢索成為大語言模型研究熱門領(lǐng)域.此外，由于多模態(tài)研究領(lǐng)域爆火，處理圖像、視頻等復(fù)雜數(shù)據(jù)也逐漸成為信息檢索關(guān)注的重點領(lǐng)域.另一方面，如何構(gòu)建高質(zhì)量數(shù)據(jù)集來組建知識庫也是大語言模型研究領(lǐng)域的重點之一，借助數(shù)據(jù)增強可以在數(shù)據(jù)稀疏的專家領(lǐng)域有效構(gòu)建特定下游任務(wù)數(shù)據(jù)集合，數(shù)據(jù)增強對增強模型泛化能力和魯棒性起到至關(guān)重要的作用.隨著大語言模型不斷發(fā)展，大語言模型任務(wù)不僅局限于自然語言任務(wù)，結(jié)合多模態(tài)知識也是大語言模型通向通用AI領(lǐng)域的必經(jīng)之路，認知計算通過將認知科學(xué)和傳統(tǒng)音頻、文字、圖像等多模態(tài)信息處理機制相結(jié)合，持續(xù)整合知識豐富的數(shù)據(jù)，使得大語言模型具有解決幾乎所有現(xiàn)實領(lǐng)域問題的能力[24].2021年，隨著T5，GPT-3等大語言模型問世，國內(nèi)外大語言模型進入高速發(fā)展時期.這一階段大語言模型相關(guān)研究主要集中于大語言模型知識表示和學(xué)習(xí)機理研究，如何增強大語言模型知識表示能力以及獲取高質(zhì)量大規(guī)模文本學(xué)習(xí)數(shù)據(jù)集成為這個階段的研究重點.2022年，隨著提示學(xué)習(xí)（prompt-basedlearning）被提出，微調(diào)逐步成為研究熱門.同時，隨著StableDiffusion，DALL-E2等多種基于自然語言創(chuàng)建圖像和藝術(shù)形式的大語言模型推出，AIGC時代被開啟，生成式AI快速發(fā)展，各種算法、預(yù)訓(xùn)練模型層出出驚人的與人類對話的能力，大語言模型相關(guān)論文出現(xiàn)顯著增加.2023年，大語言模型相關(guān)研究呈現(xiàn)爆發(fā)式增長.同時，通用AI相關(guān)研究成為熱門.由于實際應(yīng)用場景的需求在大語言模型優(yōu)化（optimization）和語義分析上的研究非常廣泛，這是近3年大語言模型發(fā)展的主要趨勢.2021年，大語言模型開始進入快速發(fā)展階段，尤其是在增強大語言模型自身表達能力和大語言模型訓(xùn)練數(shù)據(jù)集方面的研究較為深入，因此數(shù)據(jù)增強等語義分析(semanticanalysis)信息檢索(informationretrieval)知識表示知識表示(knowledgerepresentation)數(shù)據(jù)增強(dataaugmentation)認知計算(cognitivecomputing) 通用人工智能(artificialgeneralintelligence)信息檢索(informationretrieval)______優(yōu)化(optimization)認知架構(gòu)(cognitivearchitecture)認知計算(cognitivecomputing)模型調(diào)優(yōu)(fine-tuning)信息檢索(informationretrieval)知識表示(knowledgerepresentation)數(shù)據(jù)增強(dataaugmentation)認知計算(cognitivecomputing)模型調(diào)優(yōu)(fine-tuning)注意力機制(attentionmechanism)生成對抗網(wǎng)絡(luò)(GAN)數(shù)據(jù)增強(dataaugmentation)認知計算(cognitivecomputing)詞嵌入(wordembedding)信息檢索(informationretrieval)知識表示(knowledgerepresentation)數(shù)據(jù)增強(dataaugmentation)認知計算(cognitivecomputing) 目的識別(intentrecognition)信息檢索(informationretrieval)知識表示(knowledgerepresentation)數(shù)據(jù)增強(dataaugmentation)認知計算(cognitivecomputing)Fig.3HighfrequencykeywordsrelativewithLLM圖3與大語言模型相關(guān)的高頻關(guān)鍵詞recognition）根據(jù)用戶輸入的自然語言文本理解客戶特定需求，大語言模型通過在大規(guī)模文本上進行預(yù)訓(xùn)練，為目的識別任務(wù)的解決提供全新思路，因此，本時期大語言模型研究在自然語言處理領(lǐng)域具有顯量建模語言特征，使得具有相似含義的單詞具有相似的特征向量表示，詞嵌入相關(guān)的研究提升了大語言模型處理自然語言的性能和效率，大語言模型相關(guān)研究中詞嵌入也成為熱點詞.2022年，為使下游任務(wù)的目標(biāo)與預(yù)訓(xùn)練目標(biāo)對齊，提示學(xué)習(xí)方向的研究成為熱門，微調(diào)也成為研究熱點.提示將給定句子轉(zhuǎn)化為部分缺失的模板句，通過模型補全缺失部分內(nèi)容來完成預(yù)測任務(wù)，實質(zhì)上是將自然語言處理任務(wù)統(tǒng)一為預(yù)訓(xùn)練語言模型所擅長的掩碼語言模型（maskedlanguagemodel,MLM）任務(wù).微調(diào)主要研究在大量原始文本上進行預(yù)訓(xùn)練得1270計算機研究與發(fā)展2024，61（5）到大語言模型后，通過定義提示、執(zhí)行少樣本學(xué)習(xí)（few-shotlearning）范式，解決大語言模型轉(zhuǎn)向稀疏數(shù)據(jù)的下游任務(wù)時所面臨的挑戰(zhàn)，并大大縮短訓(xùn)練時間.同時，隨著StableDiffusion，DALL-E2等大語言模型問世，AI生成的創(chuàng)意性、藝術(shù)性內(nèi)容開始深受大眾歡迎.注意力機制（attentionmechanism）允許神經(jīng)網(wǎng)絡(luò)在處理輸入數(shù)據(jù)時集中注意力于相關(guān)部分，自動地學(xué)習(xí)選擇性關(guān)注輸入信息中的重要部分[25].得益于注意力機制在基礎(chǔ)模型聯(lián)合訓(xùn)練的優(yōu)秀表現(xiàn)，它在2022上半年成為研究熱點，在高引用論文中出現(xiàn)大量計算機視覺中的注意力機制相關(guān)的研究.隨著2022年末OpenAI發(fā)布ChatGPT，2023年大語言模型領(lǐng)域研究迎來高潮，成為整個AI領(lǐng)域的熱點.一方面與大語言模型基礎(chǔ)密切相關(guān)知識表示、數(shù)據(jù)增強、信息檢索等研究的熱度飛速增長，另一方面AGI相關(guān)研究隨著大語言模型性能的提高逐漸成為2023上半年的熱門研究.AGI的目標(biāo)是完全人類智能行為，它是能夠執(zhí)行人類智能活動的計算機系統(tǒng)，具備自主感知和認知、學(xué)習(xí)、決策、執(zhí)行等能力.大語言模型發(fā)展逐漸拉開了AGI發(fā)展的序幕.此外，語義分析在2023年下半年發(fā)展也十分迅速，語義分析目的是對文本的意義和語境進行深入的分析.涉及到對短語、詞匯、句子和結(jié)構(gòu)進行更高層次的理等開源大語言模型[26]的發(fā)布，模型具備了從公開數(shù) 據(jù)集和模型架構(gòu)進行預(yù)訓(xùn)練從而獲取通用語義分析數(shù)據(jù)的能力；同時，LLaMA的發(fā)布也推動了全球研究者基于開源大語言模型對多任務(wù)語義分析應(yīng)用以及對不同類型的下游任務(wù)進一步創(chuàng)新和優(yōu)化.因此優(yōu)化和語義分析成為2023上半年和下半年的關(guān)鍵詞.4.2AIforScience相關(guān)論文的熱點分析AIforScience是指采用AI技術(shù)，解決復(fù)雜推演計算問題、加快基礎(chǔ)科學(xué)和應(yīng)用科學(xué)的發(fā)現(xiàn)和驗證的研究.AlphaFold[27]在預(yù)測蛋白質(zhì)結(jié)構(gòu)任務(wù)的優(yōu)秀表現(xiàn)揭示了AI在科研領(lǐng)域的無限潛力.如圖4所示，結(jié)合2021—2023年數(shù)據(jù)來看，數(shù)據(jù)挖掘、自然語言處理、模式識別（patternrecognition）、認知計算是這3年AIforScience相關(guān)研究的常駐熱門關(guān)鍵詞.這段時間，隨著大數(shù)據(jù)爆炸式增長，數(shù)據(jù)挖掘和模式識別在處理和分析大量數(shù)據(jù)方面發(fā)揮著關(guān)鍵作用，數(shù)據(jù)挖掘負責(zé)從大量數(shù)據(jù)中提取有價值的信息和知識，模式識別則是學(xué)習(xí)隱藏在這些大規(guī)模數(shù)據(jù)中的模式和特征，從而結(jié)合數(shù)據(jù)挖掘技術(shù)實現(xiàn)更明智的決策輔助.在生物醫(yī)學(xué)領(lǐng)域，數(shù)據(jù)挖掘被數(shù)據(jù)挖掘(datamining)遷移學(xué)習(xí)(transferlearning)______________認知計算(cogni信息檢索(informationretrieval)Fig.4HighfrequencykeywordsrelativewithAIforScience圖4與AIforScience相關(guān)的高頻關(guān)鍵詞廣泛應(yīng)用于發(fā)現(xiàn)疾病特征和規(guī)律，模式識別可以輔助發(fā)現(xiàn)新的藥物靶點和治療策略，為藥物研發(fā)提供全新思路[28].自然語言處理旨在研究如何讓計算機理解自然語言，包含詞法分析、句法分析、語義理解、信息抽取等多領(lǐng)域研究和應(yīng)用.自然語言處理在科研領(lǐng)域具有廣泛的應(yīng)用前景和市場潛力.一方面，自然語言處理能夠自動化識別科學(xué)文獻關(guān)鍵詞和核心內(nèi)容，提高文獻檢索準(zhǔn)確性和效率；另一方面，自然語言處理能夠高效地將非結(jié)構(gòu)化的實驗信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，方便后續(xù)的數(shù)據(jù)處理和分析.認知計算是指通過模擬人腦認知過程進行感知和推理，幫助決策者從大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)中發(fā)現(xiàn)知識，實現(xiàn)不確定性推理的過程.相比于傳統(tǒng)計算方式，認知計算能夠?qū)崿F(xiàn)自我優(yōu)化和深度學(xué)習(xí)，從而有效解決各類難題.下面本文將依據(jù)時間分析其他高頻關(guān)鍵詞信息以及變化趨勢.整體來看，2021年以前，數(shù)據(jù)挖掘、自然語言處理、模式識別和認知計算等方向成為AIforScience魏子舒等：2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望1271的熱點.到2021年，隨著AI技術(shù)的快速發(fā)展，構(gòu)建高質(zhì)量科學(xué)知識庫成為熱點話題，知識表示相關(guān)領(lǐng)域為之提供了巨大幫助.2022年，遷移學(xué)習(xí)的熱度上升，它允許在不同領(lǐng)域任務(wù)間共享預(yù)訓(xùn)練的數(shù)據(jù)源，在生物醫(yī)學(xué)、工業(yè)故障檢測等領(lǐng)域表現(xiàn)出色.2022年下半年至2023年，ChatGPT模型的發(fā)布使得自然語言處理的相關(guān)研究得到了爆炸式的增長，通用預(yù)訓(xùn)練語言模型的發(fā)展不僅提高了AI在不確定性領(lǐng)域的推理能力，還促進了大語言模型與專業(yè)科學(xué)知識結(jié)合的研究.“AI+X”的模式興起.在相關(guān)算法和處理模式發(fā)展的基礎(chǔ)上，隨著專業(yè)知識庫的構(gòu)建日臻完善，AI技術(shù)在各專業(yè)領(lǐng)域的研究診斷、偵測探查等方面也越發(fā)深入.根據(jù)2021年統(tǒng)計數(shù)據(jù)來看，知識表示占據(jù)重要地位，知識表示主要是指將人類知識以計算機能夠理解的形式進行存儲和表示.在AIforScience領(lǐng)域如何將具體領(lǐng)域的科學(xué)規(guī)律和專業(yè)知識轉(zhuǎn)換為高質(zhì)量的知識庫是知識表示的核心內(nèi)容之一.根據(jù)2022年的統(tǒng)計數(shù)據(jù)來看，遷移學(xué)習(xí)熱度逐漸升高.遷移學(xué)習(xí)允許將預(yù)訓(xùn)練豐富的數(shù)據(jù)源領(lǐng)域任務(wù)應(yīng)用到目標(biāo)領(lǐng)域任務(wù)，從而減少對所需大量目標(biāo)域的數(shù)據(jù)依賴，節(jié)省模型訓(xùn)練時間和成本.在AIforScience領(lǐng)域，遷移學(xué)習(xí)能夠有效利用生物醫(yī)學(xué)等領(lǐng)域的相似研究之間的共通性質(zhì)，彌補在特定研究的實驗數(shù)據(jù)缺失問題，幫助快速適應(yīng)新興的科學(xué)難題，在工業(yè)故障檢測[29]、醫(yī)學(xué)診斷[30]領(lǐng)域均有不錯的表現(xiàn).2022年下半年到2023年下半年自然語言處理相關(guān)領(lǐng)域研究得到爆發(fā)式增長.通用預(yù)訓(xùn)練語言模型的發(fā)展為提高AIforScience在不確定性領(lǐng)域的推理能力帶來有效的解決方案，從而引導(dǎo)大語言模型與專業(yè)科學(xué)結(jié)合飛速發(fā)展，利用大語言模型在大規(guī)模與語料庫學(xué)習(xí)到的通用能力，結(jié)合生物醫(yī)學(xué)、材料物理等多方面科學(xué)領(lǐng)域知識庫構(gòu)建專用領(lǐng)域大語言模型逐漸成為自然語言處理的研究熱點，如醫(yī)學(xué)診斷大認知計算通過模擬人腦思維和決策過程，有助于人們更好地理解和解釋AI系統(tǒng)的行為，實現(xiàn)可控的推理和決策過程，提高AI在輔助科學(xué)仿真和科學(xué)實驗的可靠性和可用性.4.3視覺生成相關(guān)論文的熱點分析生成模型是基于訓(xùn)練數(shù)據(jù)生成與訓(xùn)練數(shù)據(jù)分布相似的新數(shù)據(jù)的模型.圖像生成作為AI領(lǐng)域的經(jīng)典同時，隨著計算機視覺的發(fā)展，視頻合成也逐漸成為研究熱點，成為視覺生成的重要領(lǐng)域.如圖5所示，根據(jù)2021—2023年視覺生成相關(guān)高頻GAN和擴散模型（diffusionmodel）是視覺生成領(lǐng)域的熱門方向.VAE的主要思路是通過引入潛變量和變分推斷來學(xué)習(xí)訓(xùn)練數(shù)據(jù)集的分布，通過損失函數(shù)的設(shè)計使得模型對于噪聲具有一定的魯棒性，這使得VAE在生成任務(wù)方面表現(xiàn)出色；之后出現(xiàn)的VAE的各種變體如CVAE[33]，HVAE等，都使得VAE在生成 方面的表現(xiàn)更加優(yōu)秀.GAN也在生成領(lǐng)域有很出色的表現(xiàn)，它的主要思路是通過并發(fā)地訓(xùn)練生成器和辨別器使生成器和辨別器協(xié)同進化，最終得到生成樣本與真實數(shù)據(jù)分布高度相似的生成模型.隨后的二視頻合成(videosynthesis)生成對抗網(wǎng)絡(luò)(GAN)語義分割(semanticsegmentation)變分自編碼器(VAE) 二聚類(clustering)Fig.5Highfrequencykeywordsrelativewithvisualgeneration圖5與視覺生成相關(guān)的高頻關(guān)鍵詞1272計算機研究與發(fā)展2024，61（5）CGAN[34]、StyleGAN[35]等GAN的變體使得用戶可以指定GAN生成何種圖片，讓GAN在生成任務(wù)方面具有更加優(yōu)秀的性能.又如結(jié)合了VAE和GAN思想的AVB[36]進一步提升生成樣本的逼真度和多樣性.擴散模型的主要思路是通過向圖片中加入高斯噪聲來對訓(xùn)練數(shù)據(jù)的分布產(chǎn)生擾動，隨后通過反向擴散過程讓模型習(xí)得訓(xùn)練數(shù)據(jù)分布，這種訓(xùn)練方式讓擴散模型具有很強的捕捉圖像中細節(jié)特征的能力，進而使得擴散模型具有出色的圖像生成能力.VAE、GAN和擴散模型都在視覺生成領(lǐng)域占據(jù)重要地位，是視覺生成領(lǐng)域的研究熱點.segmentation）.語義分割是指識別圖像中存在的內(nèi)容及屬于該內(nèi)容的像素的任務(wù)，對語義分割進行研究，可以協(xié)助AI模型更好地識別圖像中的內(nèi)容、理解圖像中各個內(nèi)容之間的上下文關(guān)系，進而更好地學(xué)習(xí)到圖像的更深層的特征；同時，語義分割所產(chǎn)生的輸出也可以作為其他視覺相關(guān)模型，尤其是視覺生成模型的訓(xùn)練數(shù)據(jù)，使視覺生成模型能夠生成更加多樣、細節(jié)更加豐富的圖片或視頻.因此，語義分割成為視覺生成領(lǐng)域的熱點關(guān)鍵詞.聚類（clustering）、三tion）等任務(wù)也在2021—2022年的熱點關(guān)鍵詞中出現(xiàn)，在生成領(lǐng)域具有和語義分割相類似的作用.值得注意的是，2023年視頻合成（videosynthesis）、StableDiffusion等模型被用于視頻生 成任務(wù)之中，諸如Runaway，Pika，Sora等視頻生成模型的發(fā)布，并且為各個領(lǐng)域所應(yīng)用.2023年，視頻合成這個領(lǐng)域真正地被探索，并成為了視覺生成領(lǐng)域全新的發(fā)展方向.從2021年到2023年，研究的主體從文本內(nèi)容處標(biāo)準(zhǔn)的Transformer遷移至圖像領(lǐng)域；U-Net將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到生物醫(yī)學(xué)圖像分割領(lǐng)域，精準(zhǔn)地進行視覺內(nèi)容的特征提取和采樣分析.在生成式模型方面，也從文本合成到視覺合成進行過渡.視覺所需要的多維編碼需要比文本使用更多的細節(jié)對齊，同時也有更廣泛的應(yīng)用空間.在擴散模型的基礎(chǔ)上，增加隱空間（latentspace將高維度的數(shù)據(jù)映射到低緯度的數(shù)據(jù)空間，從而將形式更加復(fù)雜的原始數(shù)據(jù)轉(zhuǎn)化為更簡單的數(shù)據(jù)表示.比如，用Transformer替代擴散模型中U-Net主干網(wǎng)絡(luò)，從而得到DiffusionTransformers（DiTs）的模型架構(gòu)，既完成優(yōu)化，也能夠保證可擴展性和效率.從文本走向視覺領(lǐng)域，各種模型的能力被不斷挖掘和創(chuàng)新.5對AI領(lǐng)域未來發(fā)展的展望近幾年，AI領(lǐng)域在諸多方向上都取得了很大的進步.在這一基礎(chǔ)上，分析AI領(lǐng)域的發(fā)展趨勢，可以讓我們對AI領(lǐng)域的研究熱點有更加完整的認識.為此，本文收集了包含美國國家科學(xué)基金會投資項目在內(nèi)的部分AI相關(guān)的熱點科研項目，提取了這些項目的關(guān)鍵詞，并針對其中的高頻關(guān)鍵詞進行分析，以得出AI領(lǐng)域未來一段時間的發(fā)展趨勢.如表6所示，基于這些AI相關(guān)項目的關(guān)鍵詞數(shù)據(jù)，排名最靠前的是STEM教育（STEMeducation）體系和交叉學(xué)科研究（interdisciplinaryresearch且相比其他關(guān)鍵詞的熱點優(yōu)勢較大.可見這2個領(lǐng)域和AI的融合正在逐漸深入且有廣闊前景.教育和AI的深度結(jié)合已成為大勢所趨.Table6HighFrequencyKeywordsforLatestProjectsRelativewithAIin2023表62023年與人工智能相關(guān)的新興項目高頻關(guān)鍵詞排名關(guān)鍵詞頻數(shù)1STEM教育體系402交叉學(xué)科研究253網(wǎng)絡(luò)基礎(chǔ)設(shè)施4增材制造5教育技術(shù)6邊緣計算7網(wǎng)絡(luò)安全8高性能計算（HPC）9多信使天體物理學(xué)9材料基因組計劃（MGI）9均為Top10高頻關(guān)鍵詞.STEM是一種新型教育模式，也是受到世界公認和歡迎的人才培養(yǎng)方案.STEM的強調(diào)要將這4類學(xué)科內(nèi)容有機組合成為整體，培養(yǎng)學(xué)生的實踐能力和創(chuàng)新精神.這4個領(lǐng)域和AI均有著深刻的聯(lián)系，不僅是讓學(xué)生接受AI相關(guān)內(nèi)容的學(xué)習(xí)，更是運用AI技術(shù)于教學(xué)、管理、評價等各方面[38].交叉學(xué)科研究也是投資項目中非常熱門的關(guān)鍵魏子舒等：2021至2023年人工智能領(lǐng)域研究熱點分析述評與展望1273詞.由于大學(xué)學(xué)科的專精性質(zhì)，跨學(xué)科研究給人類研究人員帶來了巨大的研究挑戰(zhàn)，包括學(xué)科之間的認性”，以其強大的學(xué)習(xí)速度和整合能力，在跨學(xué)科領(lǐng)域研究中大顯身手，如在數(shù)據(jù)集偏差透明度、模型決策的可解釋性、評估方法和監(jiān)管等方向上，仍然需要繼續(xù)發(fā)展改進.作為信息門類的學(xué)科，AI在計算機科學(xué)和其他信息相關(guān)領(lǐng)域的應(yīng)用非常廣泛.在網(wǎng)絡(luò)基礎(chǔ)設(shè)施（cyberinfrastructure）領(lǐng)域，AI算法能夠加速數(shù)據(jù)處理、發(fā)現(xiàn)隱藏在海量數(shù)據(jù)中的模式和趨勢、優(yōu)化網(wǎng)絡(luò)流量；在邊緣計算（edgecomputing）上，應(yīng)用實時數(shù)據(jù)處理，進行智能感知和識別，能夠優(yōu)化管理和決策等；在網(wǎng)絡(luò)安全（cybersecurity）方面，AI算法能夠檢測異常行為、實時分析威脅并及早發(fā)現(xiàn)和阻止；AI算法為高性能計算（highperformancecomputing,HPC）提供新思路，優(yōu)化系統(tǒng)計算能力，對于HPC的應(yīng)用有著深遠的影響.AI因其強大的預(yù)測能力和分析能力，在許多其manufacturing）作為新興的制造技術(shù)，和AI的結(jié)合促進制造業(yè)生產(chǎn)流程的變革.多信使天體物理學(xué)（multi-等天體物理宇宙的信息，嘗試歸納和預(yù)測未知天體物理的相關(guān)線索.又例如材料基因組計劃（materialsgenomeinitiative,MGI利用算法解碼材料的不同組成成分和性能的對應(yīng)關(guān)系，預(yù)測新材料的合成，改變傳統(tǒng)材料的發(fā)展方式.綜上可以看出，AI領(lǐng)域未來的發(fā)展，將會主要聚焦于AI在科學(xué)研究方面和民生方面的應(yīng)用，如何產(chǎn)出能夠適應(yīng)愈發(fā)廣泛的應(yīng)用場景的模型，將成為AI領(lǐng)域一段時間內(nèi)的重要課題；同時，隨著人們對AI模型的要求和期望逐漸升高，AI模型訓(xùn)練效率的提課題.在未來的AI領(lǐng)域，數(shù)據(jù)和知識的雙輪驅(qū)動配合越發(fā)得當(dāng)，大語言模型在大數(shù)據(jù)驅(qū)動的基礎(chǔ)上，添加專家系統(tǒng)、知識圖譜等知識計算引擎，將大語言模型在垂直領(lǐng)域細化，并提高其泛化能力，能夠協(xié)助研究人員完成科研問題，提高研究效率，給予科研人員啟發(fā)與思考.在功能增進上，大語言模型智能體在感知環(huán)境、記憶、規(guī)劃等與人協(xié)同的部分也將持續(xù)完善發(fā)展.作者貢獻聲明：魏子舒提出了分析思路，負責(zé)數(shù)據(jù)統(tǒng)計和統(tǒng)計結(jié)果分析；韓越負責(zé)數(shù)據(jù)統(tǒng)計和統(tǒng)計結(jié)果分析；劉思浩負責(zé)統(tǒng)計結(jié)果分析；張圣宇提出分析思路、指導(dǎo)意見并修改論文；吳飛提出了分析思路、指導(dǎo)意見并修改論文.［1］NiuShuteng,LiuM,LiuYongxin,etal.Distantdomaintransferlearningformedicalimaging[J].IEEEJournalofBiomedicalandHealthInformatics,2021,25(10):3784?3793［2］AbbasA,JainS,GourM,etal.TomatoplantdiseasedetectionusingtransferlearningwithC-GANsyntheticimages[J].ComputersandElectronicsinAgriculture,2021,187:106279［3］XuRunxin,LuoFuli,ZhangZhiyuan,etal.Raiseachildinlargelanguagemodel:Towardseffectiveandgeneralizablefine-tuning[C]//Procofthe2021ConfonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA:ACL,2021:9514?9528［4］LesterB,Al-RfouR,ConstantN.Thepowerofscaleforparameter-efficientprompttuning[C]//Procofthe2021ConfonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg,PA:ACL,2021:3045?3059［5］GutiérrezO,López-NeriE.Cognitivecomputing:Abriefsurveyandopenresearchchallenges[C]//Procofthe3rdIntConfonAppliedComputingandInformationTechnology/2ndIntConfonComputationalScienceandIntelligence.Piscataway,NJ:IEEE,2015:328?333［6］KumarP,ChandraR,BansalC,etal.Micro-climateprediction-multiscaleencoder-decoderbaseddeeplearningf