2024ChatGPT能力分析未來展望

T能力分析與未來展望自然語言處理e,是研究如何利用計(jì)算機(jī)技術(shù)對語言文本進(jìn)行處理加工和轉(zhuǎn)換的一門學(xué)科。由于該學(xué)科在理論上面臨巨大的挑戰(zhàn)而其技術(shù)應(yīng)用前景極其廣泛,因此被譽(yù)為人工智能皇冠上的明珠。自然語言處理技術(shù)自0世紀(jì)0年代末期誕生以來經(jīng)歷了0多年的曲折歷程先后經(jīng)歷了以符號邏輯方法為主導(dǎo)的理性主義時期以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的經(jīng)驗(yàn)主義時期和以深度學(xué)習(xí)方法為驅(qū)動的連結(jié)主義時期。隨著自然語言處理技術(shù)的進(jìn)步語言建模eM技術(shù)已經(jīng)經(jīng)歷了從最初的統(tǒng)計(jì)語言模型e,發(fā)展至神經(jīng)網(wǎng)絡(luò)語言模型eM再到預(yù)訓(xùn)練語言模型deM的演進(jìn)過程。近年來通過擴(kuò)展預(yù)訓(xùn)練語言模型得到的大模型將語言建模技術(shù)推向了一個新的發(fā)展高度其發(fā)展速度之快模型能力之強(qiáng)和通用程度之高都遠(yuǎn)遠(yuǎn)超越任何一個歷史時期的任何一種方法令人瞠目。大語言模型eM通常指參數(shù)量為百億級甚至更大規(guī)模的神經(jīng)網(wǎng)絡(luò)組成的語言模型它采用自監(jiān)督學(xué)習(xí)方式利用大量未標(biāo)注數(shù)據(jù)訓(xùn)練而成。盡管在擴(kuò)展預(yù)訓(xùn)練語言模型時主要是增大模型參數(shù)量模型架構(gòu)和訓(xùn)練方法基本不變但這些大規(guī)模的預(yù)訓(xùn)練語言模型表現(xiàn)出與較小規(guī)模的預(yù)訓(xùn)練語言模型例如0M參數(shù)的和B參數(shù)的不同的行為并且在解決一系列復(fù)雜任務(wù)時展現(xiàn)出令人驚訝的能力這種能力被業(yè)界稱為涌現(xiàn)能力t。例如少樣本和零樣本學(xué)習(xí)能力即在給定下游任務(wù)時可不依賴任何特定領(lǐng)域的訓(xùn)練數(shù)據(jù)而只是通過適當(dāng)?shù)奶崾菊{(diào)節(jié)模型的行為。隨著模型規(guī)模的進(jìn)一步增大大語言模型在各個任務(wù)上的性能也逐漸提高這一現(xiàn)象被稱為規(guī)模效應(yīng)g。目前的研究表明大語言模型有望成為解決各種任務(wù)的通用基礎(chǔ)模型是實(shí)現(xiàn)通用人工智能一條可行的希望之路。2年1月底美國I公司發(fā)布的聊天生成型預(yù)訓(xùn)練模型①在世界范圍內(nèi)引發(fā)了轟動。該模型是在生成型預(yù)訓(xùn)練模型eg]系列模型的基礎(chǔ)之上通過指令微調(diào)n并從調(diào)試人員的反饋中強(qiáng)化學(xué)習(xí)gmn]訓(xùn)練建立起來的T一經(jīng)發(fā)布立刻成為史上用戶增長速度最快的消費(fèi)應(yīng)用。同其他大模型相比由于其采用了指令微調(diào)和F等技術(shù)T具有更加強(qiáng)大的理解人類用戶意圖和偏好的能力既可以根據(jù)指令生成高質(zhì)量的回復(fù)也可以針對不恰當(dāng)?shù)妮斎刖芙^回答甚至更正對話中的錯誤。其超乎尋常的理解和會話能力讓部分人認(rèn)為T的出現(xiàn)標(biāo)志著通用人工智能的奇點(diǎn)時刻已經(jīng)到來。然而作為通用模型的與專用模型的性能對比其表現(xiàn)如何?以T為代表的大模型能否成為一個通用模型同時完成所有不同的下游任務(wù)換句話說通用大模型能否成為學(xué)科T在機(jī)器翻譯文本摘要情感分析和信息T在自然語言處理任務(wù)上的性能自T發(fā)布以來已有工作評估了T在自然語言處理任務(wù)上的性能。其中部分工作]主要關(guān)注T的通用性能針對大量任務(wù)做了簡單測試。另一些工作3則聚焦于某一具體任務(wù)。為了評估T在自然語言處理任務(wù)上的實(shí)際表現(xiàn)本文選擇了4種常見的也是典型的自然語言處理任務(wù)機(jī)器翻譯信息抽取文本摘要和情感分析。這4項(xiàng)任務(wù)既涵蓋了語言生成序列表示和文本分類三項(xiàng)自然語言處理的基礎(chǔ)任務(wù)也涉及到不同語言之間的轉(zhuǎn)換。下面依次介紹T在這些任務(wù)上的性能表現(xiàn)。機(jī)器翻譯機(jī)器翻譯e是將一種語言源語言自動翻譯成另外一種語言目標(biāo)語言的技術(shù)是自然語言處理中最具挑戰(zhàn)性的研究課題其性能表現(xiàn)體現(xiàn)著模型處理跨語言理解轉(zhuǎn)換和生成的綜合能力n等和g等對比了T模型和商業(yè)翻譯模型的性能差異。他們的實(shí)驗(yàn)結(jié)果表明T在高資源場景下的翻譯性能可與最優(yōu)秀的商業(yè)翻譯模型相媲美但在低資源場景下的性能則顯著落后。在具體語言上,T更擅長處理目標(biāo)語言為英語的翻譯任務(wù)。為了研究T多語言翻譯的能力尤其是在中低資源語言翻譯方面的能力本文選取了的測試集進(jìn)行評估。該測試集包含2個句子在4種語言上的翻譯。為了對T在不同資源語言上的翻譯性能進(jìn)行分析,本文根據(jù)3訓(xùn)練使用的數(shù)據(jù)集中不同語言所占比例將語言劃分為高資源占比1中等資源1 >占比>1和低資源占比<1三類并從每個類別中選擇了兩種語言測試T將其翻譯成英語->的能力。這6種語言是)高資源語言中文德語中等資源語言愛沙尼亞語立陶宛語低資源語言僧伽羅語尼泊爾語抽取等多個自然語言處理任務(wù)上的性能表現(xiàn)分析了T與專用模型相比的優(yōu)勢和不足并對未

。對比測試選用國際上公認(rèn)的基于詞序列

-學(xué)科方向的發(fā)展進(jìn)行了展望。

對比的評價(jià)指標(biāo)和基于句子表示相似度計(jì)算的評價(jià)指標(biāo)作為評價(jià)準(zhǔn)則以谷歌翻譯e為比較對象。對比結(jié)

T在實(shí)體關(guān)系三元組抽取任務(wù)上的1值僅有8與最優(yōu)模型的性能1值為果如表1所示。觀察表1所展示的結(jié)果可以得到如下兩個結(jié)論:,T傾向于生成比人工標(biāo)注更長的文本片段,總體而言T的翻譯性能遜色于谷歌翻譯。在高資源如中—英德—英和中等資源情況下如愛沙尼亞語—英語和立陶宛語—英語的翻譯性能T與谷歌翻譯模型相差不大。隨著資源量逐漸減少T與谷歌翻譯的性能差距逐漸增大這與已有的對比結(jié)論相吻合。T在低資源語言的翻譯中出現(xiàn)了嚴(yán)重的幻覺翻譯y問題,即譯文表述流暢但語義與原文并不一致屬于無中生有的臆想。為進(jìn)一步探究T與谷歌翻譯的性能差異我們對僧伽羅語—英語和尼泊爾語—英語這兩個低資源語言對的翻譯結(jié)果進(jìn)行了樣例分析。分析結(jié)果發(fā)現(xiàn)T不僅在低資源語言的翻譯中出現(xiàn)了幻覺現(xiàn)象在其它各項(xiàng)自然語言處理任務(wù)中均存在不同程度的幻覺。信息抽取信息抽取n是指從非結(jié)構(gòu)化或半結(jié)構(gòu)化的文本中自動識別抽取出實(shí)體實(shí)體屬性實(shí)體之間關(guān)系以及事件等事實(shí)信息并形成結(jié)構(gòu)化表示的一種文本挖掘技術(shù)。g等對T在信息抽取任務(wù)中的性能做了全面評估其中包括命名實(shí)體識別dy,R關(guān)系抽取n和事件抽取t,三項(xiàng)任務(wù)。實(shí)驗(yàn)結(jié)果表明在這三項(xiàng)任務(wù)上,T的性能最高只能達(dá)到專門訓(xùn)練出來的最優(yōu)模型性能的50和3。我們選取國際公開的數(shù)據(jù)集分析T在關(guān)系抽取任務(wù)上的表現(xiàn)。結(jié)果表明,

以更接近人類的語言習(xí)慣。同時T也表現(xiàn)出了引入世界知識的特性例如對地理位置或組織機(jī)構(gòu)名稱縮寫進(jìn)行擴(kuò)寫。為了測試T所學(xué)習(xí)到的世界知識對其執(zhí)行信息抽取任務(wù)的影響我們遵循g等中的實(shí)驗(yàn)設(shè)置通過調(diào)換一對關(guān)系中兩個實(shí)體的位置構(gòu)建了一組反事實(shí)測試樣例測試結(jié)果表明T在調(diào)換實(shí)體位置后仍能生成正確的關(guān)系三元組。這表明T所包含的世界知識使其在執(zhí)行信息抽取時更具魯棒性。自動文本摘要自動文本摘要ct)是利用計(jì)算機(jī)自動將文本或文本集合轉(zhuǎn)換成簡短摘要的一種信息壓縮技術(shù)。文本摘要技術(shù)在信息爆炸時代具有重要的應(yīng)用價(jià)值。已有的測試表明,整體而言T已經(jīng)能夠完成多種文摘任務(wù),但在多數(shù)情況下仍然低于現(xiàn)有最好的摘要模型。n等和等對T的通用型摘要能力的測試結(jié)果表明,T生成的摘要明顯不如經(jīng)過微調(diào)后的T模型以]指標(biāo)值衡量。n等進(jìn)一步研究了T在查詢式文本摘要d和要素級文本摘要d等更多樣化任務(wù)上的性能。結(jié)果表明在除社交媒體領(lǐng)域以外的三個基準(zhǔn)數(shù)據(jù)集上T的E分?jǐn)?shù)接近于微調(diào)模型只是在新聞數(shù)據(jù)集上超過了微調(diào)模型。而對于抽取式文本摘要o等的測試表明T的摘要性能同樣低于目前最好的抽取式摘要模型。T谷歌翻譯性能比*T谷歌翻譯性能比中→英743667

表1T的多語言翻譯性能德→英 7 0 7 0 3 9愛→英 1 7 3 9 5 1立→英 1 2 6 6 3 9尼→英 4 2 8 5 3 7僧→英 3 5 7 5 5 7*表中的性能比表示根據(jù)相應(yīng)的計(jì)算指標(biāo)T的性能與e的性能之間的比值?？紤]到上述對比測試主要集中在英文摘要任務(wù)上本文在中文對話摘要數(shù)據(jù)集]上對T的摘要能力進(jìn)行了測試并與該數(shù)據(jù)集上目前最好的模型進(jìn)行了對比。采用基于詞序列的評價(jià)指標(biāo)和基于文本表示的評價(jià)指標(biāo)對生成摘要的質(zhì)量進(jìn)行評價(jià)實(shí)2,T在中文對話摘要上的性能同樣不如目前最優(yōu)的自動文摘模型這與英文數(shù)據(jù)集上的測試結(jié)果基本一致。另外我們還分析發(fā)現(xiàn)T生成的摘要平均長度為7詞遠(yuǎn)長于人工給出的結(jié)果9詞。盡管我們曾嘗試在提示詞中加入對摘要長度的限制但T并不能遵循給定長度的約束而且添加的長度限制影響降低了生成摘要的質(zhì)量。在我們的實(shí)驗(yàn)中T更偏向于生成流利度高敘述詳細(xì)的文本這與人們希望的摘要應(yīng)盡量簡潔的要求存在一定的沖突。情感分析情感分析t是對文本中蘊(yùn)含的情感態(tài)度情緒等主觀信息進(jìn)行自動提取分析歸納和推理的處理過程如分析歸納客戶評論社交媒體帖子和新聞文章中的觀點(diǎn)情感和情緒等。y等從4個方面對T的情感分析能力進(jìn)行了具體評估包括標(biāo)準(zhǔn)評估極性轉(zhuǎn)換評估和開放領(lǐng)域評估以及情感推斷評估。他們利用自動評價(jià)指標(biāo)得到的對比結(jié)果表明在傳統(tǒng)的情感分類任務(wù)上T的性能與微調(diào)后的T模型相當(dāng)?shù)月浜笥谠谔囟I(lǐng)域內(nèi)專門訓(xùn)練出來的有監(jiān)督模型。而在情緒信息抽取任務(wù)上T的準(zhǔn)確度相對較低。但是在人工評估中T在這些任務(wù)上的表現(xiàn)并不是太差。在引入極性轉(zhuǎn)換例如否定或推測后T通常能夠正確的理解情感極性變化并做出正確預(yù)測而微調(diào)的模型則不能這說明T具有更強(qiáng)的魯棒性。在開放領(lǐng)域測試中傳統(tǒng)方法在特定領(lǐng)域訓(xùn)練出來

務(wù)上的表現(xiàn)我們使用數(shù)據(jù)集測試了其在要素級情感分析三元組抽取l任務(wù)上的性能。結(jié)果表明T的性能約為該數(shù)據(jù)集上最優(yōu)模型的8。我們進(jìn)一步隨機(jī)選取了0個樣本進(jìn)行人工評價(jià)。結(jié)果表明T的預(yù)測準(zhǔn)確率為2與S所得到的8準(zhǔn)確率仍有一定差距。T能力分析根據(jù)已有專家的測試和本文上述分析不難看出T作為通用模型在幾乎所有的自然語言處理任務(wù)上都展示了較好的性能和優(yōu)勢以至于讓很多人感覺到以T為代表的大模型會很快實(shí)現(xiàn)通用人工智能。但是具體到任何一個專項(xiàng)任務(wù)上如機(jī)器翻譯文本摘要和情感分析以及信息抽取等T的性能表現(xiàn)距離人類理想的通用人工智能技術(shù)依然有較大的差距。我們認(rèn)為,T的主要優(yōu)勢體現(xiàn)在如下兩個方面:強(qiáng)大的通用處理能力。以T為代表的大模型能夠通過人類指令執(zhí)行任何用戶希望完成的自然語言處理任務(wù)而且性能表現(xiàn)都在上乘盡管大部分情況下都不及目前最優(yōu)的專用模型但其通用的人工智能能力足以讓人們刮目相看。無論其寬廣的知識面和淵博的知識儲備還是規(guī)范流暢的語言表達(dá)能力均已超出人們的想象甚至超越一般人的表現(xiàn)。其處理翻譯語言的種類之多并行回復(fù)用戶和問題類型的數(shù)量之大更是讓專用模型和人類所望塵莫及。準(zhǔn)確的用戶意圖理解能力和隨機(jī)應(yīng)變的交互能力T幾乎能夠準(zhǔn)確理解和把握人類用戶的意圖且能夠根據(jù)人類的指令和上下文進(jìn)行自然流暢的人機(jī)交互可隨時根據(jù)用戶的問題和反饋修改模型自身的輸出其看似縝密的推理過程和滴水不漏的應(yīng)答能力都是已有模型所未能做到的。盡管有時候它也會胡說八道但其表現(xiàn)仍然的模型通常難以泛化到其它領(lǐng)域而T反而

本正經(jīng)。,展現(xiàn)出了較強(qiáng)的泛化能力。為了進(jìn)一步分析T在情緒信息抽取任表2T的文本摘要性能l 2 L eT 5 1 4L 4 1 8

正如上面所述T等大模型的研究和使用所面臨的問題和挑戰(zhàn)也是顯而易見的:技不如人T的性能不如目前最優(yōu)的專用模型。無中生有T容易引發(fā)的幻覺影響了其輸出的忠實(shí)度和簡潔性由此產(chǎn)生的臆想結(jié)論和事實(shí)性錯誤極易以假亂真混淆視聽。厚多薄寡由于在訓(xùn)練T時不同語言的樣本比例嚴(yán)重不平衡導(dǎo)致T在完成多語言處理翻譯任務(wù)時存在明顯的語言敏感的性能差異。價(jià)值趨同由于T在訓(xùn)練時需要借助于調(diào)試人員的反饋強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)模型學(xué)到的知識與調(diào)試人員的標(biāo)準(zhǔn)和要求之間的對齊因此模型建立的價(jià)值觀意識形態(tài)和社會倫理觀極易受調(diào)試人員的影響而不同國家不同民族和不同文化的價(jià)值趨向是不同的因此模型很難很好地處理多元價(jià)值觀問題。隱私泄露在訓(xùn)練大模型時需要大規(guī)模的多樣化訓(xùn)練樣本而這些樣本中難免存在涉及個人隱私的信息這些信息一旦被模型使用極有可能產(chǎn)生隱私泄露問題對相關(guān)人員造成傷害。除了上述問題之外如何判斷被大模型使用的知識和數(shù)據(jù)是否被侵權(quán)有效保護(hù)知識和數(shù)據(jù)持有者的合法權(quán)益如何界定T等大模型生成內(nèi)容的知識產(chǎn)權(quán)建立合情合理的知識產(chǎn)權(quán)保護(hù)法規(guī)如何制定大模型使用的明確規(guī)定既充分發(fā)揮大模型的強(qiáng)大能力而又不破壞應(yīng)有的學(xué)術(shù)誠信體系等等都是大模型研究和使用無法回避的問題。另外大模型建立和維護(hù)的昂貴成本是制約技術(shù)落地的重要因素。據(jù)半導(dǎo)體研究公司s估計(jì)訓(xùn)練一次有0億參數(shù)的3基礎(chǔ)模型所需要的最低費(fèi)用約為4萬美元①。而T是在3模型的基礎(chǔ)上經(jīng)過反復(fù)的試錯迭代得到的其開發(fā)成本據(jù)估約為0萬美元②。IOmn也曾在社交媒體上表示,T每與用戶互動一次約需數(shù)美分③。對于擁有億級月活躍用戶規(guī)模的情況而言資金投入量將是一個極為龐大的數(shù)字。設(shè)想一下一個特定的用戶尤其是某個特定領(lǐng)域或行業(yè)的用戶是需要一個知識面寬泛卻在解決本領(lǐng)域問題時表現(xiàn)并非最優(yōu)的系統(tǒng)還是更愿意有一個針對性強(qiáng)性能優(yōu)越的專用系統(tǒng)呢?P技術(shù)未來展望正如前文所述盡管大模型并不完美但看起來前景光明于是針對大模型的研究正如火如荼。以下問題是當(dāng)前研究人員關(guān)注的熱點(diǎn)或?qū)⑹俏磥砗荛L時期領(lǐng)域研究的問題:

模型通用性和專用性的均衡方法以及通用領(lǐng)域和垂直領(lǐng)域的權(quán)衡問題。問題描述如前文所述。大模型的輕量化方法T等大語言模型在實(shí)際應(yīng)用中存在計(jì)算和存儲資源消耗過高的問題。為了解決這一問題模型的輕量化方法如模型壓縮和推理加速成為了研究的重要方向。模型壓縮旨在減少大語言模型的參數(shù)量和模型規(guī)模以降低模型在部署和推理階段的計(jì)算存儲開銷從而提高模型的推理效率使大語言模型更廣泛地應(yīng)用于邊緣設(shè)備移動終端和實(shí)時應(yīng)用場景。大模型的終身學(xué)習(xí)與高效微調(diào)。語言是一個動態(tài)的領(lǐng)域新詞匯新概念和新語言現(xiàn)象不斷出現(xiàn)。為使T等大語言模型能夠適應(yīng)不斷變化的數(shù)據(jù)和任務(wù)探索持續(xù)學(xué)習(xí)和高效微調(diào)方法至關(guān)重要。通過持續(xù)學(xué)習(xí)大語言模型可以從新數(shù)據(jù)中學(xué)習(xí)并更新自身的知識庫以更好地理解和生成新的語言內(nèi)容。高效微調(diào)則能夠?qū)⒋笳Z言模型的通用知識與特定任務(wù)的要求相結(jié)合提高模型在特定任務(wù)上的性能。對于持續(xù)學(xué)習(xí)和高效微調(diào)的探索將使大語言模型更好地適應(yīng)變化的語言數(shù)據(jù)和任務(wù)要求以提高模型的性能和適應(yīng)性滿足人們對于新的語言內(nèi)容的需求。大模型的可解釋性與可控性T的發(fā)展也引發(fā)了對模型可解釋性和可控性的關(guān)注。由于T的訓(xùn)練基于大規(guī)模數(shù)據(jù)其生成結(jié)果可能受到不當(dāng)或有害內(nèi)容的影響。因此如何確保模型生成的內(nèi)容符合倫理和準(zhǔn)則成為了研究和探討的重點(diǎn)。研究模型的可解釋性旨在把控模型的決策過程和內(nèi)部機(jī)制以幫助研究者和用戶更好地把握模型生成結(jié)果的原因和邏輯。可控性研究則是為了實(shí)現(xiàn)對模型生成內(nèi)容和風(fēng)格的有效控制限制模型生成含有不當(dāng)偏見敏感甚至虛假信息的內(nèi)容或冒犯性言論等從而確保模型生成的內(nèi)容更加合乎倫理準(zhǔn)則也更加真實(shí)可靠。與其他學(xué)科領(lǐng)域的交叉融合T作為一種強(qiáng)大的自然語言處理模型不僅局限于解決自然語言處理領(lǐng)域內(nèi)的問題而且可以為其他學(xué)科領(lǐng)域的交叉研究提供有力支撐。由于模型學(xué)習(xí)到的知識來自巨大的樣本空間先驗(yàn)知識之豐富各種要素組合關(guān)系之復(fù)雜因果關(guān)系推斷之千奇百怪遠(yuǎn)遠(yuǎn)超出人的想象這種超乎尋常的能力完全可以為特定學(xué)科領(lǐng)域如生物醫(yī)學(xué)制藥化學(xué)等提供重要幫助包括提出問題預(yù)測結(jié)論和找到重要發(fā)現(xiàn)等真正讓為科學(xué)研究建立功勛。大模型的產(chǎn)業(yè)化應(yīng)用。在自然語言處理的理論方法研究中研究者主要利用實(shí)驗(yàn)室收集標(biāo)注的數(shù)據(jù)進(jìn)行模型訓(xùn)練和測試而這些數(shù)據(jù)和方法往往與產(chǎn)業(yè)化實(shí)際應(yīng)用中的情況有一定的隔離和差距①e②等一系列人工智能生成內(nèi)容le產(chǎn)品所取得的空前成功表明聚焦真實(shí)世界的實(shí)際問題比在學(xué)術(shù)界建立的簡單數(shù)據(jù)集上比拼性能更為重要。因此未來工作應(yīng)該更加聚焦于彌補(bǔ)大語言模型與實(shí)際應(yīng)用場景之間的差距包括探索多模態(tài)的人機(jī)交互模式研發(fā)工

結(jié) 語T作為一種具有強(qiáng)大能力的預(yù)訓(xùn)練模型對于自然語言處理領(lǐng)域的發(fā)展帶來了深遠(yuǎn)影響,引領(lǐng)了新的研究范式創(chuàng)造了新的發(fā)展機(jī)遇。同時,T的缺陷也為P研究留下了極大的探索空間。值得說明的是T之所以被如此關(guān)注是因?yàn)槠鋸?qiáng)大的通用性和與之前同類技術(shù)相比超乎尋常的性能表現(xiàn)而與人的實(shí)際要求相比尤其是針對具體任務(wù)的高標(biāo)準(zhǔn)要求它還有相當(dāng)大的差距。而且