大語言模型通識 課件 第1章 概述

浙江省普通本科高?！笆奈濉敝攸c教材大語言模型通識什么是ChatGPTOpenAI是一家人工智能研究實驗室，進行AI研究的目的是促進和開發(fā)友好的AI。OpenAI系統(tǒng)運行在世界上第五強大的超級計算機上。馬斯克、微軟都是該組織的捐助者。2020年OpenAI發(fā)布GPT-3，這是一種在大型互聯(lián)網(wǎng)數(shù)據(jù)集上訓(xùn)練的語言模型，旨在用自然語言回答問題，但它也可以在語言之間進行翻譯并連貫地生成即興文本。什么是ChatGPT2021年OpenAI推出DALL-E，這是一種深度學(xué)習(xí)模型，可以從自然語言描述中生成數(shù)字圖像。2022年12月，OpenAI推出基于GPT-3.5的新型AI聊天機器人ChatGPT，受到媒體的廣泛報道。在發(fā)布僅兩個月后就擁有1億用戶（成為史上用戶增長最快的應(yīng)用）。2023年3月14日，OpenAI發(fā)布了GPT-4聊天機器人語言模型。相比GPT3.5，GPT4.0訪問更加穩(wěn)定，數(shù)據(jù)更加準(zhǔn)確，并且更加符合我們?nèi)祟惖乃季S方式。簡而言之，更智能！什么是MidjourneyMidjourney（簡稱MJ）是AI繪圖里實用性最強的軟件，其開發(fā)團隊是美國舊金山的小型自籌資金團隊，專注于設(shè)計、人類基礎(chǔ)設(shè)施和人工智能。MJ是一個致力于探索新的思維方式并擴展人類的想象力的人工智能繪圖平臺。它于2022年7月12日首次公測，并于2022年3月14日正式以架設(shè)在Discord上的服務(wù)器形式推出，用戶注冊Discord并加入MJ服務(wù)器即可開始AI創(chuàng)作。ChatGPT+Midjourney一雙丹鳳三角眼，兩彎柳葉吊梢眉，身量苗條，體格風(fēng)騷，粉面含春威不露，丹唇未啟笑先聞。ApairofDanfengtriangleeyes,Twocurvedwillowleaveshangingeyebrows,Slimandcoquettish,Powdernoodlescontainspringpower,Dandidn'tsmileandsmellfirst.谷歌翻譯：王熙鳳ChatGPT+Midjourney一雙丹鳳三角眼，兩彎柳葉吊梢眉，身量苗條，體格風(fēng)騷，粉面含春威不露，丹唇未啟笑先聞。ApairofDanfengtriangleeyes,Twocurvedwillowleaveshangingeyebrows,Slimandcoquettish,Powdernoodlescontainspringpower,Dandidn'tsmileandsmellfirst.谷歌翻譯：王熙鳳大語言模型通識周蘇教授QQ：81505050第1章概述人類，又稱智人，即有智慧的人，這是因為智能對于人類來說尤其重要。幾千年來，人們一直在試圖理解人類是如何思考和行動的，也就是不斷地了解人類的大腦是如何憑借它那小部分的物質(zhì)去感知、理解、預(yù)測并操縱一個遠(yuǎn)比其自身更大更復(fù)雜的世界。第1章概論“數(shù)據(jù)成為新生產(chǎn)要素，算力成為新基礎(chǔ)能源，人工智能成為新生產(chǎn)工具?！?023年被稱為生成式人工智能（GenerativeAI）元年，以ChatGPT為代表的生成式人工智能技術(shù)的涌現(xiàn)獲得了前所未有的關(guān)注。大型科技公司、各類創(chuàng)業(yè)公司迅速入場，投入海量資源，推動了大語言模型（LargeLanguageModel，LLM，簡稱“大模型”）能力和應(yīng)用的快速演進。第1章概論01人工智能基礎(chǔ)02大語言模型的定義03大語言模型形成基礎(chǔ)04通用人工智能目錄/CONTENTSPART01人工智能基礎(chǔ)人工智能是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，是一門自然科學(xué)、社會科學(xué)和技術(shù)科學(xué)交叉的邊緣學(xué)科，它涉及的學(xué)科內(nèi)容包括哲學(xué)和認(rèn)知科學(xué)、數(shù)學(xué)、神經(jīng)生理學(xué)、心理學(xué)、計算機科學(xué)、信息論、控制論、不定性論、仿生學(xué)、社會結(jié)構(gòu)學(xué)與科學(xué)發(fā)展觀等。1.1人工智能基礎(chǔ)作為計算機科學(xué)的一個分支，人工智能專注于創(chuàng)建“智能系統(tǒng)”，這些系統(tǒng)具有推理、學(xué)習(xí)、適應(yīng)和自主行動的能力。人工智能是一個多元化的領(lǐng)域，圍繞著設(shè)計、理論、開發(fā)和應(yīng)用能夠展現(xiàn)出類似人類認(rèn)知功能的機器而展開。具有人工智能的機器努力模仿人類的思維和行為，包括但不限于理解自然語言、識別模式、解決問題和做出決策。1.1.1人工智能的定義人工智能研究領(lǐng)域的一個較早流行的定義，是由約翰·麥卡錫在1956年的達(dá)特茅斯會議上提出的，即：人工智能就是要讓機器的行為看起來像是人類所表現(xiàn)出的智能行為一樣。另一個定義指出：人工智能是人造機器所表現(xiàn)出來的智能性?？傮w來講，對人工智能的定義大多可劃分為四類，即機器“像人一樣思考”“像人一樣行動”“理性地思考”和“理性地行動”。這里“行動”應(yīng)廣義地理解為采取行動，或制定行動的決策，而不是肢體動作。1.1.1人工智能的定義尼爾遜教授對人工智能下了這樣一個定義：“人工智能是關(guān)于知識的學(xué)科――怎樣表示知識以及怎樣獲得知識并使用知識的科學(xué)?！倍鴾厮诡D教授認(rèn)為：“人工智能就是研究如何使計算機去做過去只有人才能做的智能工作?！边@些說法反映了人工智能學(xué)科的基本思想和基本內(nèi)容。即人工智能是研究人類智能活動的規(guī)律，構(gòu)造具有一定智能的人工系統(tǒng)，研究如何讓計算機去完成以往需要人的智力才能勝任的工作，也就是研究如何應(yīng)用計算機的軟/硬件來模擬人類某些智能行為的基本理論、方法和技術(shù)。1.1.1人工智能的定義可以把人工智能定義為一種工具，用來幫助或者替代人類思維。它是一項計算機程序，可以獨立存在于數(shù)據(jù)中心、個人計算機，也可以通過諸如機器人之類的設(shè)備體現(xiàn)出來。它具備智能的外在特征，有能力在特定環(huán)境中有目的地獲取和應(yīng)用知識與技能。人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考，甚至也可能超過人的智能。1.1.1人工智能的定義20世紀(jì)七十年代以來，人工智能被稱為世界三大尖端技術(shù)之一（空間技術(shù)、能源技術(shù)、人工智能），也被認(rèn)為是21世紀(jì)三大尖端技術(shù)（基因工程、納米科學(xué)、人工智能）之一，這是因為近幾十年來人工智能獲得了迅速的發(fā)展，在很多學(xué)科領(lǐng)域都獲得了廣泛應(yīng)用，取得了豐碩成果。1.1.1人工智能的定義對于人的思維模擬的研究可以從兩個方向進行，一是結(jié)構(gòu)模擬，仿照人腦的結(jié)構(gòu)機制，制造出“類人腦”的機器；二是功能模擬，從人腦的功能過程進行模擬?，F(xiàn)代電子計算機的產(chǎn)生便是對人腦思維功能的模擬，是對人腦思維的信息過程的模擬。1.1.2人工智能的實現(xiàn)途徑實現(xiàn)人工智能有三種途徑，即強人工智能、弱人工智能和實用型人工智能。強人工智能，又稱多元智能。研究人員希望人工智能最終能成為多元智能并且超越大部分人類的能力。有些人認(rèn)為要達(dá)成以上目標(biāo)，可能需要擬人化的特性，如人工意識或人工大腦，這被認(rèn)為是人工智能的完整性：為了解決其中一個問題，你必須解決全部的問題。即使一個簡單和特定的任務(wù)，如機器翻譯，要求機器按照作者的論點（推理），知道什么是被人談?wù)摚ㄖR），忠實地再現(xiàn)作者的意圖（情感計算）。因此，機器翻譯被認(rèn)為是具有人工智能完整性。1.1.2人工智能的實現(xiàn)途徑強人工智能的觀點認(rèn)為有可能制造出真正能推理和解決問題的智能機器，并且這樣的機器將被認(rèn)為是有知覺的，有自我意識的。強人工智能可以有兩類：（1）類人的人工智能，即機器的思考和推理就像人的思維一樣；（2）非類人的人工智能，即機器產(chǎn)生了和人完全不一樣的知覺和意識，使用和人完全不一樣的推理方式。強人工智能即便可以實現(xiàn)也很難被證實。為了創(chuàng)建具備強人工智能的計算機程序，我們首先必須清楚了解人類思維的工作原理，而想要實現(xiàn)這樣的目標(biāo)，還有很長的路要走。1.1.2人工智能的實現(xiàn)途徑弱人工智能，認(rèn)為不可能制造出能真正地推理和解決問題的智能機器，這些機器只不過看起來像是智能的，但是并不真正擁有智能，也不會有自主意識。它只要求機器能夠擁有智能行為，具體的實施細(xì)節(jié)并不重要。深藍(lán)就是在這樣的理念下產(chǎn)生的，它沒有試圖模仿國際象棋大師的思維，僅僅遵循既定的操作步驟。計算機每秒驗算的可能走位就高達(dá)2億個，就算思維驚人的象棋大師也不太可能達(dá)到這樣的速度。1.1.2人工智能的實現(xiàn)途徑人類擁有高度發(fā)達(dá)的戰(zhàn)略意識，這種意識將需要考慮的走位限制在幾步或是幾十步以內(nèi)，而計算機的考慮數(shù)以百萬計。就弱人工智能而言，這種差異無關(guān)緊要，能證明計算機比人類更會下象棋就足夠了。如今，主流的研究活動都集中在弱人工智能上，并且一般認(rèn)為這一研究領(lǐng)域已經(jīng)取得可觀的成就，而強人工智能的研究則處于停滯不前的狀態(tài)。1.1.2人工智能的實現(xiàn)途徑第三種途徑稱為實用型人工智能。研究者們將目標(biāo)放低，不再試圖創(chuàng)造出像人類一般智慧的機器。眼下我們已經(jīng)知道如何創(chuàng)造出能模擬昆蟲行為的機器人。機械家蠅看起來似乎并沒有什么用，但即使是這樣的機器人，在完成某些特定任務(wù)時也是大有裨益的。比如，一群如狗大小，具備螞蟻智商的機器人在清理碎石和在災(zāi)區(qū)找尋幸存者時就能夠發(fā)揮很大的作用。圖1-1華盛頓大學(xué)研制的靠激光束驅(qū)動的RoboFly昆蟲機器人1.1.2人工智能的實現(xiàn)途徑隨著模型變得越來越精細(xì)，機器能夠模仿的生物越來越高等，最終，我們可能必須接受這樣的事實：機器似乎變得像人類一樣智慧了。也許實用型人工智能與強人工智能殊途同歸，但考慮到一切的復(fù)雜性，我們不會相信機器人會有自我意識。1.1.2人工智能的實現(xiàn)途徑機器學(xué)習(xí)是人工智能的一個關(guān)鍵子集，是一種能夠根據(jù)輸入數(shù)據(jù)訓(xùn)練模型的系統(tǒng)。它的主要目標(biāo)是讓計算機系統(tǒng)能夠通過對模型進行訓(xùn)練，使其能夠從新的或以前未見過的數(shù)據(jù)中得出有用的預(yù)測。換句話說，機器學(xué)習(xí)的核心是“使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后對世界上的某件事情做出決定或預(yù)測”。這意味著，與其顯式地編寫程序來執(zhí)行某些任務(wù)，不如教計算機學(xué)會如何開發(fā)一個算法來完成任務(wù)。1.1.3機器學(xué)習(xí)和深度學(xué)習(xí)在機器學(xué)習(xí)中，我們不是直接編程告訴計算機如何完成任務(wù)，而是提供大量的數(shù)據(jù)，讓機器通過數(shù)據(jù)找出隱藏的模式或規(guī)律，然后用這些規(guī)律來預(yù)測新的、未知的數(shù)據(jù)。機器學(xué)習(xí)可以根據(jù)所處理的數(shù)據(jù)自主地學(xué)習(xí)和適應(yīng)，大大減少了對顯式編程的需求。通常將人工智能看作是自主機器智能的廣泛目標(biāo)，而機器學(xué)習(xí)則是實現(xiàn)這一目標(biāo)的具體方法。1.1.3機器學(xué)習(xí)和深度學(xué)習(xí)比如，如果我們通過代碼告訴電腦，圖片里紅色是玫瑰，有說明的是向日葵，那么程序?qū)ǚN類的判斷就是通過人類直接編寫邏輯達(dá)成的，不屬于機器學(xué)習(xí)，機器什么也沒學(xué)。但是如果我們給計算機大量玫瑰和向日葵的圖片，讓電腦自行識別模式、總結(jié)規(guī)律，從而能對后來新輸入的圖片進行預(yù)測和判斷，這就是機器學(xué)習(xí)。1.1.3機器學(xué)習(xí)和深度學(xué)習(xí)深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集，其核心在于使用人工神經(jīng)網(wǎng)絡(luò)模仿人腦處理信息的方式，通過層次化的方法提取和表示數(shù)據(jù)的特征。雖然單層神經(jīng)網(wǎng)絡(luò)就可以做出近似預(yù)測，但是添加更多的隱藏層可以優(yōu)化預(yù)測的精度和準(zhǔn)確性。神經(jīng)網(wǎng)絡(luò)是由許多基本的計算和儲存單元組成，這些單元被稱為神經(jīng)元。神經(jīng)元通過層層連接來處理數(shù)據(jù)，并且深度學(xué)習(xí)模型通常有很多層，因此被稱為“深度”學(xué)習(xí)。深度學(xué)習(xí)模型能夠?qū)W習(xí)和表示大量復(fù)雜的模式，這使它們在諸如圖像識別、語音識別和自然語言處理等任務(wù)中非常有效。1.1.3機器學(xué)習(xí)和深度學(xué)習(xí)機器學(xué)習(xí)有三種主要類型，即監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。其中，監(jiān)督學(xué)習(xí)就像一個有答案的教科書，模型可以從標(biāo)記的數(shù)據(jù)中學(xué)習(xí)，也就是說，它有答案可以參考學(xué)習(xí)；而無監(jiān)督學(xué)習(xí)則更像一個無答案的謎題，模型需要自己在數(shù)據(jù)中找出結(jié)構(gòu)和關(guān)系。此外，還有一種介于兩者之間方法稱為強化學(xué)習(xí)，其模型通過經(jīng)驗學(xué)習(xí)執(zhí)行動作。

圖1-2機器學(xué)習(xí)的三種主要類型1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)（1）監(jiān)督學(xué)習(xí)，也稱有導(dǎo)師學(xué)習(xí)，是指輸入數(shù)據(jù)中有導(dǎo)師信號，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計算方法，學(xué)習(xí)結(jié)果為函數(shù)。在監(jiān)督學(xué)習(xí)里，機器學(xué)習(xí)算法接受有標(biāo)簽的訓(xùn)練數(shù)據(jù)（標(biāo)記數(shù)據(jù)），標(biāo)簽就是期望的輸出值。所以每一個訓(xùn)練數(shù)據(jù)點都既包括輸入特征，也包括期望的輸出值。計算機使用特定的模式來識別每種標(biāo)記類型的新樣本，即在機器學(xué)習(xí)過程中提供對錯指示，一般是在數(shù)據(jù)組中包含最終結(jié)果(0,1)。通過算法讓機器自我減少誤差。1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個函數(shù)，當(dāng)接收到一個新的數(shù)據(jù)時，可以根據(jù)這個函數(shù)預(yù)測結(jié)果。算法的目標(biāo)是學(xué)習(xí)輸入和輸出之間的映射關(guān)系，從而在給定新的輸入特征后，能夠準(zhǔn)確預(yù)測出相應(yīng)的輸出值。監(jiān)督學(xué)習(xí)的主要類型是分類和回歸。在分類中，機器被訓(xùn)練成將一個組劃分為特定的類，一個簡單例子就是電子郵件中的垃圾郵件過濾器。過濾器分析你以前標(biāo)記為垃圾郵件的電子郵件，并將它們與新郵件進行比較，如果它們有一定的百分比匹配，這些新郵件將被標(biāo)記為垃圾郵件并發(fā)送到適當(dāng)?shù)奈募A中。1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)在回歸中，機器使用先前的（標(biāo)記的）數(shù)據(jù)來預(yù)測未來，天氣應(yīng)用是回歸的好例子。使用氣象事件的歷史數(shù)據(jù)（即平均氣溫、濕度和降水量），手機天氣預(yù)報APP可以查看當(dāng)前天氣，并對未來時間的天氣進行預(yù)測。例如，拿一堆貓貓狗狗的照片和照片對應(yīng)的“貓”“狗”標(biāo)簽進行訓(xùn)練，然后讓模型根據(jù)沒見過的照片預(yù)測是貓還是狗，這就屬于分類。拿一些房子特征的數(shù)據(jù)，比如面積、臥室數(shù)量、是否帶陽臺等和相應(yīng)的房價作為標(biāo)簽進行訓(xùn)練，然后讓模型根據(jù)沒見過的房子的特征預(yù)測房價——這就屬于回歸。1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)（2）無監(jiān)督學(xué)習(xí)，又稱無導(dǎo)師學(xué)習(xí)、歸納性學(xué)習(xí)。在無監(jiān)督學(xué)習(xí)中，學(xué)習(xí)的數(shù)據(jù)是沒有標(biāo)簽的，是指輸入數(shù)據(jù)中無導(dǎo)師信號，采用聚類方法，學(xué)習(xí)結(jié)果為類別，所以算法的任務(wù)是自主發(fā)現(xiàn)數(shù)據(jù)里的模式或規(guī)律。典型的無導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類、競爭學(xué)習(xí)等。無監(jiān)督學(xué)習(xí)通過循環(huán)和遞減運算來減小誤差，達(dá)到分類的目的。在無監(jiān)督學(xué)習(xí)中，數(shù)據(jù)是無標(biāo)簽的。由于大多數(shù)真實世界的數(shù)據(jù)都沒有標(biāo)簽，這樣的算法就特別有用。比如，拿一堆新聞文章，讓模型根據(jù)主題或內(nèi)容的特征自動把相似文章進行組織。1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)分為聚類和降維。聚類用于根據(jù)屬性和行為對象進行分組。這與分類不同，因為這些組不是你提供的。聚類的一個例子是將一個組劃分成不同的子組（例如，基于年齡和婚姻狀況），然后應(yīng)用到有針對性的營銷方案中。降維通過找到共同點來減少數(shù)據(jù)集的變量。大多數(shù)大數(shù)據(jù)可視化使用降維來識別趨勢和規(guī)則。1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)（3）強化學(xué)習(xí)。是讓模型在環(huán)境里采取行動，獲得結(jié)果反饋。從反饋里學(xué)習(xí)，從而能在給一定情況下采取最佳行動來最大化獎勵或是最小化損失。例如剛開始的時候，小狗會隨心所欲做出很多動作，但隨著和馴犬師的互動，小狗會發(fā)現(xiàn)某些動作能夠獲得零食，某些動作沒有零食，某些動作甚至?xí)馐軕土P。通過觀察動作和獎懲之間的聯(lián)系，小狗的行為會逐漸接近訓(xùn)犬師的期望。在很多任務(wù)上，比如說讓模型下圍棋，獲得不同行動導(dǎo)致的獎勵或損失反饋，從而在一局局游戲里優(yōu)化策略，學(xué)習(xí)如何采取行動達(dá)到高分。1.1.4監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)PART02大語言模型的定義大語言模型是深度學(xué)習(xí)的應(yīng)用之一，尤其在自然語言處理領(lǐng)域，這些模型的主要目標(biāo)是理解和生成人類語言。為了實現(xiàn)這個目標(biāo)，模型需要在大量文本數(shù)據(jù)上進行訓(xùn)練，以學(xué)習(xí)語言的各種模式和結(jié)構(gòu)。例如，ChatGPT就是一個大模型的例子，它被訓(xùn)練來理解和生成人類語言，以便進行有效的對話和解答各種問題。1.2大語言模型的定義1.大模型和生成式人工智能存在交集生成式人工智能是一種能夠創(chuàng)造新的內(nèi)容或預(yù)測未來數(shù)據(jù)的人工智能技術(shù)。這個技術(shù)包括用于生成文本、圖像、音頻和視頻等各種類型的內(nèi)容的模型。生成式人工智能的一個關(guān)鍵特性是，它不僅可以理解和分析數(shù)據(jù)，還可以創(chuàng)造新的、獨特的輸出，這些輸出是從學(xué)習(xí)的數(shù)據(jù)模式中派生出來的。1.2大語言模型的定義2.大型通用語言模型預(yù)訓(xùn)練和微調(diào)大模型可以進行預(yù)訓(xùn)練，然后針對特定目標(biāo)進行微調(diào)。以訓(xùn)練狗為例，可以訓(xùn)練它坐、跑、蹲和保持不動。但如果訓(xùn)練的是警犬、導(dǎo)盲犬和獵犬，則需要特殊的訓(xùn)練方法。大模型的訓(xùn)練也采用與之類似的思路。大模型被訓(xùn)練來解決通用（常見）的語言問題，如文本分類、問答、文檔總結(jié)和文本生成等。1.2大語言模型的定義（1）文本分類：大模型可以通過對輸入文本進行分析和學(xué)習(xí)，將其歸類到一個或多個預(yù)定義的類別中。例如，可以使用大模型來分類電子郵件是否為垃圾郵件，或?qū)⒉┛臀恼職w類為積極、消極或中立。（2）問答：大模型可以回答用戶提出的自然語言問題。例如，可以使用大模型來回答搜索引擎中的用戶查詢，或者回答智能助手中的用戶問題。（3）文檔總結(jié)：大模型可以自動提取文本中的主要信息，以生成文檔摘要或摘錄。例如，可以使用大模型來生成新聞文章的概要，或從長篇小說中提取關(guān)鍵情節(jié)和事件。1.2大語言模型的定義（4）文本生成：大模型可以使用先前學(xué)習(xí)的模式和結(jié)構(gòu)來生成新的文本。例如，可以使用大模型來生成詩歌、短故事、或者以特定主題的文章。另一方面，大模型可以基于特定領(lǐng)域的小規(guī)模數(shù)據(jù)集進行訓(xùn)練，來定制化解決不同領(lǐng)域如零售、金融、娛樂等的特定問題。1.2大語言模型的定義3.大模型的特征在“大模型”的上下文中，“大”主要有兩層含義。一方面，它指的是模型的參數(shù)數(shù)量。在這些模型中，參數(shù)的數(shù)量通常會非常大，達(dá)到數(shù)十億甚至數(shù)百億。這使得模型能夠?qū)W習(xí)和表示非常復(fù)雜的模式。另一方面，“大”也指的是訓(xùn)練數(shù)據(jù)的規(guī)模。大模型通?？梢栽趤碜曰ヂ?lián)網(wǎng)、書籍、新聞等各種來源的大規(guī)模文本數(shù)據(jù)上進行訓(xùn)練。1.2大語言模型的定義在大模型中，“通用”這個詞描述的是模型的應(yīng)用范圍。通用語言模型在訓(xùn)練時使用了來自各種領(lǐng)域的數(shù)據(jù)，因此它們能夠處理各種類型的任務(wù)，不僅限于某一個特定的任務(wù)或領(lǐng)域。這使得這些模型在處理新的、未見過的任務(wù)時具有很強的泛化能力。1.2大語言模型的定義預(yù)訓(xùn)練和微調(diào)。在預(yù)訓(xùn)練階段，模型在大規(guī)模的通用文本數(shù)據(jù)上進行訓(xùn)練，學(xué)習(xí)語言的基本結(jié)構(gòu)和各種常識。然后，在微調(diào)階段，模型在更小、更特定的數(shù)據(jù)集上進行進一步的訓(xùn)練。這個數(shù)據(jù)集通常是針對某個特定任務(wù)或領(lǐng)域的，例如醫(yī)學(xué)文本、法律文本，或者是特定的對話數(shù)據(jù)。微調(diào)可以讓模型更好地理解和生成這個特定領(lǐng)域的語言，從而更好地完成特定的任務(wù)。1.2大語言模型的定義4.大模型的優(yōu)勢單一模型可用于不同任務(wù)：由于大模型是通用的，并且具有強大的泛化能力，所以它們可以處理各種類型的任務(wù)，比如文本分類、命名實體識別、情感分析、問答系統(tǒng)、文本生成等。這意味著可以使用同一個預(yù)訓(xùn)練模型來處理不同的任務(wù)，只需要進行相應(yīng)的微調(diào)就可以。這大大減少了開發(fā)和維護不同模型的復(fù)雜性和成本。1.2大語言模型的定義微調(diào)過程只需要最小的數(shù)據(jù)：盡管大模型在預(yù)訓(xùn)練階段需要大量的通用文本數(shù)據(jù)，但在微調(diào)階段，它們通常只需要相對較小的領(lǐng)域特定數(shù)據(jù)。這是因為模型在預(yù)訓(xùn)練階段已經(jīng)學(xué)習(xí)了大量的語言知識和常識，微調(diào)階段主要是讓模型適應(yīng)特定的任務(wù)或領(lǐng)域。這使得大語言模型能夠在數(shù)據(jù)稀缺的領(lǐng)域中也能表現(xiàn)出色。1.2大語言模型的定義隨著更多的數(shù)據(jù)和參數(shù)，性能持續(xù)提升：大模型的性能通常隨著訓(xùn)練數(shù)據(jù)的增加和模型參數(shù)的增加而提升。這意味著，通過訓(xùn)練更大的模型，并使用更多的數(shù)據(jù)，我們可以獲得更好的性能。這是因為更大的模型有更多的參數(shù)，能夠?qū)W習(xí)和表示更復(fù)雜的模式；同時，更多的數(shù)據(jù)能夠提供更豐富的信息，幫助模型更好地理解語言。1.2大語言模型的定義PART03大語言模型形成基礎(chǔ)OpenAI于2023年3月14日發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4可以接受圖像和文本輸入，產(chǎn)生文本輸出。輸出任務(wù)依舊是一個自回歸的單詞預(yù)測任務(wù)。外界曾經(jīng)預(yù)期GPT-4會增加語音、圖像、視頻、文本多模態(tài)輸入，輸出也不局限于文字。1.3大語言模型形成基礎(chǔ)對于多年來一直在思考人工智能的哲學(xué)家來說，GPT-4就像是一個已經(jīng)實現(xiàn)了的思維實驗。早在1981年，內(nèi)德·布洛克就構(gòu)建了一個“Blockhead（傻瓜）”假說——假定科學(xué)家們通過編程，在Blockhead內(nèi)預(yù)先設(shè)定好了近乎所有問題的答案，那么，當(dāng)它回答問題的時候，人們也許就根本無法區(qū)分是Blockhead和人類在回答問題。顯然，這里的Blockhead并不被認(rèn)為是智能的，因為它回答問題的方式僅僅是從其龐大的記憶知識庫中檢索并復(fù)述答案，并非通過理解問題之后給出答案。哲學(xué)家們一致認(rèn)為，這樣的系統(tǒng)不符合智能的標(biāo)準(zhǔn)。1.3.1Blockhead思維實驗實際上，GPT-4的許多成就可能就是通過類似的內(nèi)存檢索操作產(chǎn)生的。GPT-4的訓(xùn)練集中包括了數(shù)億個人類個體生成的對話和數(shù)以千計的學(xué)術(shù)出版物，涵蓋了潛在的問答對。研究發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)多層結(jié)構(gòu)的設(shè)計使其能夠有效地從訓(xùn)練數(shù)據(jù)中檢索到正確答案。這表明，GPT-4的回答其實是通過近似甚至是精確復(fù)制訓(xùn)練集中的樣本生成的。1.3.1Blockhead思維實驗如果GPT-4真的是以這種方式運行，那么它就只是Blockhead的現(xiàn)實版本。由此，人們在評估大語言模型時，也就存在一個關(guān)鍵問題：它的訓(xùn)練集中可能包含了評估時使用的測試問題，這被稱為“數(shù)據(jù)污染”，這些是應(yīng)該在評估前予以排除的問題。研究者指出，大模型不僅可以簡單地復(fù)述其提示的或訓(xùn)練集的大部分內(nèi)容，它們還能夠靈活地融合來自訓(xùn)練集的內(nèi)容，產(chǎn)生新的輸出。而許多經(jīng)驗主義哲學(xué)家提出，能夠靈活復(fù)制先前經(jīng)驗中的抽象模式，可能不僅是智能的基礎(chǔ)，還是創(chuàng)造力和理性決策的基礎(chǔ)。1.3.1Blockhead思維實驗大模型的起源可以追溯到人工智能研究的開始。早期的自然語言處理主要有兩大流派：符號派和隨機學(xué)派。諾姆·喬姆斯基的轉(zhuǎn)換生成語法對符號派影響重大。該理論認(rèn)為自然語言的結(jié)構(gòu)可以被一組形式化規(guī)則概括，利用這些規(guī)則可以產(chǎn)生形式正確的句子。與此同時，受香農(nóng)信息論的影響，數(shù)學(xué)家沃倫·韋弗首創(chuàng)了隨機學(xué)派。1949年，韋弗提出使用統(tǒng)計技術(shù)在計算機上進行機器翻譯的構(gòu)想。這一思路為統(tǒng)計語言模型的發(fā)展鋪平了道路，例如n-gram模型，該模型根據(jù)語料庫中單詞組合的頻率估計單詞序列的可能性。1.3.2大模型的歷史基礎(chǔ)現(xiàn)代語言模型的另一個重要基石是分布假設(shè)。該假設(shè)最早由語言學(xué)家澤利格·哈里斯在1950年代提出。這一假設(shè)認(rèn)為，語言單元通過與系統(tǒng)中其他單元的共現(xiàn)模式來獲得特定意義。哈里斯提出，通過了解一個詞在不同語境中的分布特性，可以推斷出這個詞的含義。1.3.2大模型的歷史基礎(chǔ)隨著分布假設(shè)研究的不斷深入，人們開發(fā)出了在高維向量空間中表示文檔和詞匯的自動化技術(shù)。之后的詞嵌入模型通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來預(yù)測給定詞的上下文（或者根據(jù)上下文填詞）學(xué)習(xí)單詞的分布屬性。與先前的統(tǒng)計方法不同，詞嵌入模型將單詞編碼為密集的、低維的向量表示。由此產(chǎn)生的向量空間在保留有關(guān)詞義的語言關(guān)系的同時，大幅降低了語言數(shù)據(jù)的維度。同時，詞嵌入模型的向量空間中存在許多語義和句法關(guān)系。

圖1-3多維向量空間中詞嵌入的一個例子1.3.2大模型的歷史基礎(chǔ)圖1-3中A部分指一個在自然語言語料庫上訓(xùn)練的詞嵌入模型學(xué)會將單詞編碼成多維空間中的數(shù)值向量，為了視覺上的清晰性而簡化為兩維。在訓(xùn)練過程中，上下文相關(guān)的單詞（例如“age”和“epoch”）的向量變得更加相似，而上下文無關(guān)的單詞（例如“age”和“coffee”）的向量變得不那么相似。圖1-3中B部分指在經(jīng)過訓(xùn)練的模型的二維向量空間中的詞嵌入。具有相似含義的單詞（如“age”和“epoch”）被放置在更靠近的位置，這由它們的余弦相似度得分高度表示；而具有不同含義的單詞（如“coffee”和“epoch”）則相對較遠(yuǎn)，反映在余弦相似度得分較低上。1.3.2大模型的歷史基礎(chǔ)余弦相似度是一種用于確定兩個非零向量夾角余弦的度量，反映它們之間的相似程度。余弦相似度得分越接近1，表示夾角越小，向量之間的相似度越高。詞嵌入模型的發(fā)展是自然語言處理歷史上的一個轉(zhuǎn)折點，為基于在大型語料庫中的統(tǒng)計分布在連續(xù)向量空間中表示語言單元提供了強大而高效的手段。然而，這些模型也存在一些顯著的局限性。首先，它們無法捕捉一詞多義和同音異義，因為它們?yōu)槊總€單詞類型分配了單一的嵌入，無法考慮基于上下文的意義變化。1.3.2大模型的歷史基礎(chǔ)隨后的“深度”語言模型引入了類似記憶的機制，使其能夠記住并處理隨時間變化的輸入序列，而不是個別的孤立單詞。這些模型雖然在某些方面優(yōu)于詞嵌入模型，但它們的訓(xùn)練速度較慢，處理長文本序列時表現(xiàn)也欠佳。這些問題在瓦斯瓦尼等人于2017年引入的Transformer架構(gòu)中得到解決，Transformer架構(gòu)是谷歌云TPU推薦的參考模型，為現(xiàn)代大模型奠定了基礎(chǔ)。1.3.2大模型的歷史基礎(chǔ)Transformer模型的一個關(guān)鍵優(yōu)勢在于，輸入序列中的所有單詞都是并行處理，這種架構(gòu)不僅極大地提高了訓(xùn)練效率，還提高了模型處理長文本序列的能力，從而增加了可以執(zhí)行的語言任務(wù)的規(guī)模和復(fù)雜性。Transformer模型的核心是一種被稱為自注意力的機制。簡而言之，自注意力允許模型在處理序列中的每個單詞時，衡量該序列不同部分的重要性。這一機制幫助大模型通過考慮序列中所有單詞之間的相互關(guān)系，構(gòu)建對長文本序列的復(fù)雜表示。在句子層面之上，它使大模型能夠結(jié)合段落或整個文檔的主題來進行表達(dá)。1.3.3基于Transformer模型Transformer模型并非直接操作單詞，而是操作稱為“詞元（tokens）”的語言單位。詞元可以映射到整個單詞，也可以映射到更小的單詞片段。在將每個單詞序列提供給模型之前，首先進行標(biāo)記化，將其分塊成相應(yīng)的詞元。標(biāo)記化的目的是盡可能多地表示來自不同語言的單詞，包括罕見和復(fù)雜的單詞?；赥ransformer模型的最常見變體被稱為“自回歸”，包括GPT-3、GPT-4和ChatGPT。自回歸模型以準(zhǔn)確預(yù)測下一個詞元為學(xué)習(xí)目標(biāo)。1.3.3基于Transformer模型在每次訓(xùn)練時，模型的目標(biāo)是根據(jù)先前的詞元預(yù)測語料庫中抽樣序列的下一個詞元。在第一次預(yù)測時，模型使用隨機參數(shù)初始化，預(yù)測結(jié)果并不準(zhǔn)確。隨著每次預(yù)測的進行，模型的參數(shù)逐漸調(diào)整，直至預(yù)測出的詞元和訓(xùn)練集中實際的詞元的差異最小。這個過程重復(fù)數(shù)十億次，直到模型能夠準(zhǔn)確預(yù)測從訓(xùn)練集中隨機抽取的內(nèi)容的下一個詞元。Transformer模型的訓(xùn)練集包括百科全書、學(xué)術(shù)文章、書籍、網(wǎng)站，甚至大量計算機代碼等多樣化來源的大型語料庫，旨在概括自然語言和人工語言的廣度和深度，使Transformer模型能夠準(zhǔn)確進行下一個詞元的預(yù)測。1.3.3基于Transformer模型盡管這種方式訓(xùn)練的大模型在生成文本段落方面表現(xiàn)出色，但它們對真實的、有用的或無冒犯性的語言沒有固定偏好。為了讓生成的文本更符合人類語言使用規(guī)范，此后的大模型如ChatGPT，使用了“從人類反饋中進行強化學(xué)習(xí)”的微調(diào)技術(shù)來調(diào)整模型的輸出。強化學(xué)習(xí)允許開發(fā)人員更具體和可控地引導(dǎo)模型的輸出。這一微調(diào)過程在調(diào)整這些模型以更好地滿足人類語言使用規(guī)范方面發(fā)揮著至關(guān)重要的作用。1.3.3基于Transformer模型大模型具有出色的能力，能夠利用文本提示中的文本信息來引導(dǎo)它們的輸出。已部署的語言模型經(jīng)過預(yù)訓(xùn)練，其參數(shù)在訓(xùn)練后保持固定。盡管大部分架構(gòu)缺乏可編輯的長期記憶資源，但它們能夠根據(jù)所提供的內(nèi)容靈活調(diào)整輸出，包括它們未經(jīng)明確訓(xùn)練的任務(wù)。這種能力可被視為一種即時學(xué)習(xí)或適應(yīng)的形式，通常被稱為“情境學(xué)習(xí)”。情境學(xué)習(xí)可被解釋為一種模式完成的形式，如果序列構(gòu)造為一個熟悉的問題或任務(wù)，模型將嘗試以與其訓(xùn)練一致的方式完成它?？上蚰Ｐ桶l(fā)出具體的指令。1.3.3基于Transformer模型在“少樣本學(xué)習(xí)”中，提示的結(jié)構(gòu)包括要執(zhí)行任務(wù)的幾個示例，后面是需要響應(yīng)的新實例。在“零樣本學(xué)習(xí)”中，模型不會得到任何示例，任務(wù)直接在提示中進行概述或暗示。少樣本學(xué)習(xí)被認(rèn)為是人類智能的重要方面。而老式機器學(xué)習(xí)則在少樣本學(xué)習(xí)任務(wù)中表現(xiàn)較差。然而，經(jīng)過訓(xùn)練后的大模型在少樣本學(xué)習(xí)上表現(xiàn)出色。在較大的模型（如GPT-3）中觀察到，少樣本學(xué)習(xí)能力似乎與模型大小高度相關(guān)。通過強化學(xué)習(xí)精調(diào)后，大模型的零樣本學(xué)習(xí)能力得到增強。1.3.3基于Transformer模型大模型已經(jīng)應(yīng)用在自然語言處理領(lǐng)域的許多任務(wù)中，且有不錯的表現(xiàn)。除了傳統(tǒng)的自然語言處理任務(wù)，大模型還具有執(zhí)行包括生成代碼、玩基于文本的游戲和提供數(shù)學(xué)問題答案等。由于大模型出色的信息檢索能力，它們甚至已被提議作為教育、研究、法律和醫(yī)學(xué)的工具。1.3.3基于Transformer模型人工神經(jīng)網(wǎng)絡(luò)（ANNs，簡稱“神經(jīng)網(wǎng)絡(luò)”），包括早期的自然語言處理結(jié)構(gòu)，一直是哲學(xué)討論的焦點。圍繞這些系統(tǒng)的哲學(xué)討論主要集中在它們作為建模人類認(rèn)知的適用性上。具體而言，爭論的焦點在于，相比于比經(jīng)典的、符號的、基于規(guī)則的對應(yīng)物模型，它們是否構(gòu)成了更好的人類認(rèn)知模型。研究中的核心問題之一是，設(shè)計用于預(yù)測下一個詞元的大模型是否能構(gòu)建出一個“世界模型”。在機器學(xué)習(xí)中，世界模型通常指的是模擬外部世界某些方面的內(nèi)部表征，使系統(tǒng)能夠以反映現(xiàn)實世界動態(tài)的方式理解、解釋和預(yù)測現(xiàn)象，包括因果關(guān)系和直觀的物理現(xiàn)象。1.3.4大模型的世界模型問題大模型的學(xué)習(xí)方式與通過和環(huán)境互動并接收反饋來學(xué)習(xí)的強化學(xué)習(xí)代理不同，它能否構(gòu)建出世界模型。實際上這是在探討它們是否能夠內(nèi)部構(gòu)建出對世界的理解，并生成與現(xiàn)實世界知識和動態(tài)相一致的語言。這種能力對于反駁大模型僅僅是“Blockheads”的觀點至關(guān)重要。1.3.4大模型的世界模型問題評估大模型是否具有世界模型并沒有統(tǒng)一的方法，部分原因在于這個概念通常定義模糊，部分原因在于難以設(shè)計實驗來區(qū)分大模型是依賴淺層啟發(fā)式回答問題，還是使用了環(huán)境核心動態(tài)的內(nèi)部表征這一假設(shè)。盡管如此，我們還可以向大模型提出一些不能依據(jù)記憶來完成的任務(wù)，來提供新的證據(jù)解決這一問題。1.3.4大模型的世界模型問題有的研究認(rèn)為，大模型可能學(xué)會了模擬世界的一部分，而不僅僅是進行序列概率估計。更具體地說，互聯(lián)網(wǎng)規(guī)模的訓(xùn)練數(shù)據(jù)集由大量單獨的文檔組成。對這些文本的最有效壓縮可能涉及對生成它們的隱藏變量值進行編碼：即文本的人類作者的句法知識、語義信念和交際意圖。1.3.4大模型的世界模型問題另一個有趣的問題是，大模型是否可能參與文化習(xí)得并在知識傳遞中發(fā)揮作用。一些理論家提出，人類智能的一個關(guān)鍵特征在于其獨特的文化學(xué)習(xí)能力。盡管其他靈長類動物也有類似的能力，但人類在這方面顯得更為突出。人類能夠相互合作，將知識從上一代傳到下一代，人類能夠從上一代結(jié)束的地方繼續(xù)，并在語言學(xué)、科學(xué)和社會學(xué)知識方面取得新的進展。這種方式使人類的知識積累和發(fā)現(xiàn)保持穩(wěn)步發(fā)展，與黑猩猩等其他動物相對停滯的文化演變形成鮮明對比。1.3.5文化知識傳遞和語言支持鑒于深度學(xué)習(xí)系統(tǒng)已經(jīng)在多個任務(wù)領(lǐng)域超過了人類表現(xiàn)。那么問題就變成了，大模型是否能夠模擬文化學(xué)習(xí)的許多組成部分，將它們的發(fā)現(xiàn)傳遞給人類理論家。研究發(fā)現(xiàn)，現(xiàn)在主要是人類通過解釋模型來得到可傳播的知識。但是，大模型是否能夠以理論介導(dǎo)的方式向人類解釋它們的策略，從而參與和增強人類文化學(xué)習(xí)呢？有證據(jù)表明，基于Transformer的模型可能在某些訓(xùn)練-測試分布轉(zhuǎn)變下實現(xiàn)組合泛化。但問題涉及到一種不同類型的泛化——解決真正新穎任務(wù)的能力。從現(xiàn)有證據(jù)來看，大模型似乎能夠在已知任務(wù)范圍內(nèi)處理新數(shù)據(jù)，實現(xiàn)局部任務(wù)泛化。1.3.5文化知識傳遞和語言支持此外，文化的累積進步（棘輪效應(yīng)：指人的消費習(xí)慣形成之后有不可逆性，即易于向上調(diào)整，而難于向下調(diào)整）不僅涉及創(chuàng)新，還包括穩(wěn)定的文化傳播。大模型是否能夠像人類一樣，不僅能夠生成新穎的解決方案，還能夠通過認(rèn)識和表達(dá)它們?nèi)绾纬较惹暗慕鉀Q方案，從而“鎖定”這些創(chuàng)新？這種能力不僅涉及生成新穎的響應(yīng)，還需要對解決方案的新穎性及其影響有深刻理解，類似于人類科學(xué)家不僅發(fā)現(xiàn)新事物，還能理論化、情境化和傳達(dá)他們的發(fā)現(xiàn)。1.3.5文化知識傳遞和語言支持因此，對大模型的挑戰(zhàn)不僅僅在于生成問題的新穎解決方案，還在于培養(yǎng)一種能夠反思和傳達(dá)其創(chuàng)新性質(zhì)的能力，從而促進文化學(xué)習(xí)的累積過程。這種能力可能需要更先進的交際意圖理解和世界模型構(gòu)建。雖然大模型在各種形式的任務(wù)泛化方面表現(xiàn)出有希望的跡象，但它們參與文化學(xué)習(xí)的程度似乎取決于這些領(lǐng)域的進一步發(fā)展，這可能超出了當(dāng)前體系結(jié)構(gòu)的能力范圍。1.3.5文化知識傳遞和語言支持PART04通用人工智能有別于“專用（特定領(lǐng)域）人工智能”，通用人工智能（GeneralArtificialIntelligence，AGI），是指一種能夠像人類一樣思考、學(xué)習(xí)和執(zhí)行多種任務(wù)的人工智能系統(tǒng)，它具有高效的學(xué)習(xí)和泛化能力、能夠根據(jù)所處的復(fù)雜動態(tài)環(huán)境自主產(chǎn)生并完成任務(wù)，它具備自主感知、認(rèn)知、決策、學(xué)習(xí)、執(zhí)行和社會協(xié)作等能力，且符合人類情感、倫理與道德觀念。1.4通用人工智能開發(fā)ChatGPT的OpenAI公司將AGI寫在了自己的企業(yè)使命中，OpenAI官網(wǎng)上是這樣寫的：“OpenAI的使命是確保通用人工智能，即一種高度自主且在大多數(shù)具有經(jīng)濟價值的工作上超越人類的系統(tǒng)，將為全人類帶來福祉。我們不僅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意幫助其它研究機構(gòu)共同建造出這樣的通用人工智能以達(dá)成我們的使命?！?.4.1什么是通用人工智能目前，大多數(shù)人工智能系統(tǒng)是針對特定任務(wù)或領(lǐng)域進行優(yōu)化的，例如語音識別、圖像識別、自然語言處理、推薦系統(tǒng)等，這是將問題得到簡化的一種解決問題的方法。這些系統(tǒng)在其特定領(lǐng)域中可能表現(xiàn)得很出色，但它們?nèi)狈νㄓ眯院挽`活性，不能適應(yīng)各種不同的任務(wù)和環(huán)境。與專注于解決特定問題或領(lǐng)域不同，通用人工智能的目標(biāo)是創(chuàng)建一個全面智能的系統(tǒng)，可以解決廣泛的問題并進行多種任務(wù)。這種系統(tǒng)能夠在不同的環(huán)境中適應(yīng)和學(xué)習(xí)，并且可以從不同的來源中獲取信息，像人類一樣進行推理和決策。1.4.1什么是通用人工智能“AGI”這個詞匯最早可以追溯到2003年瑞典哲學(xué)家尼克·博斯特羅姆發(fā)表的論文《先進人工智能的倫理問題》。在該論文中，博斯特羅姆討論了超級智能的道德問題，并在其中引入了“AGI”這一概念，描述一種能夠像人類一樣思考、學(xué)習(xí)和執(zhí)行多種任務(wù)的人工智能系統(tǒng)。超級智能被定義為任何智能在幾乎所有感興趣的領(lǐng)域中都大大超過人類認(rèn)知表現(xiàn)的智能。這個定義允許增強的黑猩猩或海豚也有可能成為超級智能，也允許非生物超級智能的可能性。1.4.1什么是通用人工智能因此，AGI可以被視為是一種更高級別的人工智能，是當(dāng)前人工智能技術(shù)發(fā)展的一個重要方向和目標(biāo)。但由于其在技術(shù)和理論方面的挑戰(zhàn)，它仍然是一個較為遙遠(yuǎn)的目標(biāo)。1.4.1什么是通用人工智能大模型是一種基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)的大型預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法模型。雖然大模型已經(jīng)取得了一些驚人的進展，但它還不符合通用人工智能的要求。1.4.2大模型與通用人工智能（1）大模型在處理任務(wù)方面的能力有限。它還只能處理文本領(lǐng)域的任務(wù)，無法與物理和社會環(huán)境進行互動。這意味著像ChatGPT這樣的模型不能真正“理