大語(yǔ)言模型通識(shí)微課課件：智能體和環(huán)境

大語(yǔ)言模型通識(shí)微課

智能體和環(huán)境智能體是人工智能領(lǐng)域中的一個(gè)很重要的概念，它指的是一個(gè)能自主活動(dòng)的軟件或者硬件實(shí)體。任何獨(dú)立的能夠思考并可以與環(huán)境交互的實(shí)體都可以抽象為智能體。大模型在人工智能應(yīng)用領(lǐng)域的重大突破，讓人們看到了智能體新的發(fā)展機(jī)會(huì)。像ChatGPT和GPT-4這樣的基于Transformer架構(gòu)的大模型，成為了為智能體裝備的擁有廣泛任務(wù)能力的“大腦”，從推理、規(guī)劃和決策到行動(dòng)都使智能體展現(xiàn)出前所未有的能力?；诖竽Ｐ偷闹悄荏w將廣泛深刻地影響人們生活工作的方式。微課10.1智能體和環(huán)境智能體通過(guò)傳感器感知環(huán)境并通過(guò)執(zhí)行器作用于該環(huán)境的事物。我們從檢查智能體、環(huán)境以及它們之間的耦合，觀察到某些智能體比其他智能體表現(xiàn)得更好，可以自然而然地引出理性智能體的概念，即行為盡可能好。智能體的行為取決于環(huán)境的性質(zhì)。

圖10-1智能體通過(guò)傳感器和執(zhí)行器與環(huán)境交互微課10.1智能體和環(huán)境一個(gè)人類智能體以眼睛、耳朵和其他器官作為傳感器，以手、腿、聲道等作為執(zhí)行器。而機(jī)器人智能體可能以攝像頭和紅外測(cè)距儀作為傳感器，各種電動(dòng)機(jī)作為執(zhí)行器。軟件智能體接收文件內(nèi)容、網(wǎng)絡(luò)數(shù)據(jù)包和人工輸入（鍵盤/鼠標(biāo)/觸摸屏/語(yǔ)音）作為傳感輸入，并通過(guò)寫入文件、發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包、顯示信息或生成聲音對(duì)環(huán)境進(jìn)行操作。環(huán)境可以是一切，甚至是整個(gè)宇宙。實(shí)際上，我們?cè)谠O(shè)計(jì)智能體時(shí)關(guān)心的只是宇宙中某一部分的狀態(tài)，即影響智能體感知以及受智能體動(dòng)作影響的部分。微課10.1智能體和環(huán)境智能體這一概念主要作為分析系統(tǒng)的工具。理性智能體是做正確事情的事物。人工智能通常通過(guò)結(jié)果來(lái)評(píng)估智能體的行為。當(dāng)智能體進(jìn)入環(huán)境時(shí)，它會(huì)根據(jù)接受的感知產(chǎn)生一個(gè)動(dòng)作序列，這會(huì)導(dǎo)致環(huán)境經(jīng)歷一系列的狀態(tài)。如果序列是理想的，則智能體表現(xiàn)良好，這個(gè)概念由性能度量描述，評(píng)估任何給定環(huán)境狀態(tài)的序列。10.1.1關(guān)于智能體人類有適用于自身的理性概念，它與成功選擇產(chǎn)生環(huán)境狀態(tài)序列的行動(dòng)有關(guān)，而這些環(huán)境狀態(tài)序列從人類的角度來(lái)看是可取的。但是，機(jī)器沒有自己的欲望和偏好，至少在最初，性能度量是在機(jī)器設(shè)計(jì)者或者機(jī)器受眾的頭腦中。一些智能體設(shè)計(jì)具有性能度量的顯式表示，而在其他設(shè)計(jì)中，性能度量完全是隱式的，智能體可能會(huì)做正確的事情，但它不知道為什么。應(yīng)該確?！笆┮詸C(jī)器的目的是我們真正想要的”，但是正確地制定性能度量可能非常困難。例如，考慮真空吸塵器智能體，我們可能會(huì)用單個(gè)8小時(shí)班次中清理的灰塵量來(lái)度量其性能。然而，一個(gè)理性的智能體可以通過(guò)清理灰塵，然后將其全部?jī)A倒在地板上，然后再次清理，如此反復(fù)，從而最大化這一性能度量值。更合適的性能度量是獎(jiǎng)勵(lì)擁有干凈地板的智能體。例如，在每個(gè)時(shí)間步中，每個(gè)干凈方格可以獲得1分（可能會(huì)對(duì)耗電和產(chǎn)生的噪聲進(jìn)行懲罰）。作為一般規(guī)則，更好的做法是根據(jù)一個(gè)人在環(huán)境中真正想要實(shí)現(xiàn)的目標(biāo)，而不是根據(jù)一個(gè)人認(rèn)為智能體應(yīng)該如何表現(xiàn)來(lái)設(shè)計(jì)性能度量。10.1.2性能度量在任何時(shí)候，理性取決于以下4方面：（1）定義成功標(biāo)準(zhǔn)的性能度量；（2）智能體對(duì)環(huán)境的先驗(yàn)知識(shí)；（3）智能體可以執(zhí)行的動(dòng)作；（4）智能體到目前為止的感知序列。于是，對(duì)理性智能體的定義是：對(duì)于每個(gè)可能的感知序列，給定感知序列提供的證據(jù)和智能體所擁有的任何先驗(yàn)知識(shí)，理性智能體應(yīng)該選擇一個(gè)期望最大化其性能度量的動(dòng)作。10.1.3理性需要區(qū)分理性和全知。全知的智能體能預(yù)知其行動(dòng)的實(shí)際結(jié)果，并據(jù)此采取行動(dòng)，但現(xiàn)實(shí)中這是不可能的，理性不等同于完美。理性使期望性能最大化，而完美使實(shí)際性能最大化。因此，對(duì)理性的定義并不需要全知，因?yàn)槔硇詻Q策只取決于迄今為止的感知序列。首先，考慮到這種缺乏信息的感知序列，過(guò)馬路是不理性的：不觀察路況就過(guò)馬路發(fā)生事故的風(fēng)險(xiǎn)太大。其次，理性智能體在上街之前應(yīng)該選擇“觀察”動(dòng)作，因?yàn)橛^察有助于最大化期望性能。采取行動(dòng)來(lái)改變未來(lái)的感知，有時(shí)被稱為信息收集，這是理性的一個(gè)重要組成部分。10.1.4全知、學(xué)習(xí)和自主理性智能體不僅要收集信息，還要盡可能多地從它所感知到的東西中學(xué)習(xí)。智能體的初始配置反映對(duì)環(huán)境的一些先驗(yàn)知識(shí)，隨著智能體獲得經(jīng)驗(yàn)，這可能會(huì)被修改和增強(qiáng)。在一些極端情況下，環(huán)境完全是先驗(yàn)已知和完全可預(yù)測(cè)的，這種情況下智能體只需要感知或?qū)W習(xí)，但這樣的智能體是脆弱的。一個(gè)理性的智能體應(yīng)該學(xué)習(xí)如何彌補(bǔ)部分或不正確的先驗(yàn)知識(shí)。實(shí)際上，很少?gòu)囊婚_始就要求智能體完全自主，除非設(shè)計(jì)者提供幫助，否則它將不得不隨機(jī)行動(dòng)。10.1.4全知、學(xué)習(xí)和自主構(gòu)建理性智能體還必須考慮任務(wù)環(huán)境，它本質(zhì)上是“問(wèn)題”，而理性智能體是其“解決方案”。首先指定任務(wù)環(huán)境，然后展示任務(wù)環(huán)境的多種形式。任務(wù)環(huán)境的性質(zhì)直接影響到智能體程序的恰當(dāng)設(shè)計(jì)。例如在討論簡(jiǎn)單真空吸塵器智能體的理性時(shí)，必須為其指定性能度量、環(huán)境以及智能體的執(zhí)行器和傳感器（PEAS）描述，這些都在任務(wù)環(huán)境的范疇下。設(shè)計(jì)智能體時(shí)，第一步始終是盡可能完整地指定任務(wù)環(huán)境。10.1.5指定任務(wù)環(huán)境人工智能中可能出現(xiàn)的任務(wù)環(huán)境范圍非常廣泛。然而，我們可以確定少量的維度，并根據(jù)這些維度對(duì)任務(wù)環(huán)境進(jìn)行分類。完全可觀測(cè)與部分可觀測(cè)：如果智能體的傳感器能讓它在每個(gè)時(shí)間點(diǎn)都能訪問(wèn)環(huán)境的完整狀態(tài)，那么就說(shuō)任務(wù)環(huán)境是完全可觀測(cè)的。單智能體與多智能體：多智能體環(huán)境中的智能體設(shè)計(jì)問(wèn)題通常與單智能體環(huán)境下有較大差異。確定性與非確定性：如果環(huán)境的下一個(gè)狀態(tài)完全由當(dāng)前狀態(tài)和智能體執(zhí)行的動(dòng)作決定，那么就說(shuō)環(huán)境是確定性的，否則是非確定性的。10.1.6任務(wù)環(huán)境的屬性回合式與序貫：在回合式任務(wù)中，智能體的經(jīng)驗(yàn)被劃分為原子式回合，每接收一個(gè)感知執(zhí)行單個(gè)動(dòng)作。下一回合不依賴于前幾回合采取的動(dòng)作?；睾鲜江h(huán)境下的智能體不需要提前思考，所以要比序貫環(huán)境簡(jiǎn)單很多。靜態(tài)與動(dòng)態(tài)：如果環(huán)境在智能體思考時(shí)發(fā)生了變化，就說(shuō)該智能體的環(huán)境是動(dòng)態(tài)的，否則是靜態(tài)的。離散與連續(xù)：這之間的區(qū)別適用于環(huán)境的狀態(tài)、處理時(shí)間的方式以及智能體的感知和動(dòng)作。例如駕駛出租車是一個(gè)連續(xù)狀態(tài)和連續(xù)時(shí)間的問(wèn)題。10.1.6任務(wù)環(huán)境的屬性已知與未知：這種區(qū)別是指智能體（或設(shè)計(jì)者）對(duì)環(huán)境“物理定律”的認(rèn)知狀態(tài)。在已知環(huán)境中，所有行動(dòng)的結(jié)果（如