大語言模型通識微課課件：構(gòu)建大模型智能體

大語言模型通識微課

構(gòu)建大模型智能體盡管能力出色，但大模型還只是被動的工具，它們依賴簡單的執(zhí)行過程，無法直接當(dāng)智能體使用。智能體機(jī)制具有主動性，特別是在與環(huán)境的交互、主動決策和執(zhí)行各種任務(wù)方面。另外智能體通過挖掘大模型的潛在優(yōu)勢，可以進(jìn)一步增強(qiáng)決策制定，特別是使用人工、環(huán)境或模型來提供反饋，使得智能體可以具備更深思熟慮和自適應(yīng)的問題解決機(jī)制，超越大模型現(xiàn)有技術(shù)的局限?？梢哉f，智能體是真正釋放大模型潛能的關(guān)鍵，它能為大模型核心提供強(qiáng)大的行動能力；而另一方面，大模型能提供智能體所需要的強(qiáng)大引擎?？梢哉f，大模型和智能體可以相互成就。微課10.2構(gòu)建大模型智能體智能體根據(jù)設(shè)定的目標(biāo)，確定好需要履行特定角色，自主觀測感知環(huán)境，根據(jù)獲得的環(huán)境狀態(tài)信息，檢索歷史記憶以及相關(guān)知識，通過推理規(guī)劃分解任務(wù)并確定行動策略，并反饋?zhàn)饔糜诃h(huán)境，以達(dá)成目標(biāo)。在這個過程中，智能體持續(xù)學(xué)習(xí)，以像人類一樣不斷進(jìn)化?；诖竽Ｐ蛠順?gòu)建一個智能體，能充分地利用大模型的各種能力，驅(qū)動不同的組成單元。

圖10-4基于大模型的智能體應(yīng)用微課10.2構(gòu)建大模型智能體智能體本身包括觀測感知、記憶檢索、推理規(guī)劃和行動執(zhí)行等模塊。它呈現(xiàn)強(qiáng)大能力的關(guān)鍵在于系統(tǒng)形成反饋閉環(huán)，使得智能體可以持續(xù)地迭代學(xué)習(xí)，不斷地獲得新知識和能力。反饋除了來自環(huán)境外，還可以來自人類和語言模型。智能體不斷積累必要的經(jīng)驗(yàn)來增強(qiáng)改進(jìn)自己，以顯著提高規(guī)劃能力并產(chǎn)生新的行為，以越來越適應(yīng)環(huán)境并符合常識，更加完滿地完成任務(wù)。在執(zhí)行任務(wù)過程中的不同階段，基于大模型的智能體通過提示等方式與大模型交互獲得必要的資源和相關(guān)結(jié)果。微課10.2構(gòu)建大模型智能體基于大模型的智能體觀測并感知環(huán)境及其動態(tài)變化；獲取不同來源的環(huán)境數(shù)據(jù)，往往包括以多模態(tài)的形式呈現(xiàn)的文本、語音或視覺等，并經(jīng)過處理作為觀測到的環(huán)境信息。智能體記憶其中的部分信息，并從中檢索獲得歷史序列，結(jié)合內(nèi)置的知識，作為其規(guī)劃形成行動決策的依據(jù)。（1）感知空間：用戶可以通過自然語言和智能體交流，也可以作為交流媒介與其他智能體交流，實(shí)現(xiàn)個性化和環(huán)境目標(biāo)泛化。（2）可觀察性：智能體是否可以充分地觀測感知到與規(guī)劃決策相關(guān)的環(huán)境信息，并從獲得的歷史信息中了解到環(huán)境的相關(guān)狀態(tài)。10.2.1觀測與感知記憶檢索模塊可以為智能體內(nèi)置相關(guān)知識，同時也存儲智能體的經(jīng)驗(yàn)，包括環(huán)境狀態(tài)和行動的歷史信息，檢索記憶的知識和經(jīng)驗(yàn)來規(guī)劃未來的行動。記憶檢索模塊幫助智能體持續(xù)學(xué)習(xí)，不斷進(jìn)化，并以更一致、合理和有效的方式行動。（1）歷史記憶。通過記憶模塊，基于大模型的智能體可以模擬認(rèn)知科學(xué)研究了解的人類記憶過程原則和機(jī)制。人類記憶遵循從感覺記憶（記錄知覺輸入）、到短期記憶（短暫維持信息）、再到長期記憶（長時間內(nèi)鞏固信息）的進(jìn)程。10.2.2記憶與檢索（2）知識記憶。根據(jù)其應(yīng)用場景，智能體往往內(nèi)置一定的知識，主要包括語言、常識、領(lǐng)域等。（3）記憶存儲?？梢酝ㄟ^以自然語言或者嵌入等方式來實(shí)現(xiàn)記憶存儲。根據(jù)不同的應(yīng)用場景，采用適當(dāng)?shù)臄?shù)據(jù)結(jié)構(gòu)的記憶方式，提高記憶效率。（4）記憶管理。根據(jù)需要利用大模型將存儲在記憶中的過去經(jīng)驗(yàn)總結(jié)簡化成更廣泛和更抽象見解的能力，以便以后更加有效快捷檢索記憶。（5）記憶檢索。從記憶中快速地檢索最合適的內(nèi)容，確保了智能體可以訪問相關(guān)準(zhǔn)確的信息以執(zhí)行特定的操作。10.2.2記憶與檢索推理和規(guī)劃對于智能體處理復(fù)雜任務(wù)至關(guān)重要。它給智能體賦予一種結(jié)構(gòu)化的思考過程，即組織思維、設(shè)定目標(biāo)，并確定實(shí)現(xiàn)這些目標(biāo)的步驟。比如，通過推理規(guī)劃，智能體將復(fù)雜的任務(wù)拆分為更易管理的子任務(wù)，并為每個子任務(wù)的完成制定適當(dāng)?shù)挠媱?。?guī)化的結(jié)果是形成行動策略，即智能體執(zhí)行行動的方法。這些策略可能是回憶經(jīng)驗(yàn)、多輪互動、反饋調(diào)整和融入外部工具。推理和規(guī)劃包括目標(biāo)確認(rèn)、任務(wù)分解、規(guī)劃反思、規(guī)劃工具等內(nèi)容。10.2.3推理和規(guī)劃智能體的執(zhí)行任務(wù)的過程中，推理規(guī)劃確定行動策略，動作執(zhí)行模塊接收相應(yīng)的行動序列，并執(zhí)行與環(huán)境互動相關(guān)的操作，分步將行動策略強(qiáng)加到環(huán)境，實(shí)現(xiàn)該任務(wù)的目標(biāo)。在策略執(zhí)行中，智能體可能通過將任務(wù)分解成許多子任務(wù)來制定行動計劃。（1）語言文本?？梢酝ㄟ^大模型的語言生成能力輸出作為行動執(zhí)行指令來驅(qū)動影響環(huán)境，而無須借助外部工具。輸出結(jié)果包括推理規(guī)劃能力、對話交流能力、獲取知識能力、場景理解能力，這些能力進(jìn)而驅(qū)動智能體本身的行動執(zhí)行器或其他外部環(huán)境的智能體相關(guān)的行動。10.2.4行動和執(zhí)行（2）工具使用。通過引入工具擴(kuò)展行動執(zhí)行能力，使其更有能力應(yīng)對專業(yè)或復(fù)雜的任務(wù)。這些工具包括API、知識庫、視覺模型、語言模型、知識圖譜、Web信息等，可以彌補(bǔ)基于大模型的智能體存在固有限制。（3）工具生成。智能體可以根據(jù)需要創(chuàng)建可復(fù)用的滿