大語言模型通識(shí)微課課件：強(qiáng)化學(xué)習(xí)方法

大語言模型通識(shí)

微課

強(qiáng)化學(xué)習(xí)方法通過有監(jiān)督微調(diào)，大語言模型初步具備了遵循人類指令完成各類型任務(wù)的能力。然而，由于需要大量指令和標(biāo)準(zhǔn)回復(fù)，耗費(fèi)了大量人力和時(shí)間成本。有監(jiān)督微調(diào)目標(biāo)是調(diào)整參數(shù)使模型輸出與標(biāo)準(zhǔn)答案完全相同，因此不能判斷整體輸出質(zhì)量，不能適應(yīng)自然語言多樣性，不能解決微小變化敏感性問題。強(qiáng)化學(xué)習(xí)則將模型輸出文本作為一個(gè)整體進(jìn)行考慮，其優(yōu)化目標(biāo)是使模型生成高質(zhì)量回復(fù)。此外，強(qiáng)化學(xué)習(xí)方法不依賴于人工編寫的高質(zhì)量回復(fù)，其模型根據(jù)指令生成回復(fù)，獎(jiǎng)勵(lì)模型針對(duì)所生成的回復(fù)給出質(zhì)量判斷。強(qiáng)化學(xué)習(xí)方法更適合生成式任務(wù)，也是大模型構(gòu)建中必不可少的關(guān)鍵步驟。微課9.1強(qiáng)化學(xué)習(xí)方法1997年“深藍(lán)”擊敗國(guó)際象棋世界冠軍加里·卡斯帕羅夫，僅僅20年后，阿爾法狗就超越了人類圍棋冠軍。阿爾法狗得益于對(duì)人類棋手過去數(shù)十萬場(chǎng)棋局的研究以及對(duì)團(tuán)隊(duì)中圍棋專家的知識(shí)提煉。后繼項(xiàng)目AlphaZero則是通過游戲規(guī)則自我學(xué)習(xí)，在圍棋、國(guó)際象棋和日本將棋領(lǐng)域中擊敗了包括人類和機(jī)器在內(nèi)的所有對(duì)手。與此同時(shí)，人類選手也在各種游戲中被人工智能系統(tǒng)擊敗，包括《危險(xiǎn)邊緣》、撲克以及電子游戲《刀塔2》《星際爭(zhēng)霸11》《雷神之錘3》。這些進(jìn)展顯示了強(qiáng)化學(xué)習(xí)的巨大作用。9.1.1什么是強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)讓智能體在環(huán)境里學(xué)習(xí)，每個(gè)行動(dòng)對(duì)應(yīng)于各自的獎(jiǎng)勵(lì)。智能體通過分析數(shù)據(jù)，關(guān)注不同情況下應(yīng)該做怎樣的事情。比如，智能體要學(xué)著玩一個(gè)新的游戲。強(qiáng)化學(xué)習(xí)過程可以用一個(gè)循環(huán)來表示：·智能體在游戲環(huán)境里獲得初始狀態(tài)S0（游戲的第一幀）；·在S0的基礎(chǔ)上，智能體做出第一個(gè)行動(dòng)A0（如向右走）；·環(huán)境變化，獲得新的狀態(tài)S1（A0發(fā)生后的某一幀）；·環(huán)境給出第一個(gè)獎(jiǎng)勵(lì)R1（沒死或成功：+1）。于是，這個(gè)回合輸出的就是一個(gè)由狀態(tài)、獎(jiǎng)勵(lì)和行動(dòng)組成的序列，而智能體的目標(biāo)就是讓預(yù)期累積獎(jiǎng)勵(lì)最大化。9.1.1什么是強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，強(qiáng)化學(xué)習(xí)是一種廣泛應(yīng)用于創(chuàng)建智能系統(tǒng)的模式，描述和解決智能體在與環(huán)境的交互過程中，以“試錯(cuò)”方式通過學(xué)習(xí)策略達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)問題。強(qiáng)化學(xué)習(xí)側(cè)重于在線學(xué)習(xí)并試圖在探索和利用之間保持平衡，其目標(biāo)是使智能體在復(fù)雜且不確定的環(huán)境中，只依靠對(duì)環(huán)境的感知和偶爾的獎(jiǎng)勵(lì)情況下，對(duì)某項(xiàng)任務(wù)變得精通，使獎(jiǎng)勵(lì)最大化。9.1.2強(qiáng)化學(xué)習(xí)的定義強(qiáng)化學(xué)習(xí)基本框架由智能體和環(huán)境組成，兩者不斷交互。智能體在環(huán)境中獲取某個(gè)狀態(tài)后，會(huì)根據(jù)該狀態(tài)輸出一個(gè)動(dòng)作，也稱為決策。動(dòng)作在環(huán)境中執(zhí)行，環(huán)境根據(jù)智能體采取的動(dòng)作，給出下一個(gè)狀態(tài)及當(dāng)前動(dòng)作帶來的獎(jiǎng)勵(lì)。由于強(qiáng)化學(xué)習(xí)涉及的知識(shí)面廣，尤其是涵蓋了諸多數(shù)學(xué)知識(shí)，更需要對(duì)強(qiáng)化學(xué)習(xí)有系統(tǒng)性的梳理與認(rèn)識(shí)。強(qiáng)化學(xué)習(xí)討論信息論、博弈論、自動(dòng)控制等領(lǐng)域，解釋有限理性條件下的平衡態(tài)、設(shè)計(jì)推薦系統(tǒng)和機(jī)器人交互系統(tǒng)。一些復(fù)雜的強(qiáng)化學(xué)習(xí)算法在一定程度上具備解決復(fù)雜問題的通用智能，可以在圍棋和電子游戲中達(dá)到人類水平。9.1.2強(qiáng)化學(xué)習(xí)的定義從嚴(yán)格意義上說，阿爾法狗程序的成功用到了人工智能、機(jī)器學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)，但用得更多的還是深度強(qiáng)化學(xué)習(xí)。所謂深度強(qiáng)化學(xué)習(xí)，是在強(qiáng)化學(xué)習(xí)里加入深度神經(jīng)網(wǎng)絡(luò)。例如，Q學(xué)習(xí)是利用一個(gè)傳統(tǒng)算法創(chuàng)建Q表，幫助智能體找到下一步要采取的行動(dòng)；而DQN是利用深度神經(jīng)網(wǎng)絡(luò)來近似Q值。強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)的共同點(diǎn)是兩者都需要大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練，但兩者的學(xué)習(xí)方式不相同，所需的數(shù)據(jù)類型也有差異。監(jiān)督學(xué)習(xí)需要多樣化的標(biāo)簽數(shù)據(jù)，強(qiáng)化學(xué)習(xí)則需要帶有回報(bào)的交互數(shù)據(jù)。9.1.3與無監(jiān)督和監(jiān)督學(xué)習(xí)的區(qū)別與監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的最大不同是，強(qiáng)化學(xué)習(xí)里并沒有給定的一組數(shù)據(jù)供智能體學(xué)習(xí)。強(qiáng)化學(xué)習(xí)中的智能體要在變化的環(huán)境里做出一系列動(dòng)作的決策，結(jié)合起來就是策略。強(qiáng)化學(xué)習(xí)就是通過不斷試錯(cuò)更新策略的過程。強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)不同之處體現(xiàn)在以下5個(gè)方面。（1）沒有監(jiān)督者，只有獎(jiǎng)勵(lì)信號(hào)。智能體不能夠馬上獲得監(jiān)督信號(hào)，只是從環(huán)境的反饋中獲得獎(jiǎng)勵(lì)信號(hào)。（2）反饋延遲。有時(shí)候需要完成一連串動(dòng)作，甚至是完成整個(gè)任務(wù)后才能獲得獎(jiǎng)勵(lì)。9.1.3與無監(jiān)督和監(jiān)督學(xué)習(xí)的區(qū)別（3）試錯(cuò)學(xué)習(xí)。智能體要與環(huán)境不斷交互，通過試錯(cuò)來獲得最優(yōu)策略。（4）智能體的動(dòng)作會(huì)影響其后續(xù)數(shù)據(jù)。智能體選擇不同動(dòng)作會(huì)進(jìn)入不同的狀態(tài)，下一個(gè)時(shí)間步獲得狀態(tài)變化，環(huán)境的反饋也會(huì)隨之發(fā)生變化。（5）時(shí)間序列很重要。強(qiáng)化學(xué)習(xí)更加注重輸入數(shù)據(jù)的序列性，下一個(gè)時(shí)間步t

的輸入依賴于前一個(gè)時(shí)間步t-1的狀態(tài)。9.1.3與無監(jiān)督和監(jiān)督學(xué)習(xí)的區(qū)別強(qiáng)化學(xué)習(xí)在大模型上的重要作用可以概括為以下幾個(gè)方面。（1）相較于有監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)更有可能考慮整體影響。強(qiáng)化學(xué)習(xí)針對(duì)整個(gè)輸出文本進(jìn)行反饋，并不針對(duì)特定詞元，使強(qiáng)化學(xué)習(xí)更適合大模型，既可以兼顧表達(dá)多樣性，又可以增強(qiáng)對(duì)微小變化的敏感性。自然語言十分靈活，可以用多種不同的方式表達(dá)相同的語義。強(qiáng)化學(xué)習(xí)可以允許模型給出不同的表達(dá)。另外，強(qiáng)化學(xué)習(xí)可以通過獎(jiǎng)勵(lì)函數(shù)同時(shí)兼顧多樣性和微小變化敏感性兩個(gè)方面。9.1.4大模型環(huán)境下的強(qiáng)化學(xué)習(xí)（2）強(qiáng)化學(xué)習(xí)更容易解決幻覺問題。在模型并不包含或者不知道答案的情況下，有監(jiān)督訓(xùn)練仍然會(huì)促使模型給出答案。而使用強(qiáng)化學(xué)習(xí)方法，可以通過定制獎(jiǎng)勵(lì)函數(shù)，將正確答案賦予非常高的分?jǐn)?shù)，使模型學(xué)會(huì)依賴內(nèi)部知識(shí)選擇放棄回答，從而在一定程度上緩解模型的幻覺問題。（3）強(qiáng)化學(xué)習(xí)可以更好地解決多輪對(duì)話獎(jiǎng)勵(lì)累積問題。多輪對(duì)話是否達(dá)成最終目標(biāo)，需要考慮多次交互過程的整體情況，因此很難使用有監(jiān)督學(xué)習(xí)的方法構(gòu)建。而使用強(qiáng)化學(xué)習(xí)方法，可以通過構(gòu)建獎(jiǎng)勵(lì)函數(shù)，根據(jù)整個(gè)對(duì)話的背景及連貫性對(duì)當(dāng)前模型輸出的優(yōu)劣進(jìn)行判斷。9.1.4大模型環(huán)境下的強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)的一般方法與傳統(tǒng)機(jī)器學(xué)習(xí)中監(jiān)督學(xué)習(xí)的一般方法相比少了特征工程，從而大大降低了業(yè)務(wù)領(lǐng)域門檻與人力成本。強(qiáng)化學(xué)習(xí)不需要依賴先驗(yàn)知識(shí)數(shù)據(jù)。例如線上游戲，越來越多的用戶使用移動(dòng)終端進(jìn)行游戲，使數(shù)據(jù)的獲取來源更為廣泛。強(qiáng)化學(xué)習(xí)通過自我博弈方式產(chǎn)生更多的標(biāo)準(zhǔn)數(shù)據(jù)，它可以利用較少的訓(xùn)練信息，讓系統(tǒng)不斷地自主學(xué)習(xí)，自我補(bǔ)充更多的信息，進(jìn)而免受監(jiān)督者的限制。9.1.5先驗(yàn)知識(shí)與標(biāo)注數(shù)據(jù)另外，可以使用遷移學(xué)習(xí)來減少標(biāo)注數(shù)據(jù)的數(shù)量。遷移學(xué)習(xí)是