賽迪顧問IT新語第一期：AI技術(shù)新風(fēng)向：HITL 讓人的意志成為AI訓(xùn)練的關(guān)鍵因素

2023年7月15日第2023年7月15日第1期總第1期"人機(jī)協(xié)同"饋思雛創(chuàng)造世界HITL(Human-in-the-Loop),中文稱之為“人在回路”,是一種機(jī)器獲取應(yīng)用發(fā)展背景l(fā)earning),機(jī)器提出請求讓人類幫助標(biāo)注疑難數(shù)據(jù)；第二階段是交互學(xué)習(xí)(Interactivemachinelearning),人類可以對推理結(jié)果干預(yù)并反饋；第三階段是機(jī)器教學(xué)(Machineteaching),人類利用專業(yè)知識和經(jīng)驗對AI進(jìn)行指導(dǎo)。2017年人類反饋的強(qiáng)化學(xué)習(xí)(ReinforcementLearningfromhumanFeedback)的提出正是基于機(jī)器教學(xué)的理念。BurrSettles系統(tǒng)性地微軟提出機(jī)器教學(xué)OpenAI研究發(fā)布微軟聯(lián)合MIT提出ChatGPT使用了HITL目前，HITL技術(shù)尚未形成較為成熟的應(yīng)用，一些科技型企業(yè)推出HITL平臺為使用者提供交互界面，用戶可以在平臺上完成標(biāo)簽數(shù)據(jù)、復(fù)核機(jī)器生成結(jié)果等，例如谷歌、亞馬遜等科技企業(yè)推出的GoogleCloudHITL、AmazonA2I等。但是用戶無法對標(biāo)準(zhǔn)化組件進(jìn)行更改或?qū)τ?xùn)練全流程進(jìn)行反饋。技術(shù)層面，RLHF技術(shù)的出現(xiàn)使得人類能夠參與到機(jī)器訓(xùn)練的過程中，而不僅停留在數(shù)據(jù)標(biāo)簽層面，RLHF技術(shù)也成為HITL重要研究路線。22GCID賽迪顧問HITL的顛覆性影響HITL使得機(jī)器決策更加準(zhǔn)確、智能。因為HITL是一個循環(huán)的反饋過程，在此過程中，人類的洞察力幫助調(diào)整和測試模型，每一個有關(guān)訓(xùn)練、測試或調(diào)整的反饋都能夠作用于AI系統(tǒng)，連續(xù)的反饋循環(huán)使得算法不斷優(yōu)化，做出更加準(zhǔn)確、智能化的決策。另外，因為機(jī)器可以接收多輪人類反饋，并識別特定的單詞或短語語氣等，HITL系統(tǒng)對事物和情感的分析能力將在循環(huán)反饋過程中逐漸提升，不斷優(yōu)化HITL系統(tǒng)的決策生成。HITL有效提升人工智能決策過程透明度。HITL系統(tǒng)能夠改進(jìn)決策過程，使決策過程可解釋、可問責(zé)，從而提高決策的透明度。未來，HITL系統(tǒng)可以實現(xiàn)人類反饋后的變化可視化，可以快速判斷決策結(jié)果改變是由哪一環(huán)節(jié)的反饋產(chǎn)生的。這讓人類可以更充分理解機(jī)器學(xué)習(xí)的工作原理，實現(xiàn)機(jī)器決策原因的可追溯、可解釋、可問責(zé)，進(jìn)而改善機(jī)器的決策過程。同時，因為HITL系統(tǒng)包含多輪人類反饋，這可以在更大程度上避免機(jī)器學(xué)習(xí)產(chǎn)生錯誤和偏見。3HITL新理念的應(yīng)用場景產(chǎn)生更強(qiáng)帶動作用。傳統(tǒng)訓(xùn)練的模式由于缺乏人類參與，導(dǎo)致機(jī)器決策難以滿足預(yù)期，生成內(nèi)容難以還原人類真實意愿，限制人工智能在此類應(yīng)用場景的快速發(fā)展。HITL的方式將有效提升機(jī)器認(rèn)知水平，帶動市場發(fā)展。HITL技術(shù)對AI應(yīng)用的帶動作用及影響HITL對應(yīng)用帶動作用預(yù)計產(chǎn)生的影響%%%%%%%%%%自動駕駛機(jī)器可在人類駕駛過程中習(xí)得如何處理復(fù)雜的道路環(huán)境智能調(diào)度在交通、工廠等復(fù)雜場景中，管理者需要符合環(huán)境的科學(xué)調(diào)度，HITL可以通過與管理者交互提升施策水平HITL可以幫助機(jī)器更好適應(yīng)不同家庭環(huán)境，從而以更低成本提供個性化服務(wù)HITL會在與投資者交互過程中習(xí)得其偏好習(xí)慣，并在投顧決策后通過反饋不斷調(diào)整機(jī)器可以根據(jù)客戶反饋，進(jìn)行持續(xù)自主學(xué)習(xí)，增強(qiáng)客服滿意度機(jī)器理解人類自然語言后能夠理解人類編程目標(biāo)，從而自動生成符合人類意愿的代碼機(jī)器面對不確定的內(nèi)容生成時，可自主尋求人類的引導(dǎo)和幫助，從而大幅提升內(nèi)容質(zhì)量和可用性第1期總第1期技術(shù)發(fā)展面臨的挑戰(zhàn)人與機(jī)器的協(xié)同更需要人類提供信息的準(zhǔn)確性和匹配性。一方面，人類反饋具有主觀性，人類判斷事物難以保持100%的準(zhǔn)確率，任何有人類的系統(tǒng)都有發(fā)生錯誤的風(fēng)險，這可能會對系統(tǒng)的有效性產(chǎn)生重大影響，如果人類在標(biāo)記數(shù)據(jù)時出現(xiàn)錯誤，那么同樣的錯誤將在整個系統(tǒng)中傳播，保證人類反饋的準(zhǔn)確性顯得尤為重要。另一方面，正確判斷機(jī)器模型需要哪些反饋，引導(dǎo)用戶提供有用的反饋，并將模型在用戶反饋中學(xué)習(xí)后的變化可視化是保證HITL可持續(xù)發(fā)展的重點。人機(jī)協(xié)同應(yīng)用需要逐步提升處理速度，降低維護(hù)成本。HITL需要人類在機(jī)器訓(xùn)練的不同階段中進(jìn)行反饋，在應(yīng)用初期，人類參與決策過程，HITL系統(tǒng)處理速度相對較慢，隨著HITL的應(yīng)用普及，如何縮短人類反饋時間、提高人機(jī)協(xié)同的交互效率、提升系統(tǒng)整體的處理速度是HITL發(fā)展難點。另外，HITL系統(tǒng)的構(gòu)建和維護(hù)成本較高，包含大量的開發(fā)成本，且在前期用戶量較少的情況下，仍需大量維護(hù)費(fèi)用，逐步降低維護(hù)成本有助于實現(xiàn)HITL的應(yīng)用滲透。5未來展望人類和計算機(jī)結(jié)合起來，形成了一種新的智能體系結(jié)構(gòu)，人類可以直接參與到智能體的訓(xùn)練中，提供實時反饋，指導(dǎo)智能體的學(xué)習(xí)過程，或者直接控制智能體的行為。例如，在自動駕駛汽車的開發(fā)中，人類可以在機(jī)器無法確定的情況下協(xié)助判斷，或通過人類操控來指導(dǎo)汽車的行駛，或通過語音命令來控制汽車的行為；在機(jī)器翻譯中，人類可以提供翻譯的正確性反饋，以幫助機(jī)器學(xué)習(xí)模型更準(zhǔn)確地翻譯文本。人機(jī)協(xié)同充分利用人類的智慧和機(jī)器的計算能力，實現(xiàn)更高效、更準(zhǔn)確、更可靠的決策和操作，為人工智能的實際落地應(yīng)用提供安全與便利，推動人工智能應(yīng)用場景拓展。HITL理念將更好地實現(xiàn)“過程管理”,突破現(xiàn)有AI算法的能力邊界。隨著人工智能算法日趨復(fù)雜，傳統(tǒng)“結(jié)果管理”的人工智能訓(xùn)練模式難以提供高置信度保障，而HITL理念是通過在不同階段訓(xùn)練的過程中進(jìn)行反饋，可以更好地實現(xiàn)