chatgpt原理、應(yīng)用與提示技巧

ChatGPT原理與應(yīng)用分享2023年5月ChatGPT原理簡介ChatGPT的局限性ChatGPT多維應(yīng)用提示技巧01ChatGPT是什么ChatGPTChatGPT是一款由OpenAI公司開發(fā)的基于GPT架構(gòu)的與AI聊天的產(chǎn)品。GPT(GenerativePretrainedTransformer)是一種大語言模型(LargeLanguageModel)，其核心為Transformer模型。通過在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)語言模式、知識、推理等能力。然后，通過在特定為什么GPT令人興奮？因為他真的好像能理解人說的話了。從“人工智障”邁出了一大步。01為什么ChatGPT能引起如此大的轟動-強(qiáng)大的泛化能力，通用人工智能的曙光ChatGPT具備了理解上下文、連貫性等諸多先進(jìn)特征，解鎖了海量應(yīng)用場景?？蓪崿F(xiàn)連續(xù)對話，PT予相關(guān)建議。意圖01為什么傳統(tǒng)AI泛化能力弱？ 01為什么是大語言模型，與傳統(tǒng)AI的區(qū)別？ 01GPT的核心技術(shù)-Transformer：?通過自注意機(jī)制(Self-AttentionMechanism)，Transformer可以有效地處理長距離依賴，也就是說，有其他詞的上下文信息。01GPT實際上在做文字接龍游戲-transformer是如何工作的AIAI本質(zhì)上是一個概率問題GPT實際的處理步驟：的位置。?將以上信息“向量化”，作為大模型“函數(shù)”的輸入?yún)?shù)。的詞匯，并進(jìn)行回復(fù)。重復(fù)上述步驟，直到最高概率的詞匯是01大模型為何能做到文字接龍？--大語言模型之“大”與參數(shù)：與參數(shù)：GPT-3為例，其訓(xùn)練數(shù)據(jù)源為互聯(lián)網(wǎng)的各種精選，規(guī)模達(dá)到了45TB，相當(dāng)于閱讀了一億本書。用于捕捉數(shù)據(jù)中的規(guī)律和特征。通常，宣稱擁有百億、千億級別參數(shù)的大型模型，指的都是其參文的基本能力回答質(zhì)量。01參數(shù)的“涌現(xiàn)效應(yīng)”-只有參數(shù)足夠多，才能量變引起質(zhì)變處理其他多類型任務(wù)時的表現(xiàn)如果要求大模型根據(jù)emoji猜電影名稱，如代處理其他多類型任務(wù)時的表現(xiàn)級01參數(shù)的“涌現(xiàn)效應(yīng)”-WHY無法理解或執(zhí)行所有步驟，導(dǎo)致最終結(jié)果不正確，達(dá)到千億級參數(shù)時，其解決問題的全鏈路能力已經(jīng)足夠。人們以最終結(jié)果的正誤作為評判標(biāo)準(zhǔn)，導(dǎo)致認(rèn)為是一種“涌現(xiàn)”。大腦容量X01大模型練習(xí)生GPT的訓(xùn)練之路2018(15億參數(shù))01大模型練習(xí)生GPT的訓(xùn)練之路2018(15億參數(shù))甚至可以生成假新聞、釣魚郵件或在線進(jìn)行角2019(1.17億參數(shù))有一定的泛化能力，能夠用2020InstructGPT是一個經(jīng)過微調(diào)的新版GPT-3，可以將有害的、不真實的和有偏差的輸(1750億參數(shù))：類敘事、創(chuàng)作定制詩歌、生成游戲2022.012022.12ChatGPT是InstructGPT的衍生產(chǎn)品，它將人類的反饋2023.0302GPT的幾個局限性得益于自注意力機(jī)制(self-attention)，ChatGPT具GPT-3.5模型僅支持向前追溯4096個tokens用于回復(fù)的參考。更糟糕的是，這4096個tokens還包括ChatGPT之前回復(fù)用戶的部分！這使得其捉襟見肘的記憶更加難堪，堪稱電子金魚。03ChatGPT的多維應(yīng)用：依靠電腦的重復(fù)勞動都會消失聊天能力主要指以下幾類產(chǎn)品：103ChatGPT的多維應(yīng)用：依靠電腦的重復(fù)勞動都會消失聊天能力主要指以下幾類產(chǎn)品：1.ChatGPT本體2.套殼產(chǎn)品3.特定場景的聊天機(jī)器人基于補(bǔ)充的知識庫，如智能客服、房產(chǎn)經(jīng)紀(jì)人助手。日常應(yīng)用頻率?問題需要使用者具備一定基本的判斷力。文1.2.文1.2.3.本能力要指以下幾類用法：寫代碼片段提數(shù)SQL提供EXCEL公式等1.應(yīng)用頻率?極大提升使用EXCEL的效率及效果。只要描述清自己的需求，EXCEL公式直接奉上。03ChatGPT的多維應(yīng)用語言能力主要指以下幾類用法：1.文章提煉總結(jié)2.文章改寫3.依據(jù)大綱擴(kuò)寫4.情緒分析優(yōu)點(diǎn)：1.識別文章要點(diǎn)較強(qiáng)。2.可用于文章初潤色缺點(diǎn)：1.不能總結(jié)超長文本(上限為4096tokens)2.長文本擴(kuò)寫質(zhì)量很差，只能生成口水文03ChatGPT的多維應(yīng)用推理能力主要指以下幾類用法：1.語義識別，驅(qū)動業(yè)務(wù)流2.串聯(lián)業(yè)務(wù)場景中的通用數(shù)據(jù)，自動化任務(wù)流日常應(yīng)用頻率?優(yōu)點(diǎn)：1.潛力很高缺點(diǎn)：1.缺少行業(yè)知識04提升輸出效果的三種核心做法調(diào)優(yōu)方法優(yōu)勢缺點(diǎn)提示詞優(yōu)化提升效果明顯成本極低占用token多，影響上下文關(guān)聯(lián)長度embedding擴(kuò)展GPT知識調(diào)優(yōu)成本較低GPT并非真的理解了相關(guān)的內(nèi)容，而是在遇到相關(guān)問題時，能夠基于給定的知識庫回答。微調(diào)技術(shù)成本較高，需要大量的“問答對”，訓(xùn)練過程非常消耗token。提示詞優(yōu)化：通過探索找到最優(yōu)提示詞模板，預(yù)留特定槽位以供用戶輸入。僅通過提示詞優(yōu)化就能實現(xiàn)廣泛功能，許多基于GPT的產(chǎn)品，其底層就是基于特定提示詞的包裝。好的提示詞需包含角色、背景、GPT需執(zhí)行的任務(wù)、輸出標(biāo)準(zhǔn)等。根據(jù)業(yè)界的研究，好的提示詞能使GPT3.5結(jié)果的可用性由30%飆升至80%以上。提示詞優(yōu)化毫無疑問是這三種方法中最重要的。04GPT用于產(chǎn)品個體的提示技巧使用GPT提示應(yīng)當(dāng)遵循的原則：①給GPT賦予一個角色②提示清晰：對問題的準(zhǔn)確描述③提供案例：如果要求GPT以某種形式進(jìn)行輸出，給其提供相應(yīng)的案例。④告知思考步驟：在已經(jīng)明確一個問題應(yīng)當(dāng)如何解決的前提下，告知其思考步驟，可以提升輸出的質(zhì)量，節(jié)省寶貴的自己實施的時間。⑤指定交付的格式：如要求在100字內(nèi)總結(jié)，要求以json輸出，要求以excel輸出，要求以markdown輸出等。最后：沒有完美的prompt，如果結(jié)果不滿意，就再去試，你覺得缺什么就補(bǔ)什么。04GPT用于方案設(shè)計的理念-用法1-AIGC通過提示詞設(shè)計，讓chatgpt能夠產(chǎn)出有質(zhì)量的文案。要點(diǎn)：需要設(shè)計實驗機(jī)制，逐步提升GPT的輸出質(zhì)量。04GPT用于方案設(shè)計的理念-用法2-對話式系統(tǒng)操作，如windows幾個關(guān)鍵的思考點(diǎn)：1.用于系統(tǒng)設(shè)計04GPT用于方案設(shè)計的理念-用法2-對話