后GPT時代開發(fā)范式思考《硅創(chuàng)社》001期

萬物智能成本無限降低人類生產(chǎn)力與創(chuàng)造力解放TheInfinitelyLowerCostOfIntelligenceInAllThingsHumanProductivityAndCreativityEmancipatedSam山 姆 . 阿 爾 特 曼Altman實現(xiàn)管理通用人工智能AGI（

O

p

e

n

A

I

/

C

h

a

t

G

P

T

）做可控核聚變電價降到一美分3

.

7

5

億美元投H

e

l

i

o

n成立由企業(yè)家組成的超級組織改善資本主義經(jīng)濟建立憲章城市未來的基礎(chǔ)設(shè)施測試未來的管理方式給普通人提供全民基礎(chǔ)收入幣虹膜識別，

發(fā)放Wo

r

l

d C

o

i

nAIGC-GPT-ChatGPTC

O

N

T

E

N

T目

錄一二三五四Business

ParadigmDevelopmentParadigmCopilot&PluginsFunction

Calling六七GPTAPIPrompt

Engineering實踐（創(chuàng)新工作室）1.Business

Paradigm商業(yè)范式硅創(chuàng)社AICG-應(yīng)用應(yīng)用5范式：2層應(yīng)用3層模型應(yīng)用程序操作系統(tǒng)&API超本地化AI模型特定AI模型通用AI模型這一層是人類和機器協(xié)作的界面。這些是工作流程工具，使人工智能模型能夠以使商業(yè)客戶或消費者娛樂的方式獲得。這一層簡化了應(yīng)用程序和工作流程的互操作性。它有助于跟蹤身份、支付、法律問題、服務(wù)條款、存儲等。它幫助應(yīng)用程序開發(fā)人員更快地嘗試更多的功能，并使它們更快地運行。可以用《自然》的風(fēng)格寫一篇科學(xué)文章、可以創(chuàng)建適合特定人審美的室內(nèi)設(shè)計模型、撰寫的特殊風(fēng)格來寫代碼、可以完全按照某家公司的風(fēng)格進行燈光和陰影處理。這個模型是在本地、典型的專有數(shù)據(jù)上訓(xùn)練的。如編寫推文、廣告文案、歌詞，或生成電子商務(wù)照片、3D

室內(nèi)設(shè)計圖像等。這些模型是在范圍更窄、更專業(yè)的數(shù)據(jù)上訓(xùn)練出來的，這應(yīng)該能讓它們在特定的場景里勝過一般模型。類似GPT3的文本，DALL-E2的圖像，Whisper

的語音，或Stable

Difusion·這些模型處理廣泛類別的輸出：文本、圖象、視頻、語音、游戲。它們將是開源的、易于使用的，并且擅長上述所有的事情。硅創(chuàng)社AICG-應(yīng)用ChatPPT=Chat+

PPT深度語義分析結(jié)構(gòu)化全文創(chuàng)建對話式PPT創(chuàng)作AI版式設(shè)計ChatPPT周澤安依賴自研語義模型-Wernicke，能識別用戶輸入的內(nèi)容行進語義分析并實時創(chuàng)建符合用戶訴求的PPT內(nèi)容，讓PPT內(nèi)容創(chuàng)作更簡單更高效。Cha

t

P

P

T

是必優(yōu)科技旗下A

I

動效產(chǎn)品「Motion

Go」的全國首個“

語義命令式”PPT內(nèi)容創(chuàng)作功能。應(yīng)用層（軟）硅創(chuàng)社ChatMan

=

Chat

+

數(shù)字人（林沂蒙）ChatH-BOXChat

H-Box是極客灣（蘇州）科技旗下數(shù)字孿生產(chǎn)品，可以實現(xiàn)真人與數(shù)字人互動、24小時廣告輪播、定制內(nèi)容投放、景點打卡、公司宣傳欄指引等功能。依賴數(shù)字人技術(shù)、數(shù)字孿生技術(shù)、全息投影技術(shù)等生成。全息超寫真準實時建模數(shù)字人1：1復(fù)刻遠程投影AICG-應(yīng)用應(yīng)用層（硬）硅創(chuàng)社AICG-應(yīng)用ChatCRM

=

Chat

+

CRM（卞堉榕）ChatCRM蘇州馨璞信息科技有限公司AI+社會化營銷

=

精準營銷應(yīng)用層（反例）硅創(chuàng)社AICG-應(yīng)用ChatU=Chat+

UI即插即用自行設(shè)定無縫對接管理方便ChatU劉海峰全球領(lǐng)先的AIGC企業(yè)級產(chǎn)品，打造多引擎的AIGC操作系統(tǒng)。通過?鍵接入，AI多引擎驅(qū)動，

快速實現(xiàn)多行業(yè)，

多場景AI應(yīng)?。分步開源計劃：

涵蓋前端、中臺和后端，

為開發(fā)者提供更廣泛、優(yōu)秀的工具和資源。全模態(tài)AI產(chǎn)品：

包括文本，

圖像，

音頻(

語音&

音樂)，

視頻(

高寫實，2D&3D，動畫，實時)。API層（軟）硅創(chuàng)社AICG-應(yīng)用ChatBox

=

Chat

+

音箱（羅聰）ChatBox ChatBox是蝌蚪文數(shù)字科技旗下基于人工智能的語音對話智能音箱。識別用戶的語音，根據(jù)語義做情景回答。根據(jù)用戶命令式語義，執(zhí)行擴展物聯(lián)相關(guān)操作。TTSSTTChatGPTAPI層（硬）ChatWriting

=

Chat

+

寫作（湯倩）輔助老師批改作文對話式引導(dǎo)學(xué)生創(chuàng)作學(xué)性和邏輯性，達到美與理的統(tǒng)一。ChatWritingChatWriting是立信科技旗下中小學(xué)寫作智能批改工具，是全國首個以“語義命令式”輔助完成學(xué)生寫作批改與引導(dǎo)學(xué)生內(nèi)容創(chuàng)作工具。依賴自研語義模型-davinci，能識別用戶輸入的內(nèi)容行進語義分析并實時引導(dǎo)中小學(xué)生開拓寫作思路，從而讓孩子們的寫作兼具文超本地化AI模型硅創(chuàng)社AICG-應(yīng)用BloombergGPT

（彭博社）特定在金融領(lǐng)域任務(wù)上，BloombergGPT綜合表現(xiàn)最好；在通用任務(wù)上，BloombergGPT的綜合得分優(yōu)于相同參數(shù)量級的其他模型，并且在某些任務(wù)上的得分要高于參數(shù)量更大的模型。這說明，開發(fā)金融專用的大語言模型在金融領(lǐng)域取得好效果的同時，并沒有以犧牲模型通用能力為代價。這一結(jié)論也可以給我們一個啟示，在其他特定領(lǐng)域，我們也可以開發(fā)專用的大語言模型。金 融醫(yī) 療教 育AI模型硅創(chuàng)社AICG-應(yīng)用微調(diào)大語言模型（LLM）列表來自綜述論文<List

of

Open

Sourced

Fine-Tuned

Large

Language

Models

(LLM)>《微調(diào)大語言模（LLM）型列表》通用AI模型硅創(chuàng)社AICG-應(yīng)用2.Development

Paradigm開發(fā)范式Schillace

Laws（“semantic”AI

的思考）原則一原則二原則三原則四原則五原則六原則七原則八原則九如果模型可以，就不要寫代碼；模型會變得更好，但代碼不會。模型可以為差異化放棄準確性；準確性更多依靠與用戶的交互。代碼用于語法和過程；模型用于語義和意圖該系統(tǒng)將與其最脆的部分一樣脆弱讓聰明變得聰明不確定性是一種異常拋出文本是通用的線路協(xié)議對你來說很難，對模型來說很難當(dāng)心“意識的帕雷多利亞”;這個模型可以用來對付自己硅創(chuàng)社AICG-應(yīng)用后GPT時代：Prompt

即代碼GPT-1是第一次使用預(yù)訓(xùn)練方法來實現(xiàn)高效語言理解的訓(xùn)練GPT-2采用遷移學(xué)習(xí)技術(shù)，在多種任務(wù)中應(yīng)用預(yù)訓(xùn)練信息，提高語言理解能力DALLE是走到另外一個模態(tài)GPT-3主要注重泛化能力，few-shot

(小樣本)

的泛化;GPT-3.5instruction

following

(指令遵循)和tuning

(微調(diào))是最大突破GPT-4

已經(jīng)開始實現(xiàn)工程化2023年3月的

Plugin

是生態(tài)化（初階）GPT-1GPT-2DALL.EGPT-3GPT-3.5GPT-4PluginFunction硅創(chuàng)社AICG-應(yīng)用2023年6月的

Function

Calling

是生態(tài)化（進階）,

Prompt即代碼人機協(xié)同三范式人類與AI協(xié)同的三種模式Embedding嵌入模式Co-pilot副駕駛AI

Agents自主代理模式人類完成絕大部分工作人類和AI協(xié)作工作人類AI人類AI人類模式AI人類設(shè)立任務(wù)目標其中某(幾)個任務(wù)AI提供信息或建議人類自主結(jié)束工作人類設(shè)立任務(wù)目標其中某(幾)個流程AI完成初稿人類修改調(diào)整確認人類自主結(jié)束工作AI全權(quán)代理任務(wù)拆分工具選擇進度控制AI自主結(jié)束工作設(shè)立目標提供資源監(jiān)督結(jié)果AIAI完成絕大部分工作AIAI硅創(chuàng)社AICG-應(yīng)用常用技能CopilotAI

AgentsFine

TuneRAG/CVPPromptPluginsGPT

APIsFunction

Calling基礎(chǔ)技能專業(yè)技能硅創(chuàng)社AICG-應(yīng)用提示工程是一個較新的學(xué)科，應(yīng)用于開發(fā)和優(yōu)化提示詞（Prompt），幫助用戶有效地將語言模型用于各種應(yīng)用場景和研究領(lǐng)域。提供一堆可能可選擇的工具。在應(yīng)用時，需要結(jié)合上下文，生成動態(tài)的工具列表，以讓LLM選擇合適的工具。為

GPT

應(yīng)用提供的庫和框架，其中包含一組函數(shù)和類，可以用于執(zhí)行特定任務(wù)。主要包含了九大類的

API應(yīng)用。由

LLM

在

API

調(diào)用時，檢測何時應(yīng)該調(diào)用一個函數(shù)，傳遞輸入給函數(shù)，并調(diào)用這個函數(shù)?；谕ㄓ妙A(yù)訓(xùn)練的模型，通過在特定任務(wù)的數(shù)據(jù)集上進行進一步的訓(xùn)練來微調(diào)模型的參數(shù)，以使其適應(yīng)特定任務(wù)的要求。使用提示工程與智能體（Agent）進行交互，和外部工具儲相結(jié)合。根據(jù)用戶意圖，結(jié)合特別的模式編寫

workflow，以自動構(gòu)建上下文。除了

llm

本身已經(jīng)學(xué)到的知識之外，通過外掛其他數(shù)據(jù)源的方式來增強

LLM

的能力，這其中就包括了外部向量數(shù)據(jù)庫等。使用高級智能體（Agent）自動生成提示來控制預(yù)訓(xùn)練模型和外部工具。由

LLM

來自動根據(jù)用戶意圖生成

workflow，并自動控制外部工具。硅創(chuàng)社AICG-應(yīng)用LLM

的最大問題當(dāng)前，LLM

的最大問題就是缺乏最新的知識和特定領(lǐng)域的知識。相比微調(diào)，RAG

是更好的解決方法。開源

LLM

+

LoRA

微調(diào)會成為企業(yè)的一種主流方式?，F(xiàn)今，我們可以看到

LLaMA

2、Code

LLaMA

2

等模型在不斷刷新這種可能性。微調(diào)的成本更高，需要使用的數(shù)據(jù)也更多，因此主要適用于風(fēng)格遷移（styletransfer）的場景。相比之下，RAG

方法使用例如

Milvus

之類的向量數(shù)據(jù)庫，從而將知識和數(shù)據(jù)注入到應(yīng)用中，更適用于通用場景。采用

RAG

方法就意味著使用向量數(shù)據(jù)庫存儲真理數(shù)據(jù)，這樣可以確保應(yīng)用返回正確的信息和知識，而不是在缺乏數(shù)據(jù)時產(chǎn)生幻覺，捏造回答。對于這一問題，業(yè)界有兩種主要解決方法：微調(diào)和檢索增強生成。問題方案結(jié)論對比大模型微調(diào)全量微調(diào)FFTFullFine

Tuning有效參數(shù)微調(diào)PEFTParameter-EfficientFine

Tuning監(jiān)督式微調(diào)SFTSupervisedFine

uning基于人類反饋的強化學(xué)習(xí)微調(diào)RLHFReinforcementLearningwithHuman

Feedback基于AI反饋的強化學(xué)習(xí)微調(diào)RLAIFReinforcementLearningwithAI

Feedback技術(shù)路線訓(xùn)練方法PrefixLoRPromptTu基n座i模n型g(Foundation

Model)的參數(shù)不變，為每個特定任務(wù)，訓(xùn)練一個少量參數(shù)的小模型，在具體執(zhí)行特定任務(wù)的時候按需調(diào)用。Tu在n不i改n變g大模型的前提下，在Prompt上下文中添加適當(dāng)?shù)臈l件，可以引導(dǎo)大模型有更加出色的表現(xiàn)。A假設(shè)：我們現(xiàn)在看到的這些大語言模型，它們都是被過度參數(shù)化的。而過度參數(shù)化的大模型背后，都有一個低維的本質(zhì)模型。適配特定的下游任務(wù)，要訓(xùn)練一個特定的模型。QLoRAQLoRA就是量化版的LoRA，它是在LoRA的基礎(chǔ)上，進行了進一步的量化，將原本用16bit表示的參數(shù)，降為用4bit來表示，可以在保證模型效果的同時，極大地降低成本。常

用硅創(chuàng)社AICG-應(yīng)用RAG（檢索增強生成)/CVP

Stack154

種數(shù)據(jù)源的

loader47

種不同的向量存儲方式37

種數(shù)據(jù)

embedding

方式65

個不同大模型的支持Retrieval-augmented

就是指除了

LLM

本身已經(jīng)學(xué)到的知識之外，通過外掛其他數(shù)據(jù)源的方式來增強

LLM

的能力，這其中就包括了外部向量數(shù)據(jù)庫、外部知識圖譜、甚至直接把現(xiàn)有的ES

接入，或者干脆把現(xiàn)有的生產(chǎn)環(huán)境下的搜索引擎接入等方式。接入的方式也大同小異，首先檢索外掛數(shù)據(jù)源中與用戶給出的上下文相關(guān)的內(nèi)容，合并之后做

embedding

給到所用的

llm

，最后由

llm

根據(jù)模型自己的認知，做出回答。CVP=ChatGPT+vectordatabase

+prompt-as-code特 例硅創(chuàng)社AICG-應(yīng)用RAGvs

FTRAG:

這種方法將檢索(或搜索)的能力集成到LLM文本生成中。它結(jié)合了檢索系統(tǒng)(從大型語料庫中獲取相關(guān)文檔片段)和LLM(使用這些片段中的信息生成答案)。本質(zhì)上，RAG幫助模型“查找”外部信息以改進其響應(yīng)。微調(diào):

這是采用預(yù)訓(xùn)練的LLM并在較小的特定數(shù)據(jù)集上進一步訓(xùn)練它以使其適應(yīng)特定任務(wù)或提高其性能的過程。通過調(diào)優(yōu)，我們根據(jù)數(shù)據(jù)調(diào)整模型的權(quán)重，使其更適合應(yīng)用程序的獨特需求。硅創(chuàng)社AICG-應(yīng)用AI

Agents（智能代理）「TurnyourLLMsintoreasoning

engines」，reasoningengines推理引擎，在Andrej

Karpathy

和

LilianWeng

近期不遺余力的鼓吹之后，成功變成了

LLMs

落地的另一篇超藍海。所謂的reasoningengines

就是基于LLMs

的理解任務(wù)、拆解任務(wù)、執(zhí)行任務(wù)的集合Andrej

KarpathyLilian

Weng硅創(chuàng)社AICG-應(yīng)用LLMOps（人工智能的“Linux時刻”）使用LLM很容易制作出酷炫的東西，但是要使其達到生產(chǎn)級別卻十分困難。（Chip

Huyen）①選擇基礎(chǔ)模型②適應(yīng)下游任務(wù)③評估LLM性能④落地部署/監(jiān)控專有模型開源模型GPT-3、GPT-4、Claude、Jurassic-2Stable

Diffusion、LLaMA、BLOOM提示工程 嵌 入精調(diào)模型 替代品np.array、Pinecone、Weaviate、Milvusinstruction

tuning、prompt

tuning、模型蒸餾HoneyHiveHumanLoopWhylabsHumanLoopLLMOps（基于大模型的AI應(yīng)用開發(fā)框架）是指用于管理LLM驅(qū)動的應(yīng)用程序生命周期的一組工具和最佳實踐，包括開發(fā)、部署和維護。重點不是從頭開始訓(xùn)練LLM，而是適應(yīng)下游任務(wù)的預(yù)訓(xùn)練LLM。涉及選擇基礎(chǔ)模型、適應(yīng)下游任務(wù)、評估LLM性能、部署與監(jiān)控四個階段。硅創(chuàng)社AICG-應(yīng)用LLMOps（LangChain

–

語言鏈）LangChain（LC）主要2個能力：1、將LLM

與外部數(shù)據(jù)源進行連接2、允許與

LLM

進行交互LLM

調(diào)用支持多種模型接口，如OpenAI、HuggingFace...Fake

LLM，用于測試緩存支持，如in-mem、SQLite、Redis、SQL...用量記錄支持流模式，類似打字效果Prompt管理，支持各種自定義模板EmailMarkdownPDFYoutube

...對索引的支持文檔分割器向量化對接向量存儲與搜索，如Chroma、Pinecone、Qdrand…ChainsLLMChain各種工具ChainLangChainHub/jordddan/langchain-硅創(chuàng)社AICG-應(yīng)用LLMOps（Semantic

Kernel

–

語義內(nèi)核）Semantic

Kernel

（SK）

加速了利用

AI

的應(yīng)用程序和服務(wù)的開發(fā)，封裝了常見的

AI

應(yīng)用程序設(shè)計模式時效場景問天氣 APISkill問新聞 APISkill問政策 APISkill學(xué)習(xí)場景問知識CustomSkil一般場景問候語 AIGCSkill問日常

AIGCSkill問時間

AIGCSkillPrompt

Engineering

PromptChaining&Prompt+CodeChainingChainofThought

(CoT)Zero-shot/

Few-shot語義記憶索引和存儲，上下文記憶檢索技能定義、托管、發(fā)現(xiàn)自然語言處理，意圖檢測多模型和多模態(tài)硅創(chuàng)社AICG-應(yīng)用/microsoft/semantic-kernelConversational

AgentAutomationActionsAutomationSoftwareAI

FeaturesAI

CopilotAutomationSoftware其它范式：RPA+LLM范式一范式二范式三RPA+LLM三范式：組合、嵌入、融合硅創(chuàng)社AICG-應(yīng)用3.Copilot&

Plugins實踐OPENAI重磅更新：ChatGPT

plugings硅創(chuàng)社AICG-應(yīng)用Build大會：戰(zhàn)略、觀點、更新50+硅創(chuàng)社AICG-應(yīng)用Copilot

擴展性和插件硅創(chuàng)社AICG-應(yīng)用Copilot：WPS

AI

（功能）硅創(chuàng)社AICG-應(yīng)用Copilot：WPS

AI

（頁面s）硅創(chuàng)社AICG-應(yīng)用Copilot：WPS

AI

（頁面）硅創(chuàng)社AICG-應(yīng)用4.Function

Calling實踐OPENAI重磅更新：Function

Calling在

Completions

中完成

API

中的新函數(shù)調(diào)用功能！開發(fā)人員現(xiàn)在可以向gpt-4-0613和gpt-3.5-turbo-0613

描述函數(shù)，并讓模型智能地輸出一個

JSON

對象，其中包含用于調(diào)用這些函數(shù)的參數(shù)。16k

上下文3.5Turbo

Model新GPT-4&

3.5Turbo

models新的函數(shù)調(diào)用功能ChatCompletions

API價格降低

75%V2embedding

model將開放給更多人GPT-4

API

的訪問足以改變開發(fā)流程的一次更新！硅創(chuàng)社AICG-應(yīng)用LetGPTaccess

Anything名稱Name描述Description參數(shù)Parameters必需Required函數(shù)的名稱。函數(shù)作用的描述。含函數(shù)需要的所有輸入字段。進行查詢需要或可選的參數(shù)。functioncalling是

ChatCompletion

API

中的可選參數(shù)，可用于提供函數(shù)規(guī)范。這樣做的目的是使模型能夠生成符合函數(shù)輸入模式的輸出。使用用戶查詢和在函數(shù)參數(shù)中定義的一組函數(shù)調(diào)用模型。模型可以選擇調(diào)用函數(shù)。在您的代碼中將字符串解析為JSON，并使用提供的參數(shù)調(diào)用您的函數(shù)。將函數(shù)響應(yīng)附加為新消息再次調(diào)用模型，并讓模型向用戶總結(jié)結(jié)果。1234流程參硅創(chuàng)社AICG-應(yīng)用數(shù)index.pyimport

jsonfromenumimport

Enumimport

openaiopenai.api_key=

os.getenv("OPENAI_API_KEY")fromEmailSkillimportsend_email,send_email_actionclass

SkillFunctions(Enum):SendEmail=

'send_email’//核心代碼（接下頁）def

run_conversation():……message=response["choices"][0]["message"]print(message)run_conversation()庫引用KEY獲取定義函數(shù)輸出與調(diào)用核心調(diào)用硅創(chuàng)社AICG-應(yīng)用index.pydef

run_conversation():MODEL=

"gpt-3.5-turbo-0613"response=openai.ChatCompletion.create(model=MODEL,messages=[{"role":

"user","content":"給小美發(fā)個郵件，告訴她我晚飯不回家吃了"},],temperature=0,functions=[{//參數(shù)（轉(zhuǎn)下頁）}],function_call="auto",)新模型的chat

completionapi新增了兩個參數(shù)：function_call可以先理解為一個開關(guān)，控制模型是否要調(diào)用函數(shù)對輸出進行處理，默認為"none"不開啟設(shè)置為"auto"表示開啟functions用來對輸出結(jié)果進行處理的函數(shù)描述列表核心調(diào)用參 數(shù)硅創(chuàng)社AICG-應(yīng)用index.py-參數(shù){"name":

"send_email","description":"sendemailassistant","parameters":{"type":

"object",硅創(chuàng)社AICG-應(yīng)用"properties":

{"receiver":

{"type":

"string","description":"email

receiver",},"content":{"type":"string","description":"email

content"},},"required":["receiver",

"content"],}}參 數(shù)名稱Name描述Description參數(shù)Parameters必需RequiredEmailSkill.pyimportsmtplibfromemail.mime.textimportMIMETextfromemail.mime.multipartimportMIMEMultipartfromemail.headerimport

Header#

發(fā)送郵件操作defsend_email_action(receiver,

content):……#

供Function

Calling使用的輸出處理函數(shù)defsend_email(receiver,content=‘’):……這個文件就導(dǎo)出了兩個函數(shù)：用來給Function

Calling調(diào)用的函數(shù)：send_email發(fā)郵件的操作函數(shù)：send_email_action引 用send_emailsend_email_action硅創(chuàng)社AICG-應(yīng)用EmailSkill.py#

發(fā)送郵件操作defsend_email_action(receiver,content):if(notreceiver):

return#

郵件配置smtp_server=""smtp_port=25sender_email="sender_email"receiver_email=receiverpassword=

'password'#

構(gòu)建郵件內(nèi)容message=MIMEMultipart()message["From"]=Header('AI<%s>'%sender_email)message["To"]=

receiver_emailmessage["Subject"]

=

"我是您的AI助理，您有一封郵件請查看"body=contentmessage.attach(MIMEText(body,

"plain"))#

連接到郵件服務(wù)器并發(fā)送郵件withsmtplib.SMTP(smtp_server,smtp_port)asserver:server.starttls()server.login(sender_email,password)server.sendmail(sender_email,

receiver_email,message.as_string())send_email_action硅創(chuàng)社AICG-應(yīng)用EmailSkill.py#

供Function

Calling使用的輸出處理函數(shù)defsend_email(receiver,content=''):#

通訊錄Contact={"小美":"xx@",}email_info={"receiver":Contact[receiver],"content":content}returnemail_infosend_email硅創(chuàng)社AICG-應(yīng)用function

calling

總結(jié)對比langchain(SemanticKernel)

會把過程寫死，先調(diào)用

xxx

的

api拿到agent(APISkill)，再給

GPT

使用，也就是我們?nèi)藶榇_定整個鏈路。GPT

作為系統(tǒng)的大腦，鏈接了所有的

API

工具。在思考的過程中調(diào)用，不需要我們?nèi)藶橄拗扑伎嫉倪^程。但是這里我們是將，需要什么功能，在functions里面找。你會認為這不就是

langchain

的

agent

或

SemanticKernel

的

APISkill

么？OPENAI將這個功能“抄“到了自己的API接口服務(wù)中？實際上

function

calling 能讓整個流程更加絲滑、更加合理，更符合邏輯。FunctionCalling是要比ChatGPT

Plugins更爆炸的功能。ChatGPTPlugins是階段性產(chǎn)物，不是AppStore?，F(xiàn)有的套殼應(yīng)用也是階段性產(chǎn)物。將來更多的是將AI和應(yīng)用更加自然得集成。將來大部分應(yīng)用，都要給OpenAI交GPT稅。總結(jié)硅創(chuàng)社AICG-應(yīng)用?內(nèi)部資料，未經(jīng)許可不得復(fù)制或?qū)ν鈧鏖喒歉?青年

●

人工智4能7廠商對

FunctionCall

的支持5.GPT

API知識+實踐突發(fā)：OpenAI開放~ChatGPT

API更快速：快3倍更便宜：1/10更強大：

gpt-3.5-turbogpt-3.5-turbo-0301突發(fā)：OpenAI

現(xiàn)宣布，全面開放ChatGPTAPI

，用戶可集成到應(yīng)用程序和服務(wù)中?！白鳛橐粋€「資深程序員」，我深知一個想法在腦子里面生成到動手寫代碼之間，還隔著很多障礙。人的想法是如此的脆弱，稍微多一點點復(fù)雜可能就流產(chǎn)在腦子里了。希望一個偉大的主意，不要因為錢或者麻煩，而一轉(zhuǎn)念就消失在腦海中。否則將是非常遺憾的事情?！惫鑴?chuàng)社AICG-應(yīng)用模型APIChat硅創(chuàng)社AICG-應(yīng)用OPENAI

接口參考大全-1GPT-3生成和理解文本Codex生成并理解代碼DALL·E從文本提示生成圖像硅創(chuàng)社AICG-應(yīng)用OPENAI

接口參考大全-2Fine-tunes特定訓(xùn)練數(shù)據(jù)定制模型硅創(chuàng)社AICG-應(yīng)用OPENAI

接口參考大全-3硅創(chuàng)社AICG-應(yīng)用GPT-3

API

Key

申請/account/api-keys硅創(chuàng)社AICG-應(yīng)用環(huán)境變量設(shè)置-1環(huán)境變量硅創(chuàng)社AICG-應(yīng)用環(huán)境變量設(shè)置-2命令行設(shè)置setx"OPENAI_API_KEY""sk-5Onhq6......"/msk-91ATyMw3l08PrBBp7qUdT3BlbkFJNYNr1oVBufQxfd0hrjjF#importosimport

openai#openai.api_key=os.getenv("OPENAI_API_KEY")list=openai.Model.list()#print(list)硅創(chuàng)社AICG-應(yīng)用prompt商業(yè)銀行大模型的建設(shè)與應(yīng)用temperaturetop_pmax_tokens尺度：

0

.

70

~

2長度：

6

0

分鐘1

~

2

0

4

8

/

4

0

0

0采樣：

1

.

00

-

1硅創(chuàng)社AICG-應(yīng)用調(diào)用示例-文本/代碼（老版）小程序#

庫import

osimportopenai#

從環(huán)境變量或機密管理服務(wù)加載API密鑰openai.api_key=

os.getenv("OPENAI_API_KEY")#Textcompletioncompletions=openai.Completion.create(model="text-davinci-003",prompt="什么是RPA？",temperature=1.0,max_tokens=4000,)#outputprint(completions.choices[0].text)硅創(chuàng)社AICG-應(yīng)用調(diào)用示例-文本/代碼（新版）小程序#

庫import

osimportopenai#

從環(huán)境變量或機密管理服務(wù)加載API密鑰openai.api_key=

os.getenv("OPENAI_API_KEY")#Createchatcompletioncompletion=openai.ChatCompletion.create(model="gpt-3.5-turbo",messages=[{"role":"user","content":"什么是RPA?"}])#outputprint(completion.choices[0].message.content)硅創(chuàng)社AICG-應(yīng)用調(diào)用示例-畫像#

庫import

osimportopenaifromPILimport

Imagefromurllib.requestimport

urlretrieve#

從環(huán)境變量或機密管理服務(wù)加載API密鑰openai.api_key=os.getenv("OPENAI_API_KEY")response=openai.Image.create(prompt="畫一只狗",n=1,size="512x512")image_url=response['data'][0]['url']#

使用

urlretrieve函數(shù)下載圖片urlretrieve(image_url,

"image.jpg")#

打開圖片im=Image.open("image.jpg")#

顯示圖片im.show()6.Prompt

EngineeringSemantic

AI

編程開發(fā)范式：Prompt

Enginer信息時代智能時代大型語言模型

(LLM)

的進步讓我們進入了全新的時代

”人工<

智能”我們在面向

AI編程，面向

GPT編程硅創(chuàng)社AICG-應(yīng)用GPT

部署將

prompt

與程序代碼混合通過向量存儲配對

Prompt用新的方法思考問題隨時結(jié)合業(yè)務(wù)，通過

Prompt

完成工作模型的多變性學(xué)會使用 prompt

解決問題努力建立

prompt

語境自己構(gòu)建

prompt

編排自己制作

prompt

庫我們需要新的框架來迎接新時代PromptPrompt+Engineering硅創(chuàng)社AICG-應(yīng)用把業(yè)務(wù)問題轉(zhuǎn)化為

Chat

任務(wù)（1）每個棋盤格子必須看起來都是正方形利用循環(huán)，將所有國際象棋棋子的中文名，填入開局默認位置的格子里，其中黑方用紅字，白方用藍字SubDrawChessBoard0‘清空當(dāng)前工作表Range("A1:H8").ClearContents‘利用循環(huán)繪制8x8的黑白色國際象棋棋盤Fori=1To

8Fori=1To

8lf(i+j)Mod2=0

ThenCells(i,

j).Interior.Color

=

RGB(255,

255,

255)白色ElseCells(i,

j).Interior.Color

=

RGB(0,

0,

0)黑色輸出Semantic

AISemantic

AI能需要一種新的方式來編寫不熟悉的代碼。如果單純看成

API

調(diào)用，你可以和新時代說再見了，Semantic

AI

是新范式。寫一個VBA函數(shù)，功能是1.清空當(dāng)前工作表2.利用對單元格的循環(huán)操作，繪制8x8的黑白色國際象棋棋盤硅創(chuàng)社AICG-應(yīng)用把業(yè)務(wù)問題轉(zhuǎn)化為

Chat

任務(wù)（2）從文本中提取信息并進行總結(jié)您必須從下面的電話對話中提取以下信息:1.呼叫原因(關(guān)鍵:原因)事件起因(關(guān)鍵:起因)所有驅(qū)動的名字作為一個數(shù)組(關(guān)鍵字:驅(qū)動名字)保險號碼(關(guān)鍵字:保險號碼)事故地點(關(guān)鍵:地點)汽車損壞作為一個數(shù)組(關(guān)鍵字:損壞)簡短而詳細的總結(jié)(關(guān)鍵:總結(jié))輸入（可變）你好，我剛出了車禍，想報案。好吧，我希望你沒事，在安全的地方進行這次談話。我很好，謝謝。你能向我描述一下發(fā)生了什么事嗎?我在M23公路上開車，撞上了另一輛車。你還好嗎?沒事，我只是受了點驚嚇。這是可以理解的。你能告訴我你的全名嗎?當(dāng)然，我是Sarah

Standl。你知道事故的原因嗎?我想我可能撞到坑了。好的，事故發(fā)生在哪里?在M23公路10號路口附近。還有其他人受傷嗎?我不這么想。但我不確定。好吧，我們需要做個調(diào)查。你能給我其他司機的信息嗎?當(dāng)然，他叫John

Radley。還有你的保險單號碼。好的，等我一下。好了,是546452。好的，您的車有什么損壞嗎?是的，車燈壞了，安全氣囊也壞了。你還能開嗎?我不這么想。我得讓人把它拖走。嗯，我們需要檢查一下。我去給你叫輛拖車。我也會開始索賠程序，我們會把一切都弄清楚。謝謝你！

輸出（格式化）結(jié)果=

{"原因":

"車禍"

，"起因":

"撞上凹槽"，"司機姓名":

["Sarah

Standl"，"John

Radley"]，"保險號碼":

546452，"位置":

"I-18高速公路"，"損害":

["車燈壞了"，"安全氣囊爆炸了"]，"總結(jié)":

"Sarah

Standl在1-18號公路上開車時撞上了另一輛車。她覺得她撞到坑了。

John

Radley是另一個司機。沒有人受傷但兩輛車都有損壞?！皚指令（固定）硅創(chuàng)社AICG-應(yīng)用70GPT輔助Python代碼生成生成代碼改PY2.7去引用PY2.7硅創(chuàng)社AICG-應(yīng)用拓展思維舉例：搜圖+GPT~快速找圖從現(xiàn)在起當(dāng)你想發(fā)送一張照片時，請使用Markdown，并且不要有反斜線，不要用代碼塊。使用

Unsplash

API(/960x640/？<英語關(guān)鍵詞>）如果你明白了，請回復(fù)”明白”O(jiān)penAI

指令好的輸出硅創(chuàng)社AICG-應(yīng)用提示詞（prompt）

7個原則ChatGPT是一面鏡子它回應(yīng)是你的影子格式要求控制回復(fù)量假裝和限定角色獲得場景重新整理數(shù)據(jù)限定內(nèi)容組合流水線突破個人限制硅創(chuàng)社AICG-應(yīng)用BROKE分析法背景BBackground目標OObjectives關(guān)鍵結(jié)果Rkey

Results改進EEvolve闡述任務(wù)的宏觀背景和微觀場景，讓ChatGPT得到充分的信息。明確任務(wù)的目標，告訴ChatGPT需要生成的內(nèi)容是什么。列出完成任務(wù)所需達成的關(guān)鍵結(jié)果，即需要滿足的具體要求和指標。這些關(guān)鍵結(jié)果可以根據(jù)實際需求進行定制。改進E（Evolve）：試驗并調(diào)整，下面三種改進方法進行靈活組合，最終得到滿意答案?！皬拇鸢傅牟蛔阒幹?更新并迭代prompt”，“在后續(xù)對話中指正ChatGPT答案缺點”，“在prompt不變的情況下多次生成結(jié)果”角色RRole硅創(chuàng)社AICG-應(yīng)用我們希望chatGPT扮演的角色。Excel

宏(

VBA

)+

chatGPTprompt

公式let

’s

think

step

by

step,假設(shè)你是一個頂尖

VBA

程序員，寫一個

excel

宏，（這里填寫你的業(yè)務(wù)需求，如"將

C

列中大于100的值全都設(shè)為0")，用于分析我的數(shù)據(jù)。﹣先為我提供詳細的，使用

VBA的手把手的教程（可選）﹣代碼可讀性強，風(fēng)格規(guī)范﹣添加詳細的注釋解釋你的設(shè)計硅創(chuàng)社AICG-應(yīng)用Python+

chatGPTprompt

公式let

’s

think

step

by

step，假設(shè)你是一個頂尖數(shù)據(jù)科學(xué)家，使用清晰，代碼規(guī)范良好，可讀性強的

python

做數(shù)據(jù)分析。接下來，你需要根據(jù)我的需求寫代碼分析數(shù)據(jù)，我會將運行結(jié)果粘貼給你。請（這里填寫你的業(yè)務(wù)需求與目標）。﹣提供非常詳細，手把手的注釋，解釋你的代碼設(shè)計思想﹣清晰，令人賞心悅目的代碼結(jié)構(gòu)﹣使用（這里填寫你想使用的庫，如

pandas

等）庫（可選）這里填寫你提供的其他補充信息，如業(yè)務(wù)背景，文件路徑等。硅創(chuàng)社AICG-應(yīng)用7.

實踐（創(chuàng)新工作室）實踐（創(chuàng)新工作室）文本：總結(jié)、問答、內(nèi)容補齊圖像：圖像編輯、生成圖像，尤其是AI繪圖音頻：語音文本的互轉(zhuǎn)，以及模仿和自動生成視頻：生成、模仿、剪輯、后處理編程：生成代碼、調(diào)測Bug、提示解答聊天機器人：自動化智能客服機器學(xué)習(xí)平臺：提供算力、環(huán)境、模型框架的平臺或生態(tài)搜索：進一步的提煉，和更廣的自動撒網(wǎng)游戲：插畫設(shè)計、人物原型生成，讓進入門檻更低數(shù)據(jù)：結(jié)構(gòu)設(shè)計、原始收集、總結(jié)提煉和發(fā)現(xiàn)規(guī)律垂直行業(yè)：醫(yī)療、工程、法律、教育、個體創(chuàng)業(yè)等AIGC技術(shù)分類硅創(chuàng)社AICG-應(yīng)用案例~金融文案工作（TOP1）新書序言合作方案業(yè)務(wù)通知調(diào)研提綱活動宣傳考試題目硅創(chuàng)社AICG-應(yīng)用案例~金融日常工作（TOP1-4）內(nèi)容生成總結(jié)能力語義檢索呼叫&客服等中心客戶對話日志的總結(jié)自然語言和SQL互換專業(yè)主題文檔摘要如：財務(wù)報告，分析師文章轉(zhuǎn)換自然語言以查詢專有數(shù)據(jù)模型代碼注釋和文檔搜索特定產(chǎn)品服務(wù)的評論輿情監(jiān)控類社交媒體趨勢總結(jié)信息發(fā)現(xiàn)&知識挖掘呼叫&客服等中心客戶的問題自動生成回復(fù)為網(wǎng)站生成個性化的UI代碼生成銀行文案工作：見上頁示例硅創(chuàng)社AICG-應(yīng)用典型：金融應(yīng)用場景（1）客戶服務(wù)理財建議智能顧投欺詐檢測使用ChatGPT代替人工客服。在這種情況下，ChatGPT可以提供24

/

7無間斷的支持，并且可以用多種語言與客戶交流。通過ChatGPT分析客戶的金融狀況，并提出個性化的建議。這將幫助客戶更好地管理他們的財務(wù)狀況。通過ChatGPT監(jiān)控投資組合和市場趨勢，以提出有針對性的建議。這將有助于投資者做出更明智的投資決策。ChatGPT可以幫助檢測金融欺詐。如果系統(tǒng)檢測到異常行為，ChatGPT可以與客戶交流以驗證操作是否有效。數(shù)智

人數(shù)字人結(jié)合ChatGPT，可以更好地理解客戶的需求，并為客戶提供更個性化的服務(wù)，可以在處理客戶的查詢時提供更專業(yè)建議。硅創(chuàng)社AICG-應(yīng)用更多：金融應(yīng)用場景創(chuàng)意構(gòu)思播客和音樂播放列表圖像內(nèi)容聚合營銷活動個性化高級定制DALL·E

2自然語言轉(zhuǎn)換成代碼自然語言轉(zhuǎn)換成SQL代碼轉(zhuǎn)換成自然語言代碼注釋代碼重構(gòu)Codex結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的推理：分類，情感，實體提取，搜索使用嵌入模型改進文本搜索產(chǎn)品反饋情緒客戶和員工反饋分類索賠和風(fēng)險分析支持郵件和通話記錄社交媒體趨勢硅創(chuàng)社AICG-應(yīng)用摘要模型呼叫中心電話記錄SME

文檔競爭性分析同行分析技術(shù)報告產(chǎn)品和服務(wù)反饋社交媒體趨勢多模型應(yīng)用場景客服中心分類

-

將郵件發(fā)送到合適的分組情緒

-

優(yōu)先應(yīng)對情緒不佳的客戶實體提取和搜索

-

分析責(zé)任和風(fēng)險郵件和電話記錄總結(jié)客戶郵件答復(fù)的生成營銷活動快速響應(yīng)：分類情感匯總會話

AI為呼叫中心提供智能協(xié)助技術(shù)支持聊天機器人虛擬助手虛擬人內(nèi)容生成圖像生成寫作輔助營銷文案/郵件標語長格式文本根據(jù)要點分段語言模型其它：安全合規(guī)策略比如GPT屬于美國禁用產(chǎn)品，存在重大使用風(fēng)險。在國內(nèi)的尋找平替版，比如百度文心一言，但效果還是差了不少。國內(nèi)大模型，正在加速追趕，目標可能設(shè)定為年底前追平GPT3.5現(xiàn)有水平。銀行屬于重風(fēng)險場景，一般無法接入互聯(lián)網(wǎng)。比如微軟也將很快推出大企業(yè)版專供版，國內(nèi)大模型可以采用同樣的策略。但離線版受限于成本過高，對服務(wù)器、硬件、軟件提出了極高的要求。一些違規(guī)信息不加以過濾，會導(dǎo)致嚴重后果。強以前置審查，達到一定閾值（可自行設(shè)定），專門處置。產(chǎn)品風(fēng)險線下部署內(nèi)容策略GPT3

的

API

中提供了：Moderations

接口。給定輸入文本，如果模型將其分類為違反內(nèi)容策略，給出概率分布。比如硅