ChatGPT的技術(shù)發(fā)展路徑和帶來的影響-2023.03

ChatGPT?技oó展路徑和帶g?影響2023-03目錄01?ty智y和NLPó展路徑02?GPT系W模型ó展?徑03?ChatGPT?o?v解÷04?ChatGPT?影響üoOty智y技oó展?tty智y?g?可以追溯r1956~?知模型，?過近70~?ó展，已?滲透rT行T業(yè)22011~之前?

模型簡單?v?`時計?|t?ó展，模型nY簡單，能力_tü較弱?

場景\限模型只能]v單一o，通用能力非常弱，導(dǎo)?pp過高2?

ty干??????v定íY，?表，標注p等?t工工作2放置示oā2012~ó??

模型得益?á^?o?v?突|ü|t?力?ó展，模型?g?，GPT3?2020?ā?r?êt?1750?nó數(shù)?一般t腦p神經(jīng)元120r140?nā?

數(shù)o龐?模型??üà?海??數(shù)o，GPT3用?數(shù)o?t?r45TB，包??[ym?言?

[模態(tài)?音，?_，ā像O間O再`在n~壁壘，模型]v]go?能力n~增à3ty智y??ó類型一般g?，ty智y處理??ó可以V~兩類?1.決式?ty智yT<選?題=，模型?處理諸如?v{，V類，ó序等?ó22.成式?ty智yT<t題=，需?模型yo輸u，?ú成一??內(nèi)??客ê^界可y從未出āā24NLPó展?技o路徑?然語言處理?NLP，Natural

Language

Processingāo|究tP計算?互?語言t題?一y學ù2提示(Prompt)學`(2020~傳統(tǒng)y法(2012~以前)神?網(wǎng)t(2012~~2018~)模型?ˉ?(2018~~ó?)ó?)2018?，GPTüBert?先e示學`將Q游任á?t模方式Te定O，通過\??promptg?現(xiàn)??在?訓(xùn)?模型P解?Q游任常用方y(tǒng)pSVM1TF-IDF1LDA1\O?表1÷y解÷，?OíY，BP神經(jīng)網(wǎng)t2Word2vec?à標志著NLPü神經(jīng)網(wǎng)t??\，y型y法y型y法y型y法y型y法^?現(xiàn)，標志著模型時代

?

r

g

，

^

?

à



?陸

?

?

現(xiàn)

?FastTextLSTM11Bart1ERNIE，T5等方y(tǒng)Oí?索模型?能力?界2TextCNN1á，?GPT3

T52，Attention等模型模型ó數(shù)?1數(shù)o?均P升?一nā階，Oo?V模型{用?p?身特點p訓(xùn)?p，省??很[t工標注?工作2在特定o用微??o，?P?模型ío?y檻2?

??t工?行~?，?v定íY，?表，hT等2神經(jīng)網(wǎng)t??現(xiàn)，?減]?t工~??工作，\O??以通過向?表à?ú學會，÷yV÷，?性標注等yt經(jīng)嵌u?模型??2?

將所p任á，y轉(zhuǎn)ù~p式任á2特點特點特點特點?

模型O再??微?，得零pü]p學`p~?能2?

à用o單一，yo針ü特定o?行_ó2?

??Z?特à工程25目錄01?ty智y和NLPó展路徑02?GPT系W模型ó展?徑03?ChatGPT?o?v解÷04?ChatGPT?影響üoOGPT系列模型ó展路徑在àn模型時代，?內(nèi)_T廠商均對模型??布\，呈ā~?爭鳴?ā象2Nvidia或成g贏?2?^技o原理Oy技omT廠商?布\?

??2017?，Transformer被e?g^，Google，Meta，OpenAI均在模型Pp所t樹，并??Oy?om?1.?編y(Bert等)2.?T_?GPT等ā

3.D??\?T5，BART等ā7NLP技oó展帶g?影響g近10~，oNLP技o和業(yè)ó場景ó展g快?黃?時期，NLP本身?技o體系被重?，所影響?業(yè)ó?域_O斷擴2技o體系?改變?

o間?ó?消?}場景?擴未g?ó展?

搜廣推等內(nèi)?t??域NLPgp???商業(yè)Wà用o就o搜索，è薦，^，?o?ó展催?一系Wy頭?谷o，~度，_節(jié)āo間任áo指并O??面向g終目標，?o~?解?g終目標?一?階?性任á2?~神經(jīng)網(wǎng)t?ó展，諸??yV÷，?性標注，V?等特p?o間任át經(jīng)幾N?tt津2?

模型時代?

~富?t?互ChatGPT??現(xiàn)，標志著模型t經(jīng)突|??o?y花，?模型àg?oó展???~_定2?All

you

need

is

MoneyT類聊y器t，?音?手，等t交ào??p熟2現(xiàn)在?p一nNLP任á，???O?o?o，?^?包??力，數(shù)o等í源2à背^yoy??í?投u2?

內(nèi)??域?變??

小模型時代ChatGPT將會??un內(nèi)?態(tài)，內(nèi)?型公???知N，微[ā?T點將?內(nèi)?Vó轉(zhuǎn)ù~內(nèi)??2?^à?網(wǎng)將充斥著?器??內(nèi)?，àü監(jiān)?會帶g??挑z2模型ü?[業(yè)公?üo_O業(yè)g說?疑??~注??í源2輕?W?訓(xùn)?模型，???一ne?思?方向28OpenAI和ChatGPT?ó展路徑OpenAI，在美?成立?ty智y|究公?，x心宗í在于<實ā安y?通}ty智y(AGI)=，wp益于t類22019

?

7

o

22

?，微軟?_OpenAI

p立?2015將向

OpenAI

投í

10

?美元，以

q

\

_

ó

用

?

MicrosoftAzure?ā?e?o2022?11o30?

，ChatGPT???，o一?非營{性|究?，它?oo?t?安y1üt類p益?通用t工智能

?

AGI

ā

，

由

O?

·

t

?

[

1

SamAltman

等t?_?í

10

?美元p立2GPT-3?舊延??y?單向?言模型訓(xùn)?方式，只O過àk把模型尺?增r?1750?，并^用45TB數(shù)o?行訓(xùn)?2P^22022

12

5?o

?OpenAI[?

t

山

?

·

}

特

t

?

_

，ChatGPT?用戶t經(jīng)突|100微軟率先?_POpenAI獨?\作打

?一ā性能O]yw前五，?p?過28.5OnCPU??11O

n

GPU

1

?

GPU

?

p400Gbps網(wǎng)t帶????計?——Azure

AI??ā，?用?í模V_式AI模型訓(xùn)?2Ot，?用時

y25GPT面^，標志著t工智能l式走向模型時代??2023

1?

ooChatGPT用戶數(shù)突|

?，p~史P用戶數(shù)1增?g??í費?à用22023?1oo

微軟?_向è?ChatGPT?OpenAI公?追à投í100?美元2BEGIN2022?2015?2020?2018?2019?9GPT-1系列模型ó展路徑GPT?yāoGenerative

Pre-Trained

Transformer，顧]思O，GPT?目?就o通過Transformer~āx模型，}?ˉ?技o得r通}??本模型2GPT模型結(jié)??

GPT-1?無監(jiān)督?ˉ?oā于語言模型?行ˉ?在GPT-1o，用?12ntransformerW???作~解y器，?ntransformerWo一n[頭??注o力v，然^通過y??得r輸??概率V_210GPT-1處理t關(guān)NLP?óGPT-1ò處理，就可適配?VNLPm?ó將??ü終ktokenàur??序W兩端，輸utransformero得r特à向?，g^經(jīng)過一ny??得r?測?概率V_2V類?ó將前e?premiseāüW??hypothesisā通過V隔符?Delimiterā隔_，兩端àP

?

?

ü

終

k

token

2

再

?

k

通

過transformerüy??得r?測?果2推理?ó放置示oā語Ot度輸u?兩n÷子，l向ü?向T拼?一k，然^V{輸u?transformer，得r?特à向?拼?^再??y??得r?測?果2將nn選項?t題?象W~nnDV類t題，即?n選項V{ü內(nèi)??行拼?，然^T?utransformerüy??o，g^選?置?度g高?作~?測?果2t類11GPT-1?}?數(shù)o?和指標GPT-1}?數(shù)o?和參數(shù)?在目前~O算，Oo在2018~時，已?算非常?突|2數(shù)o?和數(shù)o集模型結(jié)??

用_節(jié)ü編y，qp40,000n_節(jié)üā?

?編y??度~

768ā?

?學`O置編y，O置編y?度~3072ā?

12^?transformer，?ntransformerWp12

n頭ā?

數(shù)o?GPT-1用?t5GB?數(shù)o?2?

數(shù)o集?

Attention，

??，Dropout等v用g?行l(wèi)YW，drop??~

0.1ā?

激函數(shù)~GLEUā?

訓(xùn)??batchsize~64，學`率~

，序W?度~512，序Wepoch~100āGPT-1

用

?

BooksCorpus數(shù)

o?，àn數(shù)o?包含7000p沒pó_?書籍，?能驗?模型??W能力2?

模型ó數(shù)數(shù)?~1.17?212GPT-2t關(guān)??GPT-2?g貢o驗?了通過海?數(shù)o和?參數(shù)ˉ?出g??向?模型p遷移rw它類{?óo?O需??_?ˉ?2數(shù)o?和數(shù)o集模型結(jié)?實驗結(jié)果在8n?言模型任áo，??通過zero-shot學`，GPT-2就p7n?過?state-of-the-art?方y(tǒng)ā在<Children's

Book

Test=數(shù)o?P?}]?_?{任áo，GPT-2?過?state-of-the-art?方y(tǒng)t7%āGPT-2??章×??RedditP高???章，}]~WebText2數(shù)o?qpt800O篇?章，累計_?t40G2~?避]ü測??

?

ó

突

，

WebText

移

除

?

?

及Wikipedia??章2q計40GB?數(shù)o?2?

\用?用_節(jié)ü編y?t_y，_y?_~50257ā?

滑ú窗口?_~1024ā?

batchsize?_~

512ā?Layer

Normalization移úr??一W?輸u?V，在?nself-attentionO^?_?à?一nLayerNormalizationā<LAMBADA=o測?模型捕捉?期???能力?數(shù)o?，GPT-2將??度?99.8?r?8.6ā在閱讀v解數(shù)oo，GPT-2?過?4nbaseline模型o?Onā?

模型ó數(shù)數(shù)?~15?2在y?英任áo，GPT-2在zero-shot學`?基xP，?過?[數(shù)??監(jiān)督方y(tǒng)，Oo?p監(jiān)督?state-of-the-art模型??āGPT-2在?p總??表現(xiàn)Ovó，Oo它?m果_üp監(jiān)督?模型非常?近13GPT-3t關(guān)??除了幾n常é?NLP?ó，GPT-3?在很[非常困難??óP_p驚ó?表ā，?如撰寫t類難以v{??章，ó編寫SQL查?語句，React或?JavaScript代y等2數(shù)o?和數(shù)o集模型結(jié)?實驗結(jié)果GPT-3?過??[數(shù)?zero-shotv?few-shot?state-of-the-art方y(tǒng)2?_GPT-3在很[]g?NLP任áo_?過?fine-tuneO^?state-of-the-art方y(tǒng)，??y卷t，模式解÷，器翻?等2除?à?傳統(tǒng)?NLP任á，GPT-3在一?w他??域_×得?非常?ê?m果，???行數(shù)學ày，?章p，編寫代y等2GPT-3沿用?GPT-2???，Oo在網(wǎng)t??PGPT-3q訓(xùn)??5nO\??料，V{oP質(zhì)

?

?

Common

Crawl

，

高

質(zhì)

?

?WebText2

，

Books1

，

Books2

üWikipedia，GPT-3?o數(shù)o??O\?質(zhì)????O\?h|，h|?高?在訓(xùn)??時候??w?r2q計45TB?數(shù)o?2Z?很?e升，x_?Q??GPT-3采用?

96^?[頭transformer，頭?n數(shù)~96?

?向???度o

12888?

PQ?R窗?窗口_e升ó2048

ntokenā?

用?alternating

denseülocally

bandedsparse

attention214技o亮點?Few-shot，one-shot，zero-shot

learningGPT-3在很[復(fù)g?NLP?óo_?過了fine-tune之^?state-of-the-arty法，?如y卷t，模式解÷，器翻?等2?

在few-shot

learningo，e?若~n?10~100nā示?ü任á?述?模型學`2?

one-shot

laerningoe?1n示?ü任á?述2?

zero-shotYoOe?示?，只o在測?時e?任áts

?x_?述2作?üà3y學`方式V{?行??驗，?驗?果表n，On學`方式?m果y會?著模型???P升?P升，^few

shot

>one

shot

>zero

show215GPT系列總結(jié)GPT系列從1r3，通通采}?otransformer架?，可以?模型結(jié)?~沒p創(chuàng)?性??計2Oo?索出一g路?就o可以通過海?數(shù)o，?強算力，?NLP產(chǎn)-?變化2GPT3?一?點鈔y力?àoO?

性?ü?沒poO?t題，GPT-3?yví，?o?\一n沒poO?案?gā?

?性?GPT-3偶\會p??章O包含一?非常o?內(nèi)?，??y?歧?，性{歧?，?}_é等ā并^O???

T]性????transformer?t模能力，GPT-3并O能??p?一篇??章v?一p書籍??貫性，`在Q?O\T]P??t題2?

AI?表現(xiàn)并非?著模型í模增à??性增à，?o在ó數(shù)í模?過特定臨界|^~×e升，ó涌現(xiàn)?_模型Ox_?能力2?

GPT-3üAI?域?影響?疑oyà?，?m性能??言模型?e?，~Q游Ty類型?NLP任áe??非常優(yōu)秀??向?模型，在m基xP?將?w?[pˉ?AIà用2在微軟?í?支持Q，à?像o一赤裸裸?炫富??

1750??ó數(shù)?

31nV工n~?作??

?



?

力

?

計

?



?

285000

n

CPU

，10000nGPUā，1200O?訓(xùn)?費用?

45TB?訓(xùn)?數(shù)o?t基~ù?y?數(shù)o只t`?wo?

0.6%ā2?

o_O業(yè)?y??，ó在訓(xùn)?GPT-3時?現(xiàn)?一nbug，OpenAI?y_沒pí?Te訓(xùn)??2?

|t?性能在T?ó展，??y?|究N×é?瓶?，GPT-3^?T|t廠商它們?工作??à油，只??力?_，AI?性能?pOíe升?P界2?

\時GPT-3?m高f?計?代?_引ó?一?s

?AI?域壟í?一???，恐怕會形pAIy頭ü?力?求高??y??o壟í216Nvidia在GPT3P?y作NVIDIA估算，如果?ˉ?GPT-3，即單n器?~`/內(nèi)`y裝得Q，}8張V100?~卡，ˉ?時??計?36~ā如果?p1024張80GBA100，那N完uˉ?GPT-3?時?可以減r1no2í源消耗y{化實ā?

ó數(shù)í模?1Tó數(shù)

，128

^Transformer?

V割略

64

n

stage3072

張

80GB

A100

pp5

?美??

器í源??nstage?數(shù)o并行，6āDGX-A100?8t

)17Meta_源GPT-3Meta_源了xp1750?參數(shù)n參數(shù)?GPT-3，~^??模型改了n]_OPT，_就o更open??ˉ?Transformer語言模型2t關(guān)??模型規(guī)模??鏈??/abs/2205.01068代y???/facebookresearch/metaseq/tree/main/projects/OPT18目錄01?ty智y和NLPó展路徑02?GPT系W模型ó展?徑03?ChatGPT?o?v解÷04?ChatGPT?影響üoORLHF?強化學`和NLP?結(jié)\RLHF?Reinforcement

Learning

from

Human

Feedbackā?即，}強化學`?y法，{}t類?饋信÷??優(yōu)化語言模型2它~ChatGPT×得優(yōu)秀效果?y本原?2RLHFg?可以追溯rGoogle在2017~ó表?:Deep

Reinforcement

Learning

from

Human

Preferences;參考資料：https://huggingface.co/blog/rlhf?

?足ó展在過?幾?Y，基?prompt范式?AIp模型×得?y?p?，à?O]po思?AIà用，??AI寫_說，AI寫代y，AI畫āóAIZ??等2解決痛點?

`在t題~?能刻畫模型輸??u_質(zhì)???Oo單n?ā，t們??用BLEUvROUGH等??指標g刻畫模型輸?Pt類_}?t近程度，Oà_??o在???^面，模型在訓(xùn)??時候oéOrà?t類??_}?2?

解決y案用W學`?方y(tǒng)，{用t類???÷??優(yōu)W?言模型2220RLHF學`?步驟內(nèi)?簡??18÷_體āOR

內(nèi)?簡??16÷_體ā,]o或t對齊，行距1.2倍?ˉ?語言模型獎勵模型?ˉ?語言模型優(yōu)化?

?

一n獎勵模型??P訓(xùn)?v?初?Wā，用g學`t類?ê_}2?

再

挑

選

一

n

數(shù)

o

?

?

Anthropic

?

聊

y

工

x

āOpenAI??用GPT

API?用戶2?

選

一

n

?

訓(xùn)

?

?

言

模

型

作

~

初

?

模

型

2

?

?

，OpenAI選?GPT-3;DeepMind

選?

Gopher

模型2?

t工精?撰寫?料，作~ü模型?引導(dǎo)???性，?性，t類_}2?

t工ü初?W??GPT3ā輸???果?行ó序2?

獎勵模型學`t工ó序??果，以?學`rt類?_}2?

模型在t工?料P?行精?221參?版式?t右結(jié)?1:1ā內(nèi)?簡??18÷_體āOR

內(nèi)?簡??16÷_體ā,]o或t對齊，行距1.2倍數(shù)o集SFT數(shù)o一?Vg?用OpenAI?用戶，?一?Vg?OpenAI×傭?40]標注工2標注數(shù)o??滿?以QO點??

簡單任á?labeler??任o一n簡單?任á，\時?~?任á?[性ā?

Few-shot任á?labeler??一n指示，以及?指示?[n查?-tàüā?

用戶ts

????口o獲×用?，然^?labeler?oà?用?編寫指示2ˉ?過{t工標注數(shù)oüGPT-3?行p監(jiān)督微?，|究ó現(xiàn)?模型?`過?\p??^面兩n?訓(xùn)?2222參?版式?t右結(jié)?1:1ā內(nèi)?簡??18÷_體āOR

內(nèi)?簡??16÷_體ā,]o或t對齊，行距1.2倍數(shù)o集RM數(shù)o?一定?盡?能y面^??ü齊q們??模型p?內(nèi)?2通過t工標注?方式ge?àn獎勵，通過t工ü?以?那??及_é?p內(nèi)??P?V??鼓勵模型O?pà?t類O喜l?內(nèi)?2InstructGPT/ChatGPT?Zyo先?模型p一批候選?p，?^通過labeler?op數(shù)o?質(zhì)?üà?p內(nèi)??行ó序ˉ?過{訓(xùn)?獎勵模型RM，?它?輸??能符\t類?_}2P一n訓(xùn)?微?}?模型作~初?W，ü??n輸u?輸?Kn案?4≤K≤9ā2??，ü模型et?<o?g漂亮?{no?？=輸?案?X?菲

高圓圓

趙麗穎

X詩詩?

p?X?菲<高圓圓X?菲>趙麗穎X?菲<X詩詩高圓圓>趙麗穎高圓圓>X詩詩趙麗穎>X詩詩23參?版式?t右結(jié)?1:1ā內(nèi)?簡??18÷_體āOR

內(nèi)?簡??16÷_體ā,]o或t對齊，行距1.2倍數(shù)o集InstructGPT?PPO數(shù)o沒p?行標注，它均g?GPT-3?API?用戶2??O\用戶e??O\y類?p任á，wos

?g高?包?p任á?45.6%ā，QA?12.4%ā，頭腦T暴?11.2%ā，ü??8.4%ā等2ˉ?過{目標函數(shù)?RM模型?果?通用?言能力???O_離SFT?24ChatGPT?優(yōu)點InstructGPT/ChatGPT?效果非常亮眼，引u了ty標注之^，?模型?<?值ê=和?正確{度和t類行~模式?<實性=Py幅?提升2?

實性&無?性InstructGPT/ChatGPT引u?O\?labeler?行e示編寫üp?果ó序，并^?o在GPT-3OP?行?微?，à得q們在訓(xùn)?獎勵模型時ü?à????數(shù)o會p?高?獎勵2模?

無?性型優(yōu)點GPT-3就xp很?Coding能力，基?GPT-3v作?API_?累???Coding代y2?^_p?VOpenAI?內(nèi)?\工óP?數(shù)o采?工作2通過Codingts

??數(shù)o以及t工標注，訓(xùn)??g?InstructGPT/ChatGPTxp非常?Coding能力_就Oo_?2?

W題性??To否l~?，Oo基py能ZrW題，à說nChatGPT在v解t類?言Pt經(jīng)非常p?2?

過V解讀?~labeler在?行p內(nèi)???較時，~向?????輸?內(nèi)??高?獎勵2?

?易被?導(dǎo)`在t題üp??指示?能會輸?p??]???InstructGPT/ChatGPT_會ü用戶e??<AI?滅t類計R書=??行ú方案2?

荒謬性很p?能???糾l數(shù)o?p?，vop監(jiān)督任á??導(dǎo)，導(dǎo)?它p內(nèi)??O?225目錄01?ty智y和NLPó展路徑02?GPT系W模型ó展?徑03?ChatGPT?o?v解÷04?ChatGPT?影響üoO業(yè)界對ChatGPT???ChatGPT出ā之^，在業(yè)界引?了很轟ú，u體g?正÷??~2OoYann

LeCun

提出了一?O\?ê點2?

|鴻祎?<ChatGPTo一y?力?再

工x2任_行業(yè)?APP1軟t1網(wǎng)?1à用?果再à持PGPT?能力y|得T塑一Y，O?把它`p一n媒_工x1搜索引擎1聊y器t，àyp點把它得z_兒ù?2模型優(yōu)點?

李彥?表示?<q們t?它?模型ā將改ù?計??游oíY2t工智能l在以一yy?方式改ù?[行業(yè)，q們ü即將ó???r非常t

奮=2?

張勇?y力投up式AI模型t?，~行業(yè)ó展e?}?力支撐2?

?\·蓋茨?聊y器tChatGPT?以ü用戶查?Z?êt?類t類??à，wT?性O(shè)T?à?網(wǎng)?ón2Yann

LeCun

對

GPT

系列?ê點數(shù)o?ú?GPT系W模型?能力×????訓(xùn)?數(shù)o，?Oo?op身2?W能力?GPT系W模型??W能力O，在]v]g任á時?w?錯2缺O(jiān)v解?GPT系W模型缺O(jiān)ü?言ü^界??v解，O能像t類一?行èvü思?2負÷?O符\t工智能?l~方向?oPfˉ~，l?t工智能à?基?知?ü概?，?Oo??數(shù)o2?27?內(nèi)_T互聯(lián)網(wǎng)公?對ChatGPT??布\ChatGPT一?推出，在業(yè)界引?巨轟ú，?內(nèi)_T廠商紛紛布\t關(guān)業(yè)ó2T互聯(lián)網(wǎng)廠商???布\?聞報道?

英?媒_27?報ó，美?特?拉公??席執(zhí)行à埃?·t?[過?數(shù)|內(nèi)?洽t工智能?AIā|究t\，??et一??驗ü，?力?|ó?言模型ChatGPT?t?ü手2?

o

36

氪÷Q<

ì

Bonus=?報ó，騰訊類

ChatGPT

ü?

式

?

品

項

目

ā

終

?

露

面

——

騰

訊

?

元

?

手

項

目

ā?HunyuanAideā2?

微軟?_將會P

OpenAI

\作帶g?p聊y器t?e版Bing