ChatGPT認(rèn)知白皮書介紹

I重要提示：本報(bào)告僅供內(nèi)部研究使用，不做投資參考，未經(jīng)允許，I雖然我們已經(jīng)可以開始用ChatGPT進(jìn)行聊天，寫出一些讓人想不到的東西。但如果想了解開源人工智能，想了解ChatGPT完整的內(nèi)容時(shí)。我們還需要看各方面的報(bào)告，將信息進(jìn)行拼圖。從這一角度看，人工智能要走的路還很多。我從各種渠道采集了各種的報(bào)告，希望能從一個(gè)較客觀我的角度來寫一份報(bào)告。讓系統(tǒng)了解這一技術(shù)進(jìn)步，以及這處技術(shù)給技術(shù)發(fā)展、產(chǎn)品發(fā)展、人工智能的解決方案及各種應(yīng)用場(chǎng)景帶來哪些好處。對(duì)于普通的公司與普通人有什么樣的影響呢？結(jié)合這些年的工作，以及從2020年開始展開的認(rèn)知對(duì)抗的經(jīng)歷，給大家盡可能呈現(xiàn)出一個(gè)客觀我的場(chǎng)景?？陀^來講，ChatGPT這一次熱潮本身就是由AIGC技術(shù)本身操縱出來的。他在與大家聊天的同時(shí)，也在生成著大家關(guān)注的文章，帶著節(jié)奏。過去人工智能技術(shù)是由人幫人工智能技術(shù)去宣傳與推廣。而這一次是人工智能自己為自己炒作。當(dāng)結(jié)合從去年底開始硅谷的裁員潮，可以看出傳統(tǒng)領(lǐng)先的企業(yè)已開始采用新技術(shù)為自己提升生產(chǎn)力。但這并沒有止步于高科技公司。帶來的影響將是社會(huì)級(jí)的變化。對(duì)于傳統(tǒng)的人類來講，是一次機(jī)會(huì)，同時(shí)也是一次挑戰(zhàn)。杜玉河龍?zhí)ь^I報(bào)告導(dǎo)讀ChatGPT是0penAl開發(fā)的智能聊天機(jī)器人程序。不僅能像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼等任務(wù)。ChatGPT自發(fā)布以來爆火全球，月活破億用時(shí)僅2個(gè)多月，被稱為"史上用戶增長(zhǎng)最快的消費(fèi)者應(yīng)用"。憑借其功能多樣，ChatGPT未來的市場(chǎng)規(guī)模想象空間巨大，不同領(lǐng)域和形式的商業(yè)化嘗試也在逐步推進(jìn)中，但當(dāng)下ChatGPT仍然只能起到輔助作用，技術(shù)之外的社會(huì)負(fù)面問題也值得我們關(guān)注。隨著各大巨頭的紛紛涌入，ChatGPT概念成為市場(chǎng)追逐的熱點(diǎn)，我們梳理出了部分包括百度、阿里等港股市場(chǎng)的關(guān)鍵公司。I一、前世今生1.1基本概念ChatGPT是美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI新推出的一種人工智能技術(shù)驅(qū)動(dòng)的自然語言處理工具，使用了Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)，也是GPT-3.5架構(gòu)。這是一種用于處理序列數(shù)據(jù)的模型，擁有語言理解和文本生成能力，尤其是它會(huì)通過連接大量的語料庫來訓(xùn)練模型，這些語料庫包含了真實(shí)世界中的對(duì)話，使得ChatGPT具備上知天文下知地理，還能根據(jù)聊天的上下文進(jìn)行互動(dòng)的能力，做到與真正人類幾乎無異的聊天場(chǎng)景進(jìn)行交流。ChatGPT不單是聊天機(jī)器人，還能進(jìn)行撰寫郵件、視頻腳本、文案、翻譯、代碼等任務(wù)。ChatGPT自2022年11月30日發(fā)布以來爆火全球，5天注冊(cè)用戶超100萬，月活破億用時(shí)僅2個(gè)多月，被稱為“史上用戶增長(zhǎng)最快的消費(fèi)者應(yīng)用”。I1.2ChatGPT為何如此火爆？首先，最本質(zhì)的出圈原因就是大家對(duì)于其功能之強(qiáng)大和應(yīng)用范圍之廣泛的驚嘆，小到簡(jiǎn)單的文字對(duì)話交流，大到小說文案論文寫作都不在話下，甚至可以實(shí)現(xiàn)代碼編寫。并且ChatGPT在經(jīng)過了大量數(shù)據(jù)訓(xùn)練之后，可以生成更自然、更多樣化的響應(yīng)，讓人難以辨別其內(nèi)容是Al生成還是真人撰寫。強(qiáng)大的功能使其在學(xué)生之間快速傳播，甚至導(dǎo)致其在教育領(lǐng)域遭到“封殺”。據(jù)海外媒體報(bào)道，美國(guó)某大學(xué)教授為學(xué)生作業(yè)評(píng)分時(shí)，讀到了一篇沒有錯(cuò)別字和語法錯(cuò)誤的“最佳論文"，最后發(fā)現(xiàn)是學(xué)生用ChatGPT完成的。據(jù)調(diào)查顯示，美國(guó)89%的大學(xué)生在用ChatGPT做作業(yè)，因此為了避免其危害，教育部開始限制學(xué)生對(duì)于ChatGPT的使用。這也側(cè)面反應(yīng)了ChatGPT的強(qiáng)大功能和火爆程度。過去Al技術(shù)已有諸多成功的商業(yè)化應(yīng)用，例如基于人工智能算法的個(gè)性化推薦，但人們的感知并不強(qiáng)烈；而過去面向C端的產(chǎn)品，體驗(yàn)并不完善，并未在社會(huì)面引起巨大反響并傳播開來。因此ChatGPT的面世與出圈，堪稱是迄今為止最成功的的C端人工智能應(yīng)用，意味著Al技術(shù)對(duì)于普羅大眾正式從幕后走向臺(tái)前，這對(duì)于Al技術(shù)未來的發(fā)展和商業(yè)化運(yùn)用都有著里程碑式的意義。目前，ChatGPT已經(jīng)在美國(guó)通過了律師從業(yè)資格證，并且打贏了很多起法律訴訟案件！美國(guó)普林斯頓大學(xué)，還用ChatGPT拿來做醫(yī)療診斷，目前的準(zhǔn)確率、可靠性已經(jīng)遠(yuǎn)遠(yuǎn)超過資深的醫(yī)生！ChatGPT還通過了谷歌程序員考核，可以拿到18萬元的年薪！Ch來來來atGPT還可以幫高校畢業(yè)生書寫論文，而且不重復(fù)，并高分通過審核！ChatGPT畫出來的畫的質(zhì)量也已經(jīng)超過頂級(jí)畫家的水準(zhǔn)！上面僅僅是舉幾個(gè)例子?？梢哉f，ChatGPT目前顛覆了太多行業(yè)，現(xiàn)在各行各業(yè)的從業(yè)者也是十分的焦慮。例如，ChatGPT怎樣顛覆房地產(chǎn)行業(yè)？以前開發(fā)商拿地是盲目的預(yù)估，ChatGPT將會(huì)給開發(fā)商更加合理的拿地價(jià)格。拿地后怎么開發(fā)，開發(fā)什么戶型，怎么進(jìn)行營(yíng)銷，ChatGPT都會(huì)給出更加合理的方案。就是說，人工智能能夠通過大數(shù)據(jù)整合、信息整合并通過合理的計(jì)算方式，自行學(xué)習(xí)后給出合理的方案。業(yè)界有以下看法：也許，這是一個(gè)可以控制整個(gè)元宇宙的技術(shù)實(shí)現(xiàn)平臺(tái)；一場(chǎng)意識(shí)形態(tài)的核戰(zhàn)爭(zhēng)就要來了；比經(jīng)濟(jì)危機(jī)更嚴(yán)重的危機(jī)來了。I1.3OpenAI公司深度分析1OpenAI（開放人工智能[4]）是美國(guó)一個(gè)人工智能研究實(shí)驗(yàn)室，由營(yíng)利組織OpenAILP與母公司非營(yíng)利組織OpenAIInc所組成，目的是促進(jìn)和發(fā)展友好的人工智能，使人類整體受益。OpenAI成立于2015年底，總部位于加利福尼亞州舊金山，組織目標(biāo)是通過與其他機(jī)構(gòu)和研究者的“自由合作”，向公眾開放專利和研究成果。創(chuàng)始人山姆·柯曼以及伊隆·馬斯克的動(dòng)機(jī)是出于對(duì)強(qiáng)人工智慧潛在風(fēng)險(xiǎn)的擔(dān)憂。至2018年，OpenAI的總部坐落于舊金山的米慎區(qū)，與伊隆·馬斯克的另一座公司Neuralink在同一辦公室大樓。1.3.1組織架構(gòu)OpenAI于2019年轉(zhuǎn)型為營(yíng)利性人工智能研究實(shí)驗(yàn)室組織。公司由兩個(gè)實(shí)體組織組成：OpenAI,Inc.，由非營(yíng)利組織OpenAI和營(yíng)利性組織OpenAILP控制。OpenAILP由OpenAI,Inc（基金會(huì)）的董事會(huì)管理，作為普通合伙人。同時(shí)，有限合伙人包括LP的員工、部分董事會(huì)成員以及ReidHoffman的慈善基金會(huì)、KhoslaVentures和微軟,LP的主要投資者。I1.3.2創(chuàng)始團(tuán)隊(duì)山姆·柯曼、伊爾亞·蘇茨克維、格雷格·布洛克曼、沃伊切赫·扎倫巴、伊隆·馬斯克、約翰·舒曼、安德烈·卡帕西。I1.3.3運(yùn)作結(jié)構(gòu)OpenAI細(xì)分為：OpenAIInc.，這是一家單一成員特拉華州有限責(zé)任公司，OpenAI和OpenAILP控制。微軟是有限合伙人，它還有一項(xiàng)商業(yè)協(xié)議作為2019年投資的10億美元的一部分，內(nèi)容包含Microsoft/OpenAIAzureAI超級(jí)計(jì)算技術(shù)。OpenAI產(chǎn)品通過在微軟Azure上進(jìn)行訓(xùn)練，而微軟將是OpenAI人工智能新技術(shù)商業(yè)化的首選合作伙伴。IFRS（英語：IlyaSutskever，1985/1986年是一名加拿大計(jì)算機(jī)科學(xué)家，從事機(jī)器學(xué)習(xí)的研究。他是OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家。蘇茨克維對(duì)深度學(xué)習(xí)領(lǐng)域做出多項(xiàng)重大貢獻(xiàn)。他與亞歷克斯·克里澤夫斯基和杰弗里·辛頓是卷積神經(jīng)網(wǎng)絡(luò)AlexNet的共同發(fā)明人。他也是AlphaGo論文的眾多作者之一。21985年出生，出生地是俄羅斯諾夫哥羅德，這座城市位于俄羅斯西北部。3雖然是俄羅斯出生，但伊爾亞主要是在以色列長(zhǎng)大，像很多計(jì)算機(jī)達(dá)人一樣，他從小就展現(xiàn)出對(duì)計(jì)算機(jī)的濃厚興趣，并且學(xué)習(xí)優(yōu)異，甚至在大學(xué)期間，也曾連跳兩級(jí)。借由人類大腦神經(jīng)元的啟發(fā)，上個(gè)世紀(jì)80年代，杰弗里·辛頓將反向傳播算法應(yīng)用到了計(jì)算機(jī)深度學(xué)習(xí)，將聯(lián)結(jié)主義人工智能帶到了新的高度。2015年，OpenAI成立，伊爾亞成為這家公司的首席科學(xué)家，年薪190萬，而后續(xù)chatGPT的理論概念，誕生于伊爾亞與其他學(xué)者共同在2017年發(fā)布的一篇論文，次年，OpenAI推出了GPT的第一個(gè)版本，如今，GPT迭代到了GPT-3，參數(shù)量達(dá)到了1750億，而最近爆火的chatGPT正是基于GPT-3.5開發(fā)，上線僅僅五天，就有了100萬用戶，就在前不久，ChatGPT實(shí)現(xiàn)了月活破億。2012年，由于辛頓的AlexNet神經(jīng)網(wǎng)絡(luò)大獲成功，因其徹底打開全球深度學(xué)習(xí)的熱潮，AlexNet又被看作是AI深度學(xué)習(xí)革命的開始。2002年，伊爾亞全家移民至加拿大多倫多，正是在此期間，伊爾亞遇到了世界AI領(lǐng)域的頂級(jí)大神、多倫多大學(xué)教授杰弗里·辛頓（GeoffreyHinton他是美國(guó)計(jì)算機(jī)協(xié)會(huì)認(rèn)可的“深度學(xué)習(xí)三巨頭”之一，被業(yè)界稱為深度學(xué)習(xí)教父！2000年至2002年期間，蘇茨克維在就讀于以色列開放大學(xué)[6]。2002年，他與家人移居加拿大，并轉(zhuǎn)入多倫多大學(xué)，隨后在杰弗里·辛頓的指導(dǎo)下獲得數(shù)學(xué)學(xué)士學(xué)位（2005年）[6][7][3][8]、計(jì)算機(jī)科學(xué)碩士學(xué)位（2007年）[7][9]和博士學(xué)位（2012年）[8][10]。2012年畢業(yè)后，蘇茨克維在史丹佛大學(xué)的吳恩達(dá)那里做了兩個(gè)月的博士后。之后他回到多倫多大學(xué)，加入辛頓的新研究公司DNNResearch，這是辛頓研究小組的一個(gè)衍生產(chǎn)品。四個(gè)月后，在2013年3月，Google收購了DNNResearch，并聘請(qǐng)?zhí)K茨克維為Google大腦的研究科學(xué)家。在Google大腦，蘇茨克維與奧里奧爾·維尼亞爾斯和QuocVietLe合作創(chuàng)建了Seq2Seq學(xué)習(xí)算法。2015年，蘇茨克維被評(píng)為《麻省理工科技評(píng)論》35位35歲以下的創(chuàng)新者[12]。2/zh-hans/%E4%BC%8A%E7%88%BE%E4%BA%9E%C2%B7%E8%98%87%E8%8C%A8%E5%85%8B%E7%B6%ADI2015年底，他離開Google，成為新成立的OpenAI的主管[13]。2018年，蘇茨克維是NVIDIANTECH和人工智慧前沿會(huì)議的主旨發(fā)言人。他于2022年當(dāng)選為英國(guó)皇家學(xué)會(huì)院士[14]。2015年底，OpenAI成立，總部位于加利福尼亞州舊金山，組織目標(biāo)是通過與其他機(jī)構(gòu)和研究者的“自由合作”，向公眾開放專利和研究成果。2016年，OpenAI宣稱將制造“通用”機(jī)器人，希望能夠預(yù)防人工智能的災(zāi)難性影響，推動(dòng)人工智能發(fā)揮積極作用。2019年3月1日成立OpenAILP子公司，目的為營(yíng)利所用。2019年7月22日微軟投資OpenAI10億美元，雙方將攜手合作替Azure云端平臺(tái)服務(wù)開發(fā)人工智慧技術(shù)。2020年6月11日宣布了GPT-3語言模型，微軟于2020年9月22日取得獨(dú)家授權(quán)。2022年11月30日，OpenAI發(fā)布了一個(gè)名為ChatGPT的自然語言生成式模型，它以對(duì)話方式進(jìn)行交互。在研究預(yù)覽期間，用戶注冊(cè)并登陸后可免費(fèi)使用ChatGPT。但是該項(xiàng)目對(duì)一些包括中國(guó)大陸、香港在內(nèi)的地區(qū)暫不可用。2015年，馬斯克和OpenAI現(xiàn)任CEOSamAltman等人共同創(chuàng)辦了非營(yíng)利組織OpenAI，對(duì)外宣稱要避免人工智能滅世。2018年，OpenAI突然把馬斯克踢出了董事會(huì)，據(jù)媒體稱是因?yàn)樘厮估钊胙芯孔詣?dòng)駕駛的AI技術(shù)，與OpenAI出現(xiàn)了利益沖突。除此以外，馬斯克對(duì)于OpenAI的不滿在一定程度上還要?dú)w咎于ChatGPT近期種種表現(xiàn)確實(shí)讓人大跌眼鏡，比如ChatGPT版必應(yīng)搜索引擎對(duì)用戶胡說八道，向用戶示愛，突然發(fā)脾氣，遭到質(zhì)疑時(shí)還會(huì)PUA用戶。結(jié)合親自試用的經(jīng)驗(yàn)，馬斯卡在推特上對(duì)ChatGPT開啟了冷嘲熱諷模式：I此外，對(duì)于ChatGPT把馬斯克列入具有爭(zhēng)議性且應(yīng)該得到“特殊對(duì)待”的名單，馬斯克在一篇相關(guān)推文下面回了兩個(gè)略顯無奈的感嘆號(hào)。I1.3.4商業(yè)模式OpenAI的商業(yè)模式即API接口收費(fèi):客戶可以通過OpenAI的強(qiáng)大AI模型構(gòu)建應(yīng)用程序，例如訪問執(zhí)行各種自然語言任務(wù)的GPT-3、將自然語言翻譯成代碼的Codex以及創(chuàng)建和編輯原始圖像的DALL·E。公司按照不同項(xiàng)目的AI模式和不同需求進(jìn)行收費(fèi)，對(duì)于AI圖像系統(tǒng)I按不同的圖片分辨率定價(jià)；對(duì)于AI語言文字系統(tǒng)按字符單價(jià)收費(fèi)，對(duì)于調(diào)整模型和嵌入模型按照文字單價(jià)收費(fèi)，并根據(jù)不同的調(diào)用模型區(qū)別定價(jià)。目前DALL·E方面，已有超過300萬人在使用，每天生成超過400萬張圖像。其API具備快速、靈活、可拓展等性質(zhì)。1.3.4產(chǎn)品矩陣OpenAI不僅僅是ChatGPT:OpenAI的業(yè)務(wù)不僅僅局限于ChatGPT領(lǐng)域，還包括Dall·E2、Whisper等項(xiàng)目。DALL·E2可根據(jù)自然語言的描述創(chuàng)作逼真的繪畫作品，Whisper是一種語言識(shí)別系統(tǒng)，其魯棒性和準(zhǔn)確性極高，支持多種語言的轉(zhuǎn)錄并翻譯成英文。一個(gè)可以根據(jù)自然語言的描述創(chuàng)建逼真的圖像和藝術(shù)的人工智能系統(tǒng)。對(duì)現(xiàn)有圖像進(jìn)行逼真的編輯。拍攝圖像并創(chuàng)建受原件啟發(fā)的不同變體。2021年1月，OpenAI推出DALL·E1，并于一年后推出最新系統(tǒng)DALL·E2，能夠生成更逼真、更準(zhǔn)確的圖像，分辨率提高4倍。DALL·E2優(yōu)于DALL·E1的標(biāo)題匹配和照片級(jí)真實(shí)感，字幕匹配度優(yōu)于一代71.7%，照片級(jí)寫實(shí)程度優(yōu)于DALL·E1的88.8%。DALL-E2使用了一種改進(jìn)的GLIDE模型，這種模型以兩種方式使用投影的CLIP文本嵌入，DALL-E2先驗(yàn)子模型和圖像生成子模型都是基于擴(kuò)散模型的，體現(xiàn)了其在深度學(xué)習(xí)中的能力。核心產(chǎn)品——Whisper，一個(gè)自動(dòng)語音識(shí)別（ASR）系統(tǒng)，對(duì)從網(wǎng)絡(luò)收集的68萬小時(shí)的多語言和多任務(wù)監(jiān)督數(shù)據(jù)進(jìn)行訓(xùn)練。使用這樣一個(gè)龐大而多樣的數(shù)據(jù)集可以提高對(duì)口音、背景噪聲和技術(shù)語言的魯棒性。支持多種語言的轉(zhuǎn)錄，以及將這些語言翻譯成英語。Whisper架構(gòu)：是一種簡(jiǎn)單的端到端方法，作為編碼器-解碼器Transformer實(shí)現(xiàn)。輸入音頻被分成30秒的塊，轉(zhuǎn)換為log-Mel頻譜圖，然后傳遞到編碼器中。訓(xùn)練解碼器來預(yù)測(cè)相應(yīng)的文本標(biāo)題，并與指示單個(gè)模型執(zhí)行語言識(shí)別、短語級(jí)時(shí)間戳、多語言語音聽錄和英語語音翻譯等任務(wù)的特殊標(biāo)記混合在一起。2023年2月10日，OpenAI在美國(guó)推出了ChatGPTPlus訂閱服務(wù)，每月收費(fèi)20美元，支持以下功能：高峰時(shí)段也能正常訪問ChatGPT、更快的響應(yīng)時(shí)間、優(yōu)先使用新功能和改進(jìn)。根據(jù)路透社，OpenAI預(yù)計(jì)2023年收入2億美元，2024年收入10億美元。據(jù)華爾街日?qǐng)?bào)，截至2023年1月，OpenAI正在就收購要約進(jìn)行談判，這將使公司估值達(dá)到290億美元，是公司2021年市值的兩倍。2023年1月23日，微軟宣布了一項(xiàng)新的對(duì)OpenAI的多年期、數(shù)十億美元的投資計(jì)劃。紅杉資本預(yù)測(cè)：ChatGPT這類生成式AI工具，讓機(jī)器開始大規(guī)模涉足知識(shí)類和創(chuàng)造性工作，未來預(yù)計(jì)能夠產(chǎn)生數(shù)萬億美元的經(jīng)濟(jì)價(jià)值。1.3.5技術(shù)路線ChatGPT是基于GPT-3.5的主力模型，ChatGPT在互聯(lián)網(wǎng)開源數(shù)據(jù)集上進(jìn)行訓(xùn)練，引入人HumanFeedback，RLHF）。因此，相比于之前的模型，ChatGPT可以用更接近人類思考的方式，根據(jù)上下文和情景，模擬人類的情緒和語氣回答用戶提出的問題。OpenAI首席執(zhí)行官稱，GPT-4有望成為多模態(tài)的人工智能，根據(jù)openAI創(chuàng)始人Altman消息，GPT-4參數(shù)預(yù)計(jì)更大，計(jì)算模型優(yōu)化有望實(shí)現(xiàn)更優(yōu)化，且GPT-4將是純文本模型(不是多模態(tài))，我們認(rèn)為GPT-4的推出潛在商業(yè)價(jià)值巨大，模型更具備“擬人化”的功能，文本生成和內(nèi)容創(chuàng)作有望更加豐富，并有望進(jìn)入文字工作的相關(guān)領(lǐng)域，例如新聞、金融等相關(guān)行業(yè)。NLP模型首選——Transformers。2017年由GoogleBrain團(tuán)隊(duì)推出深度學(xué)習(xí)模型Transformer，采用自注意力機(jī)制，對(duì)輸入數(shù)據(jù)的每一部分的重要性進(jìn)行差異加權(quán)，主要用于自然語言處理(NLP)和計(jì)算機(jī)視覺(CV)領(lǐng)域。IBERT(BidirectionalEncoderRepresentationsfromTransformers)為谷歌于2018年推出的一種基于神經(jīng)網(wǎng)絡(luò)的NLP預(yù)訓(xùn)練技術(shù)，BERT在情緒分析和回答問題等分類任務(wù)中表現(xiàn)良好，在命名實(shí)體識(shí)別和下一句預(yù)測(cè)方面也表現(xiàn)出色。ChatGPT同樣是根據(jù)語言/語料概率來自動(dòng)生成回答的每一個(gè)字（詞語），即利用已經(jīng)說過的語句作為輸入條件，預(yù)測(cè)下一個(gè)時(shí)刻語句出現(xiàn)的概率分布。IChatGPT是一個(gè)出色的NLP（Naturallanguageprocessing-自然語言識(shí)別）新模型。NLP隨算力增長(zhǎng)突破：在過去的十年里，通過使用簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)計(jì)算，基于以GPU、TPU為代表的強(qiáng)大算力資源，并在巨量的數(shù)據(jù)上進(jìn)行訓(xùn)練，自然語言處理（NLP）取得了令世人矚目的成就和突破。側(cè)重文本分析能力：NLP技術(shù)是人工智能(AI)和機(jī)器學(xué)習(xí)(ML)的子集，專注于讓計(jì)算機(jī)處理和理解人類語言。雖然語音是語言處理的一部分，但自然語言處理最重要的進(jìn)步在于它對(duì)書面文本的分析能力。NLP/NLU領(lǐng)域已知局限包括對(duì)重復(fù)文本、對(duì)高度專業(yè)的主題的誤解，以及對(duì)上下文短語的誤解。IlRLHF：InstructGPT/GPT3.5（ChatGPT的前身）與GPT-3的主要區(qū)別在于，新加入了被稱為RLHF（ReinforcementLearningfromHumanFeedback，人類反饋強(qiáng)化學(xué)習(xí)）。l循環(huán)：訓(xùn)練范式增強(qiáng)了人類對(duì)模型輸出結(jié)果的調(diào)節(jié)，整個(gè)訓(xùn)練過程是人類、代理對(duì)目標(biāo)的理解和RL訓(xùn)練之間的3步反饋循環(huán)。l在InstructGPT中，以下是“goodnessofsentences”的評(píng)價(jià)標(biāo)準(zhǔn)。真實(shí)性：是虛假信息還是誤導(dǎo)性信息？無害性：它是否對(duì)人或環(huán)境造成身體或精神上的傷害？有用性：它是否解決了用戶的任務(wù)？TAMER（TraininganAgentManuallyviaEvaluativeReinforcement，評(píng)估式強(qiáng)化人工訓(xùn)練代理）框架將人類標(biāo)記者引入到Agents的學(xué)習(xí)循環(huán)中，可以通過人類向Agents提供獎(jiǎng)勵(lì)反饋（即指導(dǎo)Agents進(jìn)行訓(xùn)練），從而快速達(dá)到訓(xùn)練任務(wù)目標(biāo)。通過TAMER+RL（強(qiáng)化學(xué)習(xí)借助人類標(biāo)記者的反饋，能夠增強(qiáng)從馬爾可夫決策過程(MDP)獎(jiǎng)勵(lì)進(jìn)行強(qiáng)化學(xué)習(xí)(RL)的過程I1.3.6產(chǎn)業(yè)價(jià)值Bing&Edge+AI：2023年2月8日，微軟公司發(fā)布了新版必應(yīng)AI搜索引擎和Edge瀏覽器，采用了ChatGPT開發(fā)商OpenAI的最新技術(shù)AI模型GPT3.5的升級(jí)版，率先提供更具對(duì)話性的網(wǎng)絡(luò)搜索和創(chuàng)建內(nèi)容的替代方式，集搜索、瀏覽、聊天于一體，帶來前所未有的全新體驗(yàn)。微軟企業(yè)副總裁兼消費(fèi)領(lǐng)域首席營(yíng)銷官YusufMehdi公布的最新推文稱，在新版Bing上線48小時(shí)內(nèi)，已經(jīng)有超過100萬人申請(qǐng)加入。I即將賦能“千行百業(yè)”以ChatGPT為代表的的AIGC作為當(dāng)前新型的內(nèi)容生產(chǎn)方式，已經(jīng)率先在傳媒、電商、影視、娛樂等數(shù)字化程度高、內(nèi)容需求豐富的行業(yè)取得重大創(chuàng)新發(fā)展，市場(chǎng)潛力逐漸顯現(xiàn)。數(shù)字媒體公司BuzzFeed表示公司將使用OpenAI開放的應(yīng)用編程接口（API），該公司將依靠ChatGPT的創(chuàng)建者OpenAI來加強(qiáng)部分內(nèi)容創(chuàng)作，并為觀眾個(gè)性化一些內(nèi)容，打算2023年讓人工智能在公司的編輯和業(yè)務(wù)運(yùn)營(yíng)中發(fā)揮更大的作用。未來，ChatGPT亦可應(yīng)用在數(shù)字營(yíng)銷的多個(gè)領(lǐng)域，譬如內(nèi)容創(chuàng)建、個(gè)性化廣告文案、電子郵件營(yíng)銷等等，助力增強(qiáng)行業(yè)的生產(chǎn)力。I1.4AIGC：Chat所應(yīng)用的技術(shù)經(jīng)歷了哪幾個(gè)階段？AIGC發(fā)展可分為三階段，早期萌芽階段（上世紀(jì)50年代至90年代中期），沉淀累積階段（上世紀(jì)90年代至本世紀(jì)10年代中期），快速發(fā)展階段（本世紀(jì)10年代中期至今）。1.4.1、早期萌芽階段(1950s--1990s)由于技術(shù)限制AIGC僅限于小范圍實(shí)驗(yàn)與應(yīng)用，1957年出現(xiàn)首支電腦創(chuàng)作的音樂作品，弦樂四重奏《依利亞克組曲（IlliacSuite）》，80年代末至90年代中由于高成本及難以商業(yè)化，因此資本投入有限導(dǎo)致AIGC無較多較大成績(jī)。1.4.2、沉淀累積階段(1990s--2010s)AIGC從實(shí)驗(yàn)性轉(zhuǎn)向?qū)嵱眯裕?006年深度學(xué)習(xí)算法取得進(jìn)展，同時(shí)GPU,CPU等算力設(shè)備日益精進(jìn)，互聯(lián)網(wǎng)快速發(fā)展，為各類人工智能算法提供海量數(shù)據(jù)進(jìn)行訓(xùn)練。2007年首部人工I智能裝置完成的小說《ITheRoad》(《在路上》)問世，2012年微軟展示全自動(dòng)同聲傳譯系統(tǒng)，主要基于“深度神經(jīng)網(wǎng)絡(luò)”(DeepNeuralNetwork，DNN)自動(dòng)將英文講話內(nèi)容通過語音識(shí)別等技術(shù)生成中文。1.4.3、快速發(fā)展階段(2010S至今)2014年深度學(xué)習(xí)算法“生成式對(duì)抗網(wǎng)絡(luò)”(GenerativeAdversarialNetwork,GAN)推出并迭代更新，助力AIGC新發(fā)展。2017年微軟人工智能少年“小冰”推出世界首部由人工智能寫作的詩集《陽光失了玻璃窗》，2018年NVIDIA(英偉達(dá))發(fā)布StyleGAN模型可自動(dòng)生成圖片，2019年DeepMind發(fā)布DVD-GAN模型可生成連續(xù)視頻。2021年OpenAI推出DALL-E并更新迭代版本DALL-E-2，主要用于文本、圖像的交互生成內(nèi)容。我國(guó)AIGC市場(chǎng)在2022年底引起較大關(guān)注，2023年開年企業(yè)端躍躍欲試。雖然行業(yè)仍處于起步階段，距離大規(guī)模證明和體系化發(fā)展仍有距離，但從資本的加碼到應(yīng)用場(chǎng)景的探索，距離的縫隙有望逐步填補(bǔ)，同時(shí)，“模塊分拆+個(gè)性化推薦”的“泛AIGC”形式有望持續(xù)發(fā)展。1.5ChartGPT的發(fā)展ChatGPT是由OpenAl團(tuán)隊(duì)研發(fā)創(chuàng)造，OpenAl是由創(chuàng)業(yè)家埃隆-馬斯克、美國(guó)創(chuàng)業(yè)孵化器YCombinator總裁阿爾特曼、全球在線支付平臺(tái)PayPal聯(lián)合創(chuàng)始人彼得-蒂爾等人于2015年在舊金山創(chuàng)立的一家非盈利的AI研究公司，擁有多位硅谷重量級(jí)人物的資金支持，啟動(dòng)資金高達(dá)10億美金；OpenAl的創(chuàng)立目標(biāo)是與其它機(jī)構(gòu)合作進(jìn)行Al的相關(guān)研究，并開放研究成果以促進(jìn)Al技術(shù)的發(fā)展。1.5.1OpenAl的ChatGPT是一種什么樣的技術(shù)？它是生成式人工智能技術(shù)（AIGC）浪潮的一部分。與其并齊的還有其他幾個(gè)技術(shù)。1.5.2ChatGPT技術(shù)演進(jìn)經(jīng)歷了哪幾個(gè)過程？ChatGPT是在GPT基礎(chǔ)上進(jìn)一步開發(fā)的自然語言處理模型。GPT模型是一種自然語言處理（NLP）模型，使用多層變換器（Transformer）來預(yù)測(cè)下一個(gè)單詞的概率分布，通過訓(xùn)練在大型文本語料庫上學(xué)習(xí)到的語言模式來生成自然語言文本。從GPT-1到GPT-3智能化程度不斷提升，ChatGPT的到來也是GPT-4正式推出之前的序章1.5.3ChatGPT發(fā)布后市場(chǎng)影響力如何？根據(jù)UBS發(fā)布的研究報(bào)告顯示，ChatGPT在1月份的月活躍用戶數(shù)已達(dá)1億，成為史上用戶數(shù)增長(zhǎng)最快的消費(fèi)者應(yīng)用。相比之下，TikTok花了九個(gè)月的時(shí)間月活躍用戶數(shù)才破億，而Instagram則花費(fèi)了兩年半的時(shí)間，同時(shí)，根據(jù)SimilarWeb的披露信息，Spotify在四年半后僅積累了1億月活躍用戶。根據(jù)SimilarWeb的數(shù)據(jù)，1月份平均每天有超過1300萬名獨(dú)立訪問者使用ChatGPT，是去年12月份的兩倍多。I1.5.4.ChatGPT都能做什么事情？由于ChatGPT包含了更多主題的數(shù)據(jù)，能夠處理更多小眾主題。ChatGPT能力范圍可以覆蓋回答問題、撰寫文章、文本摘要、語言翻譯和生成計(jì)算機(jī)代碼等任務(wù)。1.5.5.ChatGPT具備哪些先進(jìn)性的特征？ChatGPT嵌入了人類反饋強(qiáng)化學(xué)習(xí)以及人工監(jiān)督微調(diào)，因而具備了理解上下文、連貫性等諸多先進(jìn)特征，解鎖了海量應(yīng)用場(chǎng)景。當(dāng)前，ChatGPT所利用的數(shù)據(jù)集只截止到2021年。在對(duì)話中，ChatGPT會(huì)主動(dòng)記憶先前的對(duì)話內(nèi)容信息（上下文理解），用來輔助假設(shè)性的問題的回復(fù)，因而ChatGPT也可實(shí)現(xiàn)連續(xù)對(duì)話，提升了交互模式下的用戶體驗(yàn)。同時(shí)，ChatGPT也會(huì)屏蔽敏感信息，對(duì)于不能回答的內(nèi)容也能給予相關(guān)建議。II二、市場(chǎng)現(xiàn)狀2022年9月的AI繪畫作品《太空歌劇院》獲得美國(guó)科羅拉多州博覽會(huì)的藝術(shù)比賽的第一名，當(dāng)時(shí)有人預(yù)測(cè)若未來五年有10%-30%的圖片在AI的幫助下誕生,那么AI繪畫則將創(chuàng)造超過600億元的市場(chǎng)空間,若考慮到下一代互聯(lián)網(wǎng)對(duì)內(nèi)容需求的迅速提升,則可能創(chuàng)造更大的市場(chǎng)規(guī)模。隨后OpenAI的ChatGPT一問世就多次刷新之前APP注冊(cè)用戶數(shù)量突破的紀(jì)錄，業(yè)內(nèi)預(yù)測(cè)帶動(dòng)的市場(chǎng)規(guī)模將破萬億。1.ChatGPT是否已觸發(fā)新一輪的AI發(fā)展浪潮？2023年初，微軟和谷歌均宣布裁員計(jì)劃，但都加大了在Al行業(yè)的投入。2、國(guó)內(nèi)外主要有哪些玩家？國(guó)內(nèi)外科技巨頭積極布局深成是AI，部分公司已有成型產(chǎn)品。I面對(duì)ChatGPT構(gòu)成的威脅，注資3億美元投資競(jìng)品Anthropic.OpenAI的最大投資方，開始利用ChatGPTj是局產(chǎn)品競(jìng)爭(zhēng)力。I2.3亞馬遜ChatGPT受到重點(diǎn)關(guān)注，已廣泛運(yùn)用在各種工作職能中。2.4Buzzfoed美國(guó)新媒體巨頭2.5StabilityAlStableDiffusion大熱，OpenAl在圖片生成Al大有可為。I2.6Jasper采用同類底層技術(shù)，進(jìn)一步證明ChatGPT的巨大商業(yè)潛力。百度：1月10日，百度宣布將升級(jí)百度捜素的"生成式捜索"能力，智能解答用戶的捜素提問；2月7日，百度宣布將在3月份完成其ChatGPT產(chǎn)品的內(nèi)測(cè)，面向公眾開放，該項(xiàng)目名字為文心一言（ERNIEBot）,百度指出，生成式AI和搜索引擎是互補(bǔ)關(guān)系而不是替代；據(jù)路透社報(bào)道，百度計(jì)劃于3月將類似ChatGPT的AI對(duì)話服務(wù)作為獨(dú)立血用推岀,之后再逐步將其合并到捜索引擎中。I2.7騰訊2月3日，騰訊公布一項(xiàng)人機(jī)對(duì)話專利，能夠?qū)崿F(xiàn)機(jī)器與用戶之間自然且順暢的溝通。專利摘要顯示，該方法包括：當(dāng)人機(jī)對(duì)話被激活時(shí)，在預(yù)設(shè)文本庫中獲取用于進(jìn)行人機(jī)對(duì)話的參考文本；根據(jù)所參考文本，確定出對(duì)話過程中用于生成應(yīng)答信息的背景信息；接收人機(jī)對(duì)話的對(duì)話信息；根據(jù)對(duì)話信息和背景信息，確定出對(duì)應(yīng)的應(yīng)答信息。通過該申請(qǐng)，能夠?qū)崿F(xiàn)機(jī)器與用戶之間自然且順暢的溝通，提高用戶的使用體驗(yàn)度。4該項(xiàng)專利與這段時(shí)間爆火的人工智能聊天機(jī)器人ChatGPT的原理十分相似，ChatGPT是由初創(chuàng)公司OpenAI開發(fā)，并于2022年11月30日上線的對(duì)話式AI工智能生成式內(nèi)容）的一種應(yīng)用和產(chǎn)品，能實(shí)現(xiàn)撰寫代碼、回答問題、書寫論文、詩歌、劇本等指令。3、與ChatGPT相比還有哪些技術(shù)公司？AIGC創(chuàng)業(yè)公司大比拼，國(guó)外ChatGPT的優(yōu)勢(shì)遙遙領(lǐng)先并有望延續(xù)。 I4、成功的關(guān)鍵要素■人工智能不僅需要巨大的投入，還需要龐大的用戶數(shù)據(jù)基礎(chǔ)，只有互聯(lián)網(wǎng)巨頭才有這個(gè)能力產(chǎn)出偉大的產(chǎn)品■國(guó)外是微軟、谷歌、亞馬遜，而國(guó)內(nèi)則是百度、騰訊等互聯(lián)網(wǎng)巨頭最具潛力；相比國(guó)外巨頭，國(guó)內(nèi)巨頭正投入大量資金和人力成本快速發(fā)展人工智能技術(shù)，在沒有硝煙的人工智能競(jìng)賽中，中國(guó)企業(yè)也將異軍突起I三、產(chǎn)業(yè)地圖關(guān)于產(chǎn)業(yè)地圖可以分為不同的階段與層次。包括芯片層級(jí)如上圖所示，如果沒有包括芯片，則按下面的模式進(jìn)行劃分。2.1、產(chǎn)業(yè)上游：數(shù)據(jù)服務(wù)不論AIGC產(chǎn)業(yè)如何發(fā)展，人工智能的分析、創(chuàng)作、決策能力都依賴海量數(shù)據(jù)。因此決定不同機(jī)器間能力差異的就是數(shù)據(jù)的數(shù)量與質(zhì)量。I2.1.1、數(shù)據(jù)查詢與處理通常來說數(shù)據(jù)庫有兩種模型，一種像湖泊，匯聚來自各地的水源而不作區(qū)分；另一種像倉庫，分門別類的存儲(chǔ)數(shù)據(jù)。近幾年在科技的推動(dòng)下，現(xiàn)代數(shù)據(jù)庫一般都是兩種模型的結(jié)合，兼具二者的易用性、規(guī)范性等特征，還為用戶帶來降本增效、省時(shí)省力等特點(diǎn)。根據(jù)對(duì)其中數(shù)據(jù)的查詢與處理等時(shí)效性，涉及其中業(yè)務(wù)的公司可分為異步處理型公司和實(shí)時(shí)處理型公司。2.1.2、數(shù)據(jù)轉(zhuǎn)換與編排數(shù)據(jù)的處理主要涉及提取，加載和轉(zhuǎn)換。根據(jù)海外市場(chǎng)研究企業(yè)GrandViewResearch的數(shù)據(jù)，2021年全球數(shù)據(jù)集成工具市場(chǎng)的規(guī)模約105億美元，在未來十年將以年復(fù)合增長(zhǎng)率約12%的速度增長(zhǎng)。根據(jù)處理方式的區(qū)別，這種公司可以分為本地部署型公司和云端原生型公司。2.1.3、數(shù)據(jù)標(biāo)注與管理不論哪種機(jī)器學(xué)習(xí)模型，都可以簡(jiǎn)化為“老師教學(xué)生知識(shí)”，其中對(duì)知識(shí)點(diǎn)等數(shù)據(jù)就需要標(biāo)注與管理，從而進(jìn)行監(jiān)督，最終形成各種不同的算法模型。根據(jù)GrandViewResearch的數(shù)據(jù)，2021年全球數(shù)據(jù)標(biāo)注市場(chǎng)規(guī)模約為16.7億美元，在未來十年將以年復(fù)合增長(zhǎng)率約25%的速度增長(zhǎng)。根據(jù)公司業(yè)務(wù)拓展程度的差異，這種公司可以分為基礎(chǔ)型公司和擴(kuò)張型公司。2.1.4、數(shù)據(jù)治理與合規(guī)在數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)是和土地、人力、資本一樣舉足輕重的生產(chǎn)資料。因此就需要保證數(shù)據(jù)資產(chǎn)在管理時(shí)預(yù)先設(shè)置質(zhì)量規(guī)范，在后期的訪問和調(diào)取時(shí)也要做到合法合規(guī)，因此這項(xiàng)服務(wù)也就成為各大企業(yè)的必需品。根據(jù)海外市場(chǎng)研究企業(yè)ReporterLinker的數(shù)據(jù)，全球數(shù)據(jù)治理市場(chǎng)規(guī)模約18億美元，預(yù)計(jì)未來幾年將以年復(fù)合增長(zhǎng)率約22%的速度增長(zhǎng).根據(jù)服務(wù)交付模式，這種公司可以分為工具型公司和定制型公司。2.2、產(chǎn)業(yè)中游：算法模型算法模型是AIGC最核心的環(huán)節(jié)，是機(jī)器學(xué)習(xí)的關(guān)鍵所在。它包含三類參與者：專門實(shí)驗(yàn)室、企業(yè)研究院、開源社區(qū)。I算法模型在AI系統(tǒng)中起決策作用，是它完成各種任務(wù)的基礎(chǔ)，可以視為AI系統(tǒng)的靈魂所在。很多企業(yè)為了更好地研究算法并推動(dòng)商業(yè)化落地，在內(nèi)部都設(shè)立專門的實(shí)驗(yàn)室，因此這種實(shí)驗(yàn)室可以分為獨(dú)立型實(shí)驗(yàn)室和附屬型實(shí)驗(yàn)室。2.2.2、企業(yè)研究院一些集團(tuán)型公司或企業(yè)往往會(huì)設(shè)立專注于前沿科技領(lǐng)域的大型研究院，下設(shè)不同領(lǐng)域的細(xì)分實(shí)驗(yàn)室，通過學(xué)術(shù)氛圍更濃厚的管理方式為公司的科研發(fā)展添磚加瓦。2.2.3、開源社區(qū)開源社區(qū)對(duì)AIGC非常重要，它提供了一個(gè)共享成果、代碼的平臺(tái)，還可以與其他人相互合作，共同推動(dòng)AIGC相關(guān)技術(shù)的進(jìn)步。根據(jù)覆蓋領(lǐng)域的寬度和深度，這種社區(qū)可以分為綜合型開源社區(qū)和垂直型開源社區(qū)。I2.3、產(chǎn)業(yè)下游：應(yīng)用拓展任何優(yōu)秀的科研成果都需要最終落地部署才能產(chǎn)生實(shí)際意義和價(jià)值，算法模型也不例外。在AIGC產(chǎn)業(yè)鏈的下游，可以將相關(guān)應(yīng)用拓展到四個(gè)主要場(chǎng)景：文本處理、音頻處理、圖像處理、視頻處理。、文本處理目前，文本處理是AIGC相關(guān)技術(shù)距離普通消費(fèi)者最近的場(chǎng)景，也是技術(shù)較為成熟的場(chǎng)景，許多應(yīng)用公司都會(huì)從多個(gè)維度出發(fā)，輔助業(yè)務(wù)拓展與商業(yè)化過程中。一般說來文本處理可以細(xì)分為營(yíng)銷型、銷售型、續(xù)寫型、知識(shí)型、通用型、輔助型、交互型、代碼型。I、音頻處理此處主要介紹由語音合成技術(shù)來生成的相關(guān)應(yīng)用，與視頻相關(guān)的將放在視頻部分說明。目前的音頻處理主要分為三類：音樂型、講話型、定制型，很多公司都專注于此。AI的應(yīng)用將優(yōu)化供給效率，改善整體利潤(rùn)水平。、圖片處理圖片的創(chuàng)作門檻比文字高，傳遞信息也更直觀，所以商業(yè)化的潛力自然也更高。隨著AIGC應(yīng)用的日益廣泛，圖片處理也就從廣告、設(shè)計(jì)、編輯等角度帶來更大更多的機(jī)遇。圖片處理可細(xì)分為生成型、廣告型、設(shè)計(jì)型、編輯型。、視頻處理隨著時(shí)代的發(fā)展，人們?cè)谝曨l上的投入逐漸超出了在圖片上的，視頻也日益成為新時(shí)代最主流的內(nèi)容消費(fèi)形態(tài)。因此將AIGC引入視頻將是全新的賽道，也是技術(shù)難度最大的領(lǐng)域。視頻處理可以細(xì)分為生成型、編輯型、定制型、數(shù)字虛擬人視頻。II五、技術(shù)架構(gòu)體系I六、基本原理與技術(shù)的演進(jìn)1950年，人工智能的先驅(qū)艾倫·圖靈發(fā)表了一篇?jiǎng)潟r(shí)代的論文《計(jì)算機(jī)器與智能》，文中提出了著名的圖靈測(cè)試：“如果一臺(tái)機(jī)器能夠與人類展開對(duì)話(通過電信設(shè)備)而保證其機(jī)器身份不被識(shí)破，那么就可以認(rèn)為這臺(tái)機(jī)器具有智能。”此外文章還預(yù)言了在未來可能創(chuàng)造出具有真正智能的機(jī)器。圖靈測(cè)試最初版本的示意圖雖然圖靈測(cè)試從理論上驗(yàn)證了機(jī)器擁有智能的可能性，但AI正式發(fā)展成一門專業(yè)學(xué)科則是在1956年的達(dá)特茅斯會(huì)議，會(huì)議的組織者與參與者都是數(shù)一數(shù)二的科學(xué)家，包括約翰·麥卡錫，馬文·閔斯基，納撒尼爾·羅切斯特，克勞德·香農(nóng)等。在這次會(huì)議上，“人工智能”的名稱與概念正式確立，因此這次會(huì)議也被視為AI產(chǎn)業(yè)的起點(diǎn)。1.2、人工智能發(fā)展的三種流派符號(hào)主義認(rèn)為人類的一切活動(dòng)(包括體力活動(dòng)和智力活動(dòng))都是符合某種邏輯的，所有信息都可以用各種符號(hào)表示，人類的認(rèn)知過程就可以視為基于邏輯規(guī)則的，操作這些符號(hào)的過程。根據(jù)這種理論，如果電腦能自動(dòng)執(zhí)行和人腦一樣的規(guī)則和過程，那么就可以視為實(shí)現(xiàn)了人工智能。I聯(lián)結(jié)主義與符號(hào)主義幾乎是同時(shí)提出的，人工智能的關(guān)鍵不在于讓電腦等機(jī)器實(shí)現(xiàn)智力活動(dòng)，而應(yīng)該模仿人腦的結(jié)構(gòu)。這派觀點(diǎn)認(rèn)為智能是人腦細(xì)胞與神經(jīng)元彼此連接成網(wǎng)絡(luò)共同處理信息的結(jié)果，如果能在電腦中模擬這種結(jié)構(gòu)再實(shí)現(xiàn)人工智能自然也更輕松。早在電腦發(fā)明前的40年代，就有持這種觀點(diǎn)的科學(xué)家進(jìn)行了數(shù)學(xué)建模，奠定了后來人工神經(jīng)網(wǎng)絡(luò)和專家系統(tǒng)的雛形。與前兩種流派不同的，行為主義于上世紀(jì)80年代提出，它倡導(dǎo)“感知+行動(dòng)”。這種觀點(diǎn)源于“控制論”，強(qiáng)調(diào)模擬人在控制過程中的智能行為和動(dòng)作。但是限于時(shí)代和科技發(fā)展，行為主義直到上世紀(jì)末，隨著智能控制與機(jī)器人逐漸興起才引起重視。截至目前的AI發(fā)展，幾乎都是三種流派的結(jié)合運(yùn)用。專家系統(tǒng)結(jié)構(gòu)示意圖2.1、機(jī)器學(xué)習(xí)的概念在1950年，圖靈的論文《計(jì)算機(jī)器與智能》中提出了“學(xué)習(xí)機(jī)器”的概念，現(xiàn)在已經(jīng)發(fā)展成AI科學(xué)中的一個(gè)獨(dú)立分支。機(jī)器學(xué)習(xí)主要是設(shè)計(jì)和分析一些讓電腦可以“自動(dòng)學(xué)習(xí)”的算法，是一類從數(shù)據(jù)中自動(dòng)分析和獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。從技術(shù)角度說，這一理論關(guān)注可以實(shí)現(xiàn)的，行之有效的學(xué)習(xí)算法(要防止錯(cuò)誤累積)。I機(jī)器學(xué)習(xí)理論示意圖2.2、機(jī)器學(xué)習(xí)算法的分類機(jī)器學(xué)習(xí)中最容易理解與實(shí)現(xiàn)的是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)，前者就是感知器算法的典型案例之一，它也是人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。簡(jiǎn)要說來，監(jiān)督學(xué)習(xí)是從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，再接收到新數(shù)據(jù)時(shí)就可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入和輸出，也可以說是特征和目標(biāo)，訓(xùn)練集中的各項(xiàng)目標(biāo)都是人為標(biāo)注的。與之原理類似的，無監(jiān)督學(xué)習(xí)就是目標(biāo)沒有人為標(biāo)注，但還保有訓(xùn)練集且同樣要求輸入和輸出。不同形態(tài)的機(jī)器學(xué)習(xí)對(duì)比這種算法可以視為多層感知器，除了輸入輸出層外，它還加入了若干隱藏層。隱藏層中的神經(jīng)元節(jié)點(diǎn)可以與輸入輸出節(jié)點(diǎn)相連，每條鏈接上都有各自的權(quán)重系數(shù)，最終形成一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。之所以要加入隱藏層，是因?yàn)楝F(xiàn)實(shí)中很多情況都不是簡(jiǎn)單的二元對(duì)立，總有這樣那樣的變化需要考慮。I單層人工神經(jīng)網(wǎng)絡(luò)示意圖與監(jiān)督和無監(jiān)督學(xué)習(xí)更重視學(xué)習(xí)數(shù)據(jù)不同，強(qiáng)化學(xué)習(xí)是在給定的數(shù)據(jù)環(huán)境下，讓機(jī)器學(xué)習(xí)如何通過選擇一系列行動(dòng)來達(dá)成長(zhǎng)期累計(jì)收益最大化的目標(biāo)。從本質(zhì)上說，這種算法學(xué)習(xí)的是一套決策系統(tǒng)而非數(shù)據(jù)，它在很多游戲中都有運(yùn)用。著名的阿爾法狗(AlphaGo)就結(jié)合了強(qiáng)化學(xué)習(xí)與專家系統(tǒng)，能連續(xù)擊敗多位人類圍棋高手，名噪一時(shí)。強(qiáng)化學(xué)習(xí)構(gòu)成元素及其關(guān)系通過前面的介紹可以發(fā)現(xiàn)，不論哪種機(jī)器學(xué)習(xí)算法，對(duì)特征的選取和處理在模型訓(xùn)練中是很重要的，但在很多情況下要直接提取合適且有效的特征是很困難的，如提取海量圖片和句子的特征。此時(shí)的機(jī)器學(xué)習(xí)就不能只局限于圖片或句子的某一特征，而是它們背后隱含的復(fù)雜關(guān)系。因此需要結(jié)合深度模型進(jìn)行自動(dòng)計(jì)算，而模型主要是深度。神經(jīng)網(wǎng)絡(luò)，這是一種更復(fù)雜的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)算法就是采用類似的深層次結(jié)構(gòu)進(jìn)行機(jī)器學(xué)習(xí)的算法，目前大火的ChatGPT就運(yùn)用了這種算法。I不同形態(tài)的機(jī)器學(xué)習(xí)關(guān)系示意圖3、怎樣理解ChatGPT技術(shù)先進(jìn)性？3.1ChatGPT的技術(shù)是怎樣進(jìn)化來的？ChatGPT所能實(shí)現(xiàn)的人類意圖，來自于機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)以及Transformer模型的多種技術(shù)模型積累。轉(zhuǎn)移學(xué)習(xí)（TransferLearning）使基礎(chǔ)模型成為可能。技術(shù)層面上，基礎(chǔ)模型通過轉(zhuǎn)移學(xué)習(xí)（TransferLearningThrun1998）和規(guī)模（scale）得以實(shí)現(xiàn)。轉(zhuǎn)移學(xué)習(xí)的思想是將從一項(xiàng)任務(wù)中學(xué)習(xí)到的“知識(shí)”（例如，圖像中的對(duì)象識(shí)別）應(yīng)用于另一項(xiàng)任轉(zhuǎn)移學(xué)習(xí)（TransferLearning）使基礎(chǔ)模型成為可能。技術(shù)層面上，基礎(chǔ)模型通過轉(zhuǎn)移學(xué)習(xí)（TransferLearningThrun1998）和規(guī)模（scale）得以實(shí)現(xiàn)。轉(zhuǎn)移學(xué)習(xí)的思想是將從一項(xiàng)任務(wù)中學(xué)習(xí)到的“知識(shí)”（例如，圖像中的對(duì)象識(shí)別）應(yīng)用于另一項(xiàng)任務(wù)（例如，視頻中的活動(dòng)識(shí)別）。在深度學(xué)習(xí)中，預(yù)訓(xùn)練又是轉(zhuǎn)移學(xué)習(xí)的主要方法在替代任務(wù)上訓(xùn)練模型（通常只是達(dá)到目的的一種手段），然后通過微調(diào)來活應(yīng)感興趣的下游任務(wù)。轉(zhuǎn)移學(xué)習(xí)（TransferLearning）使基礎(chǔ)模型成為可能。大規(guī)模化（scale）使基礎(chǔ)模型更強(qiáng)大，因而GPT模型得以形成。大規(guī)模需要三個(gè)要素：I（i）計(jì)算機(jī)硬件的改進(jìn)——例如，GPU吞吐量和內(nèi)存在過去四年中增加了10倍ii）Transformer模型架構(gòu)的開發(fā)（Vaswanietal.2017該架構(gòu)利用硬件的并行性來訓(xùn)練比以前更具表現(xiàn)力的模型；以及（iii）更多訓(xùn)練數(shù)據(jù)的可用性。基于Transformer的序列建模方法現(xiàn)在應(yīng)用于文本、圖像、語音、表格數(shù)據(jù)、蛋白質(zhì)序列、有機(jī)分子和強(qiáng)化學(xué)習(xí)等，這些例子的逐步形成使得使用一套統(tǒng)一的工具來開發(fā)各種模態(tài)的基礎(chǔ)模型這種理念得以成熟。例如，GPT-3（Brownetal.2020）與GPT-2的15億參數(shù)相比，GPT-3具有1750億個(gè)參數(shù)，允許上下文學(xué)習(xí)，在上下文學(xué)習(xí)中，只需向下游任務(wù)提供提示（任務(wù)的自然語言描述），語言模型就可以適應(yīng)下游任務(wù)，這是產(chǎn)生的一種新興屬性。3.3Transformer針對(duì)不同場(chǎng)景的技術(shù)原理有哪些？Transformer實(shí)現(xiàn)的不同技術(shù)場(chǎng)景對(duì)應(yīng)的不同技術(shù)原理。Transformer架構(gòu)可分為自回歸系列（例如GPT-3，偏好生成性任務(wù)）、雙向Transformer+Mask的自編碼系列（例如BERT偏好自然語言理解）、Encoder-decoder架構(gòu)（例如T5，使用雙向/單向attention，偏好條件文本生成）3.4GPT-1能做什么？進(jìn)行無監(jiān)督訓(xùn)練和有監(jiān)督微調(diào)。借助預(yù)訓(xùn)練，進(jìn)行無監(jiān)督訓(xùn)練和有監(jiān)督微調(diào)。GPT-1模型基于Transformer解除了順序關(guān)聯(lián)和依賴性的前提，采用生成式模型方式，重點(diǎn)考慮了從原始文本中有效學(xué)習(xí)的能力，這對(duì)于減輕自然語言處理（NLP）中對(duì)監(jiān)督學(xué)習(xí)的依賴至關(guān)重要。GPT（GenerativePre-trainingTransformer）于2018年6月由OpenAl首次提出。GPT模型考慮到在自然語言理解中有大量不同的任務(wù)，盡管大量的未標(biāo)記文本語料庫非常豐富，但用于學(xué)習(xí)這些特定任務(wù)的標(biāo)記數(shù)據(jù)卻很少，這使得經(jīng)過區(qū)分訓(xùn)練的模型很難充分執(zhí)行。同時(shí)，大多數(shù)深度學(xué)習(xí)方法需要大量手動(dòng)標(biāo)記的數(shù)據(jù)，這限制了它們?cè)谠S多缺少注釋資源的領(lǐng)域的適用性；在考慮以上局限性的前提下，GPT論文中證明，通過對(duì)未標(biāo)記文本的不同語料庫進(jìn)行語言模型的生成性預(yù)訓(xùn)練，然后對(duì)每個(gè)特定任務(wù)進(jìn)行區(qū)分性微調(diào)，可以實(shí)現(xiàn)這些任務(wù)上的巨大收益。和之前方法不同，GPTIIIGPT-2仍未解決應(yīng)用中的諸多瓶頸。GPT-2聚焦在無監(jiān)督、zero-shot（零次學(xué)習(xí)）上，然而GPT-2訓(xùn)練結(jié)果也有不達(dá)預(yù)期之處，所存在的問題也亟待優(yōu)化。在GPT-2階段，盡管體系結(jié)構(gòu)是任務(wù)無關(guān)的，但仍然需要任務(wù)特定的數(shù)據(jù)集和任務(wù)特定的微調(diào)；要在所需任務(wù)上實(shí)現(xiàn)強(qiáng)大的性能，通常需要對(duì)特定于該任務(wù)的數(shù)干到數(shù)十萬個(gè)示例的數(shù)據(jù)集進(jìn)行微調(diào)。在微調(diào)期間使用任務(wù)感知輸入轉(zhuǎn)換，以實(shí)現(xiàn)有效的傳輸同時(shí)對(duì)模型架構(gòu)的更改最小。模型更簡(jiǎn)化、計(jì)算加速，更適合自然語言生成任務(wù)（NLG）。GPT相比于Transformer等模型進(jìn)行了顯著簡(jiǎn)化。相比于Transformer，GPT訓(xùn)練了一個(gè)12層僅decoder的解碼器（原Transformer模型中包含Encoder和Decoder兩部分）。相比于Google的BERT（BidirectionalEncoderRepresentationsfromTransformers，雙向編碼生成TransformerGPT僅采用上文預(yù)測(cè)單詞（BERT采用了基于上下文雙向的預(yù)測(cè)手段）。GPT-2：采用多任務(wù)系統(tǒng)，基于GPT-1進(jìn)行優(yōu)化。GPT-2在GPT-1的基礎(chǔ)上進(jìn)行諸多改進(jìn)，實(shí)現(xiàn)執(zhí)行任務(wù)多樣性，開始學(xué)習(xí)在不需要明確監(jiān)督的情況下執(zhí)行數(shù)量驚人的任務(wù)。在GPT-2階段，OpenAl去掉了GPT-1階段的有監(jiān)督微調(diào)（fine-tuning成為無監(jiān)督模型。大模型GPT-2是一個(gè)1.5B參數(shù)的Transformer，在其相關(guān)論文中它在8個(gè)測(cè)試語言建模數(shù)據(jù)集中的7個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了當(dāng)時(shí)最先進(jìn)的結(jié)果。模型中，Transfomer堆疊至48層。GPT-2的數(shù)據(jù)集增加到8million的網(wǎng)頁、大小40GB的文本。I3.6GPT-3有了哪些突破？GPT-3取得突破性進(jìn)展，任務(wù)結(jié)果難以與人類作品區(qū)分開來。GPT-3對(duì)GPT-2追求無監(jiān)督與零次學(xué)習(xí)的特征進(jìn)行了改進(jìn)GPT-3利用了過濾前45TB的壓縮文本，在諸多NLP數(shù)據(jù)集中實(shí)現(xiàn)了強(qiáng)大性能。GPT-3是一個(gè)具有1750億個(gè)參數(shù)的自回歸語言模型，比之前的任何非稀疏語言模型多10倍。對(duì)于所有任務(wù)（在few-shot設(shè)置下測(cè)試其性能），GPT-3都是在沒有任何梯度更新或微調(diào)的情況下應(yīng)用的，僅通過與模型的文本交互來指定任務(wù)和few-shot演示。GPT-3在許多NLP數(shù)據(jù)集上都有很強(qiáng)的性能（包括翻譯、問題解答和完形填空任務(wù)），以及一些需要?jiǎng)討B(tài)推理或領(lǐng)域適應(yīng)的任務(wù)（如解譯單詞、在句子中使用一個(gè)新單詞或執(zhí)行三位數(shù)算術(shù)）。GPT-3可以生成新聞文章樣本（已很難將其與人類撰寫的文章區(qū)分開來）。InstructGPT又是什么？與GPT-3有什么區(qū)別？InstructGPT模型在GPT-3基礎(chǔ)上進(jìn)一步強(qiáng)化。InstructGPT使用來自人類反饋的強(qiáng)化學(xué)習(xí)方案RLHF（reinforcementlearningfromhumanfeedback），通過對(duì)大語言模型進(jìn)行微調(diào)，從而能夠在參數(shù)減少的情況下，實(shí)現(xiàn)優(yōu)于GPT-3的功能InstructGPT提出的背景：使語言模型更大并不意味著它們能夠更好地遵循用戶的意圖，例如大型語言模型可以生成不真實(shí)、有毒或?qū)τ脩艉翢o幫助的輸出，即這些模型與其用戶不一致。另外，GPT-3雖然選擇了少樣本學(xué)習(xí)（few-shot）和繼續(xù)堅(jiān)持了GPT-2的無監(jiān)督學(xué)習(xí)，但基于few-shot的效果，其稍遜于監(jiān)督微調(diào)（fine-tuning）的方式?；谝陨媳尘埃琌penAl在GPT-3基礎(chǔ)上根據(jù)人類反饋的強(qiáng)化學(xué)習(xí)方案RHLF，訓(xùn)練出獎(jiǎng)勵(lì)模型（rewardmodel）去訓(xùn)練學(xué)習(xí)模型（即：用Al訓(xùn)練Al的思路）。InstructGPT的訓(xùn)練步驟為：對(duì)GPT-3監(jiān)督微調(diào)——訓(xùn)練獎(jiǎng)勵(lì)模型（rewardmodel）——增強(qiáng)學(xué)習(xí)優(yōu)化SFT（第二、第三步可以迭代循環(huán)多次）3.7ChatGPT核心優(yōu)勢(shì)是什么？ChatGPT核心技術(shù)優(yōu)勢(shì)是提升了理解人類思維的準(zhǔn)確性。InstructGPT與ChatGPT屬于相同代際的模型，ChatGPT只是在InstructGPT的基礎(chǔ)上增加了Chat屬性，且開放了公眾測(cè)試ChatGPT提升了理解人類思維的準(zhǔn)確性的原因在于利用了基于人類反饋數(shù)據(jù)的系統(tǒng)進(jìn)行模型訓(xùn)練3.8ChatGPT采用的什么樣的范式？ChatGPT得益于通用（基礎(chǔ)）模型所構(gòu)建Al系統(tǒng)的新范式。基礎(chǔ)模型（FoundationModel）在廣泛的應(yīng)用中整合構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的方法，它為許多任務(wù)提供了強(qiáng)大的杠桿作用；基礎(chǔ)模型是在深度神經(jīng)網(wǎng)絡(luò)和自我監(jiān)督學(xué)習(xí)的基礎(chǔ)上演化而來。基礎(chǔ)模型基于廣泛數(shù)據(jù)（通常使用大規(guī)模自我監(jiān)督）訓(xùn)練的任何模型，可以適應(yīng)（例如微調(diào)）廣泛的下游任務(wù)，目前例子包括BERT（Devlinetal.）、GPT-3（Brownetal.2020）和CLIP（Radfordetal.2021）；機(jī)器學(xué)習(xí)使學(xué)習(xí)算法同質(zhì)化（例如，邏輯回歸），深度學(xué)習(xí)使模型架構(gòu)同質(zhì)化（如卷積神經(jīng)網(wǎng)絡(luò)），而基礎(chǔ)模型使模型本身同質(zhì)化（比如GPT-3)。3.9ChatGPT會(huì)在哪些領(lǐng)域中進(jìn)行應(yīng)用？ChatGPT以基礎(chǔ)模型為杠桿，可適用多類下游任務(wù)。ChatGPT采用了GPT3.5（InstructGPT）大規(guī)模預(yù)訓(xùn)練模型，在自然語言理解和作品生成上取得極大性能提升。鑒于傳統(tǒng)NLP技術(shù)的局限問題，基于大語言模型（LLM）有助于充分利。用海量無標(biāo)注I文本預(yù)訓(xùn)練，從而文本大模型在較小的數(shù)據(jù)集和零數(shù)據(jù)集場(chǎng)景下可以有較好的理解和生成能力。基于大模型的無標(biāo)準(zhǔn)文本書收集，ChatGPT得以在情感分析、信息鉆取、理解閱讀等文本場(chǎng)景中優(yōu)勢(shì)突出。隨著訓(xùn)練模型數(shù)據(jù)量的增加，數(shù)據(jù)種類逐步豐富，模型規(guī)模以及參數(shù)量的增加，會(huì)進(jìn)一步促進(jìn)模型語義理解能力以及抽象學(xué)習(xí)能力的極大提升，實(shí)現(xiàn)ChatGPT的數(shù)據(jù)飛輪效應(yīng)（用更多數(shù)據(jù)可以訓(xùn)練出更好的模型，吸引更多用戶，從而產(chǎn)生更多用戶數(shù)據(jù)用于訓(xùn)練，形成良性循環(huán)）。研究發(fā)現(xiàn)，每增加參數(shù)都帶來了文本合成和/或下游NLP任務(wù)的改進(jìn)有證據(jù)表明，日志丟失與許多下游任務(wù)密切相關(guān)，隨著規(guī)模的增長(zhǎng)，日志丟失呈現(xiàn)平穩(wěn)的改善趨勢(shì)。3.10大模型架構(gòu)產(chǎn)生的根本原因是什么？ChatGPT大模型架構(gòu)也是ML發(fā)展到第三階段的必然產(chǎn)物。ML中的計(jì)算歷史分為三個(gè)時(shí)代：前深度學(xué)習(xí)時(shí)代、深度學(xué)習(xí)時(shí)代和大規(guī)模時(shí)代。在大規(guī)模時(shí)代，訓(xùn)練高級(jí)ML系統(tǒng)的需求快速增長(zhǎng)√計(jì)算、數(shù)據(jù)和算法的進(jìn)步是指導(dǎo)現(xiàn)代機(jī)器學(xué)習(xí)（ML）進(jìn)步的三個(gè)基本因素。在2010年之前，訓(xùn)練計(jì)算的增長(zhǎng)符合摩爾定律，大約每20個(gè)月翻一番，自2010年代早期深度學(xué)習(xí)（DeepLearning）問世以來，訓(xùn)練計(jì)算的規(guī)模已經(jīng)加快，大約每6個(gè)月翻一番。2015年末，隨著公司開發(fā)大規(guī)模ML模型，訓(xùn)練計(jì)算需求增加10至100倍，出現(xiàn)了一種新趨勢(shì)——訓(xùn)練高級(jí)ML系統(tǒng)的需求快速增長(zhǎng)。√2015-2016年左右，出現(xiàn)了大規(guī)模模型的新趨勢(shì)。這一新趨勢(shì)始于2015年末的AlphaGo，并持續(xù)至今（GPT-3于2020年出現(xiàn)）。I七、產(chǎn)業(yè)全景圖1、AIGC：人工智能生成內(nèi)容，Web3時(shí)代的生產(chǎn)工具。AIGC（AIGeneratedContent），即通過人工智能自動(dòng)生成內(nèi)容，具體指基于大型語言模型LLM、生成對(duì)抗網(wǎng)絡(luò)GAN等深度學(xué)習(xí)技術(shù)，輸入數(shù)據(jù)后由人工智能生成相關(guān)內(nèi)容。目前AIGC已進(jìn)入成長(zhǎng)期，AI生成圖像、文字、代碼、音樂等領(lǐng)域均已有相關(guān)應(yīng)用落地，我們認(rèn)為隨著B、C兩端的快速普及，AI創(chuàng)作生產(chǎn)內(nèi)容將成為下一階段的重要內(nèi)容生產(chǎn)方式。2、當(dāng)下為何關(guān)注AIGC：落地前的技術(shù)積累已經(jīng)基本完成。I3、當(dāng)下為何關(guān)注AIGC：ChatGPT誕生，催化AIGC商業(yè)化價(jià)值。ChatGPT實(shí)現(xiàn)了從技術(shù)提升到技術(shù)突破的轉(zhuǎn)變。此前殘差網(wǎng)絡(luò)及Transformer的出現(xiàn)使得模型的深度和參數(shù)量指數(shù)級(jí)增加，大模型成為可能，AIGC應(yīng)用飛速發(fā)展；太語言模型出現(xiàn)后，大模型的使用方式從預(yù)訓(xùn)練的單一任務(wù)模型迭代到多模態(tài)模型，微調(diào)時(shí)所需的標(biāo)注數(shù)據(jù)量顯著減少，從而降低了業(yè)務(wù)的使用成本。在此基礎(chǔ)上、2022年11月，ObenAI上線了機(jī)器人對(duì)話模型ChutGPT（GPT-3.5），新模型參數(shù)量為1750億（人腦神經(jīng)元數(shù)量為120-140億），遠(yuǎn)超此前模型的參數(shù)量。Cha（GPT引入了RL/HF（基于人類反饋的強(qiáng)化學(xué)習(xí)），能夠在大部分領(lǐng)域與人類進(jìn)行持續(xù)的語言交互，實(shí)現(xiàn)了歷史性的突破。ChatGPT標(biāo)志著AIGC規(guī)模化、商業(yè)化應(yīng)用的開始，人類的內(nèi)容生產(chǎn)習(xí)慣將被改變。盡管此前StableDiffusion、Midjoumey等AI繪畫應(yīng)用已經(jīng)落地，但注冊(cè)及使用門檻仍相對(duì)較高。ChutGPT的對(duì)話機(jī)器人屬性及免費(fèi)試用窗口期使其能夠廣泛觸達(dá)用戶，瑞銀數(shù)據(jù)顯示上線兩月用戶數(shù)已突破一億，系目前用戶增長(zhǎng)最快的消費(fèi)應(yīng)用，2023年1月推出付費(fèi)訂閱版，每月價(jià)格20美元。我們認(rèn)為，ChatGPT開啟了AIGC認(rèn)知普及的一大步，是AIGC內(nèi)容批量規(guī)模化生產(chǎn)的起點(diǎn)。4、行業(yè)將會(huì)以什么樣的進(jìn)程向前發(fā)展呢？AIGC多模態(tài)交互功奠定多場(chǎng)景商用基能持續(xù)演化。5II八、ChatGPT應(yīng)用場(chǎng)景1、ChatGPT試點(diǎn)訂閱計(jì)劃--ChatGPTPlus發(fā)布，商業(yè)化序幕已經(jīng)拉開2023年2月2日，OpenAl發(fā)布ChatGPT試點(diǎn)訂閱計(jì)劃——ChatGPTPlus，每月20美元。ChatGPTPlus訂閱者可獲得比免費(fèi)版本更穩(wěn)定、更快的服務(wù)，及嘗試新功能和優(yōu)化的優(yōu)先權(quán)。2、ChatGPT+傳媒：實(shí)現(xiàn)智能新聞寫作，提升新聞的時(shí)效性ChatGPT可以幫助新聞媒體工作者智能生成報(bào)道，將部分勞動(dòng)性的采編工作自動(dòng)化，更快、更準(zhǔn)、更智能地生成內(nèi)容。II3、ChatGPT+影視：拓寬創(chuàng)作素材，提升作品質(zhì)量ChatGPT可以根據(jù)大眾的興趣身定制影視內(nèi)容，從而更有可能吸引大眾的注意力，獲得更好的收視率、票房和口碑；ChatGPT可以為劇本創(chuàng)作提供新思路，創(chuàng)作者可根據(jù)ChatGPT的生成內(nèi)容再進(jìn)行篩選和二次加工，從而激發(fā)創(chuàng)作者的靈感，開拓創(chuàng)作思路，縮短創(chuàng)作周期。ChatGPT有著降本增效的優(yōu)勢(shì)，可以有效幫助影視制作團(tuán)隊(duì)降低在內(nèi)容創(chuàng)作上的成本，提高內(nèi)容創(chuàng)作的效率，在更短的時(shí)間內(nèi)制作出更高質(zhì)量的影視內(nèi)容。5、ChatGPT+營(yíng)銷：打造虛擬客服，賦能產(chǎn)品銷售ChatGPT可以打造虛擬客服，助力產(chǎn)品營(yíng)銷。6、ChatGPT+娛樂：人機(jī)互動(dòng)加強(qiáng)，激發(fā)用戶參與熱情ChatGPT可以成為線上的實(shí)時(shí)聊天對(duì)象，增加互動(dòng)的趣味性和娛樂性。I7、ChatGPT+其他：促進(jìn)數(shù)實(shí)共生，助力產(chǎn)業(yè)升級(jí)ChatGPT+教育：賦予教育教材新活力，讓教育方式更個(gè)性化、更智能ChatGPT+金融：幫助金融機(jī)構(gòu)降本增效，讓金融服務(wù)更有溫度ChatGPT+醫(yī)療：賦能醫(yī)療機(jī)構(gòu)診療全過程I九、行業(yè)的發(fā)展趨勢(shì)1、AIGC：利用人工智能產(chǎn)生內(nèi)容，提升生產(chǎn)力曲線AlGC：ArtificialIntelligenceGeneratedContext，即可以利用人工智能技術(shù)自動(dòng)產(chǎn)生內(nèi)容，常見如代碼生成，文本問答等。2、ChatGPT已成為AIGC功能矩陣中的重要板塊ChatGPT是AIGC“數(shù)字內(nèi)容智能編輯”功能中的重要組成部分，ChatGPT模型的出現(xiàn)對(duì)于文字/語音模態(tài)的AlGC應(yīng)用具有重要意義。隨著深度學(xué)習(xí)技術(shù)的快速突破以及數(shù)字內(nèi)容的海量增長(zhǎng)，AIGC領(lǐng)域相關(guān)技術(shù)打破了預(yù)定義規(guī)則的局限性，使得快速便捷且智慧地輸出多模態(tài)的數(shù)字內(nèi)容成為可能。在技術(shù)創(chuàng)新以及多模態(tài)模型的持續(xù)突破下，AIGC根據(jù)功能和對(duì)象的不同，按順序可包括三種主要實(shí)用功能：數(shù)字內(nèi)容孿生、數(shù)字內(nèi)容的智能編輯、數(shù)字內(nèi)容的智能創(chuàng)作。這三種功能相互嵌套與結(jié)合，可以讓AIGC產(chǎn)品具備超越人類的創(chuàng)作潛力。而ChatGPT正是AlGC的數(shù)字內(nèi)容智能編輯這一大功能領(lǐng)域中的重要組成部分。I3、AIGC相關(guān)技術(shù)包含了三大前沿能力數(shù)字內(nèi)容李生能力構(gòu)建現(xiàn)實(shí)世界-虛擬世界映射。孿生能力包括智能增強(qiáng)與轉(zhuǎn)譯技術(shù)，其中增強(qiáng)技術(shù)彌補(bǔ)內(nèi)容數(shù)字化過程中的信息損失，轉(zhuǎn)譯技術(shù)在理解基礎(chǔ)上對(duì)內(nèi)容進(jìn)行多種形式呈現(xiàn)；數(shù)字編輯能力打通現(xiàn)實(shí)世界虛擬世界交互通道。編輯能力包括智能語義理解與屬性控制、語義理解除助實(shí)現(xiàn)數(shù)字內(nèi)容各屬性的分離解耦，屬性控制則在理解基礎(chǔ)上對(duì)屬性進(jìn)行精確修改、編輯與二次生成，最終反饋于現(xiàn)實(shí)世界，形成孿生-反饋閉環(huán)；數(shù)字創(chuàng)作能力從數(shù)據(jù)理解走向數(shù)據(jù)創(chuàng)作。創(chuàng)作能力可分為基于模仿的創(chuàng)作與基于概念的創(chuàng)作，前者基于對(duì)某一類作品數(shù)據(jù)分布進(jìn)行創(chuàng)作，而后者從海量數(shù)據(jù)中學(xué)習(xí)抽象概念，并基于概念創(chuàng)作出現(xiàn)實(shí)世界不存在的內(nèi)容。4、AIGC行業(yè)發(fā)展經(jīng)歷了三個(gè)主要時(shí)期AIGC發(fā)展經(jīng)歷了早期萌芽、沉淀積累和2014年之后的快速發(fā)展階段。I創(chuàng)新力生成式Al起源于分析式Al，分析式AI發(fā)展過程中的技術(shù)積累為生成式AI的產(chǎn)生奠定基礎(chǔ)。分析式AI其學(xué)習(xí)的知識(shí)局限于數(shù)據(jù)本身；生成式AI在總結(jié)歸納數(shù)據(jù)知識(shí)的基礎(chǔ)上可生成數(shù)據(jù)中不存在的樣本；最新生成式AI技術(shù)如GAN，Diffusion等，催生多款A(yù)lGC產(chǎn)品如：OpenAl系列、DALL-E2（Diffusion），StarryA.I.（基于GAN）等66、AIGC：學(xué)習(xí)范式更新奠定基礎(chǔ)，模型結(jié)構(gòu)升級(jí)助力騰飛人工智能技術(shù)推動(dòng)AIGC行業(yè)不斷發(fā)展，其中學(xué)習(xí)范式的更新賦予AI模型主動(dòng)學(xué)習(xí)能力，模型結(jié)構(gòu)升級(jí)提升AI模型學(xué)習(xí)、歸納與創(chuàng)新能力。I7、AIGC產(chǎn)業(yè)鏈涵蓋了從硬件到多類終端應(yīng)用的廣泛領(lǐng)域AlGC關(guān)聯(lián)產(chǎn)業(yè)可分為應(yīng)用層、模型層、云計(jì)算平臺(tái)與計(jì)算硬件層。計(jì)算硬件層結(jié)合云計(jì)算平臺(tái)為AIGC提供機(jī)器學(xué)習(xí)訓(xùn)練與推理算力，其中GPU與TPU為硬件核心，主要參與廠商包括英偉達(dá)（GPU）與谷歌（TPU）；云平臺(tái)參與廠商則包含AWS，GCP，Azure以及Coreweave；計(jì)算硬件層中云計(jì)算平臺(tái)廠商分布穩(wěn)定，競(jìng)爭(zhēng)出現(xiàn)于模型層面與應(yīng)用層面。模型層面，閉源基礎(chǔ)模型提供商如OpenAl通過API向用戶提供服務(wù)，而開源基礎(chǔ)模型則通過在托管平臺(tái)如HuggingFace、Replica公開模型權(quán)重。模型訓(xùn)練其高計(jì)算力需求推動(dòng)了模型層廠商與云計(jì)算廠商建立合作關(guān)系（如OpenAl+Azure，GCP+DeepMind。模型層面閉源模型較為普遍，各廠商依靠模型建立技術(shù)壁壘在應(yīng)用層面，MidJourney，Runway等自主研發(fā)、持有模型；而Jasper，GithubCopilot則通過調(diào)用閉源模型商提供的APl或采用托管平臺(tái)共享的模型。I8、AIGC產(chǎn)業(yè)鏈上下游玩家百花齊放AlGC上游主要包括數(shù)據(jù)供給方、算法機(jī)構(gòu)、創(chuàng)作者生態(tài)以及底層配合工具等，中游主要是文字、圖像、音頻和視頻處理廠商，其中玩家眾多；下游主要是各類內(nèi)容創(chuàng)作及分發(fā)平臺(tái)以及內(nèi)容服務(wù)機(jī)構(gòu)等。I9、AIGC廠商之間的競(jìng)爭(zhēng)在于模型層面競(jìng)爭(zhēng)追根溯源，AlGC依賴于底層機(jī)器學(xué)習(xí)模型產(chǎn)生內(nèi)容，因此模型為AIGC行業(yè)廠商真正競(jìng)爭(zhēng)力所在。文本生成產(chǎn)品多依賴GPT系列模型，自己訓(xùn)練的模型在圖像/視頻模態(tài)產(chǎn)品中較為普遍（圖像/視頻模態(tài)產(chǎn)品通常擁有自己訓(xùn)練的模型，而不是如文本模態(tài)調(diào)用OpenAl提供的模型服務(wù)）；比較而言，OpenAl依靠模型建立先發(fā)競(jìng)爭(zhēng)優(yōu)勢(shì)，技術(shù)到產(chǎn)品轉(zhuǎn)化相對(duì)亮眼。10、AIGC取長(zhǎng)補(bǔ)短，有望成為主流內(nèi)容生產(chǎn)模式AlGC所屬內(nèi)容生產(chǎn)生態(tài)的發(fā)展經(jīng)歷了專家生產(chǎn)內(nèi)容（PGC）、用戶生成內(nèi)容（UGC）、Al輔助生產(chǎn)內(nèi)容、Al生產(chǎn)內(nèi)容（AIGC）四個(gè)階段，目前處于一、二階段為主，第三階段為輔的境況。AlGC克服PGC與UGC存在的質(zhì)量、產(chǎn)量無法兼具的缺點(diǎn)，其有望成為未來主流的內(nèi)容生產(chǎn)模式。11、AIGC生成技術(shù)可按模態(tài)進(jìn)行分類AIGC根據(jù)其內(nèi)容模態(tài)不同可分為文本、視頻、圖像，音頻與跨模態(tài)生成。I12、AIGC不同模態(tài)對(duì)應(yīng)著各種生成技術(shù)及應(yīng)用場(chǎng)景AIGC不同模態(tài)對(duì)應(yīng)的技術(shù)應(yīng)用場(chǎng)景也有著各自的細(xì)分品類。13、AIGC文本生成技術(shù)場(chǎng)景可分為交互式和非交互式AlGC非交互式文本生成技術(shù)中，結(jié)構(gòu)化寫作其形式相對(duì)固定，生成難度較小，商業(yè)化應(yīng)用較為廣泛；而創(chuàng)作型寫作開放性較大，在長(zhǎng)文本生成中難度較大，仍需技術(shù)進(jìn)一步發(fā)展。隨著通信互聯(lián)網(wǎng)技術(shù)發(fā)展，線上社交需求快速增長(zhǎng)，如閑聊機(jī)器人等交互式文本產(chǎn)品將迎來快速發(fā)展I14、AIGC文本生成技術(shù)商業(yè)化落地有望優(yōu)勢(shì)先發(fā)文本領(lǐng)域預(yù)訓(xùn)練大模型技術(shù)成熟，文本領(lǐng)域細(xì)分垂類較多，產(chǎn)品數(shù)量居首位，模型數(shù)量發(fā)展超過其他模態(tài)技術(shù)。數(shù)字內(nèi)容中，文字模態(tài)數(shù)據(jù)遠(yuǎn)大于圖片/視頻/音頻等，發(fā)展前景相對(duì)較大基于GPT-3的文字生成功能已嵌入如Writesonic、Conversion.ai、Copysmith等軟件中，商業(yè)化前景相對(duì)清晰。15、AIGC圖像生成技術(shù)隨著模型結(jié)構(gòu)的優(yōu)化而明顯提升模型結(jié)構(gòu)不斷進(jìn)化提高了AlGC生產(chǎn)圖像的多樣性，但要求較高的功能實(shí)現(xiàn)還有待于技術(shù)的進(jìn)一步提升。“圖像縮輯”難度低于“圖像生成”與“2D”轉(zhuǎn)換，目前已存在多款產(chǎn)品支持“圖像編輯”，而對(duì)于“圖像生成”任務(wù)，由于圖片相較包含更多元素，其生成效果仍存在不穩(wěn)定性，對(duì)于要求較高的功能類圖像生成仍需要技術(shù)上的提升。I16、AIGC音頻生成技術(shù)正朝更富情感等人類特征演化文本到語音任務(wù)已比較成熟，語音質(zhì)量已達(dá)到自然的標(biāo)準(zhǔn)，未來將朝更富情感、富韻律的語音合成以及小樣本語音學(xué)習(xí)方向發(fā)展。音樂生成任務(wù)中仍需解決音樂數(shù)據(jù)難以標(biāo)注的問題，數(shù)據(jù)標(biāo)注其顆粒度大小影響音樂生成任務(wù)的可控性。若可控性得以解決，則可指定風(fēng)格情緒等因素的音樂生成任務(wù)有希望在影視、游戲等場(chǎng)景下的到大量應(yīng)用。17、視頻生成為AIGC應(yīng)用生態(tài)中的高潛力場(chǎng)景視頻生成本質(zhì)上與圖片生成類似，通過對(duì)視頻進(jìn)行幀數(shù)級(jí)別的切割，實(shí)現(xiàn)對(duì)每一幀的處理。視頻生成過程包括三個(gè)階段數(shù)據(jù)的提取、訓(xùn)練和轉(zhuǎn)換，當(dāng)前技術(shù)正在著重提升視頻修改精準(zhǔn)度和實(shí)時(shí)性兩個(gè)維度。鑒于視頻本身的文本、圖像和音頻的綜合屬性，視頻生成也是跨模態(tài)生成領(lǐng)域的重要應(yīng)用場(chǎng)景。18、跨模態(tài)生成技術(shù)是真正實(shí)現(xiàn)認(rèn)知和決策智能的轉(zhuǎn)折點(diǎn)現(xiàn)實(shí)世界的信息是文本、音頻、視覺、傳感器以及人類各種觸覺的綜合體系，要更為精準(zhǔn)地模擬現(xiàn)實(shí)世界，就需要將各種模態(tài)能力之間打通，例如文字-圖像、文字-視頻等跨模態(tài)生成能力。大型預(yù)訓(xùn)練模型的發(fā)展使得跨模態(tài)逐步成熟，“文本·圖像”生成正在快速落地，I19、AIGC改變數(shù)字內(nèi)容生產(chǎn)模式AlGC作為新的內(nèi)容生產(chǎn)模式，其具有內(nèi)容多樣，可控性強(qiáng)與生產(chǎn)效率高的優(yōu)點(diǎn)，符合傳媒，電商，影視，娛樂等行業(yè)對(duì)內(nèi)容數(shù)字化程度高、內(nèi)容多樣以及內(nèi)容更新快的要求，AIGC在以上行業(yè)逐漸替代傳統(tǒng)內(nèi)容生產(chǎn)模式的趨勢(shì)十分顯著。20、AIGC滲透?jìng)髅筋I(lǐng)域各個(gè)環(huán)節(jié)AlGC技術(shù)逐漸滲透?jìng)髅筋I(lǐng)域包括采集、編輯、傳播等環(huán)節(jié)，有助于加快內(nèi)容生產(chǎn)效率，提高內(nèi)容質(zhì)量，擴(kuò)寬內(nèi)容影響力。I21、AIGC化2D為3D，拓展電商展示維度AIGC2D圖像生成3D模型技術(shù)為傳統(tǒng)電商提供多維度的展示空間虛擬合成主播為客戶提供更及時(shí)、可靠、親和的服務(wù)體驗(yàn)。22、AIGC打破傳統(tǒng)娛樂體驗(yàn)邊界AIGC技術(shù)打破物理邊界，使粉絲可與偶像親密互動(dòng)，并形成新的發(fā)展點(diǎn)AIGC為用戶打開虛擬世界入口，通過趣味方式體驗(yàn)虛擬世界。23、AlGC拓寬影視行業(yè)創(chuàng)意邊際AlGC技術(shù)以其內(nèi)容多樣性為作品內(nèi)容帶來更多靈感，AlGC技術(shù)幫助拍攝突破物理限制，還原劇本效果，提高作品質(zhì)量。I24、AIGC促進(jìn)各行業(yè)轉(zhuǎn)型升級(jí)AIGC技術(shù)在各行業(yè)數(shù)字內(nèi)容相關(guān)領(lǐng)域均有發(fā)揮空間。I1、AIGC+資訊行業(yè)在信息化時(shí)代，社會(huì)中充斥著各種資訊，同時(shí)這些資訊也有高標(biāo)準(zhǔn)、需求大、時(shí)效強(qiáng)等特點(diǎn)。自2014年起，AIGC已開始用于新聞資訊領(lǐng)域，因此資訊行業(yè)是AIGC商業(yè)化相對(duì)成熟的賽道。新華社寫稿機(jī)器人“快筆小新”1.1、AIGC輔助信息收集，打造堅(jiān)實(shí)基礎(chǔ)優(yōu)質(zhì)的新聞產(chǎn)出必定需要全面、高效、準(zhǔn)確的信息收集與整理的基礎(chǔ)上。按照傳統(tǒng)的I作業(yè)模式，工作人員需要親臨現(xiàn)場(chǎng)，通過各種手段才能獲得足夠且扎實(shí)的信息。現(xiàn)在的AI已經(jīng)能對(duì)該環(huán)節(jié)高效賦能，例如科大訊飛的AI轉(zhuǎn)寫工具可以幫助記者實(shí)時(shí)生成文稿，自動(dòng)撰寫提綱、精簡(jiǎn)語句等，進(jìn)而提高工作效率，保證最終產(chǎn)出的時(shí)效性。除幫助獲取一手信息外，AI也可以幫助精確檢索二手信息，收集素材。在高性能的AIGC工具如ChatGPT出現(xiàn)后，就可以像常人對(duì)話一樣直接提問并獲得答案。雖然難免還是會(huì)有這樣那樣的問題，但作為工具而言，AIGC的意義已經(jīng)非常明顯了。1.2、AIGC支持資