大語(yǔ)言模型MOSS研發(fā)進(jìn)展

大語(yǔ)言模型MOSS研發(fā)進(jìn)展陳爽復(fù)旦大學(xué)MOSS團(tuán)隊(duì)2024年6月27日目 錄MOSS

2能力深化的大語(yǔ)言模型CoLLiE高效分布式訓(xùn)練框架下一代大模型多模態(tài)大模型相關(guān)工作大語(yǔ)言模型與世界模型NLP發(fā)展歷程3a2m.msup.com.cn致命密碼：一場(chǎng)關(guān)于語(yǔ)言的較量4a2m.msup.com.cn圖靈測(cè)試1936年5a2m.msup.com.cn1946年1950年英國(guó)數(shù)學(xué)家圖靈（Alan M.

Turing）提出讓計(jì)算機(jī)理解自然語(yǔ)言，證明計(jì)算機(jī)能夠具備人的思維能力。第一臺(tái)電子計(jì)算機(jī)ENIAC問(wèn)世檢驗(yàn)計(jì)算機(jī)是否具備智能，

最好的辦法是讓它說(shuō)英語(yǔ)并理解英語(yǔ)自然語(yǔ)言發(fā)展史6a2m.msup.com.cn大語(yǔ)言模型發(fā)展歷程大模型通用能力強(qiáng)實(shí)現(xiàn)多場(chǎng)景任務(wù)單模態(tài)向多模態(tài)發(fā)展從文本逐步發(fā)展至視覺(jué)亟需建立以中文為核心的超大模型2018GPT-11.1億2019GPT-215億GPT-1

Transformer應(yīng)用在文本生成中GPT-2

展現(xiàn)較強(qiáng)長(zhǎng)文本生成能力2020GPT-31750億GPT-3跨時(shí)代意義的大語(yǔ)言模型，標(biāo)志著AI文本生成進(jìn)入下一階段2021DALL-E/ClipOpenAI大規(guī)模圖像模型，可基于短文本生成對(duì)應(yīng)圖像以及圖像分類(lèi)2022ChatGPT在大語(yǔ)言模型中引入人類(lèi)反饋強(qiáng)化學(xué)習(xí)，大幅度提升生成結(jié)果質(zhì)量ChatGPT7a2m.msup.com.cnGPT-4MOSS2023GPT-4多模態(tài)大模型，實(shí)現(xiàn)文本和圖像的輸入MOSS注重中文語(yǔ)料，具備問(wèn)答和對(duì)話(huà)的中英文雙語(yǔ)模型大模型的關(guān)鍵：語(yǔ)言語(yǔ)言是人類(lèi)智能對(duì)世界的壓縮認(rèn)知8a2m.msup.com.cn語(yǔ)言世界大模型通過(guò)語(yǔ)言來(lái)構(gòu)建世界知識(shí)LanguageWorldModelOperationObservation9a2m.msup.com.cnMOSS2能力深化的大語(yǔ)言模型10a2m.msup.com.cnMOSSMOSS2023/2/20ChatGPT2022/11/30LLaMA2023/2/24ChatGLM2023/3/13Qwen2023/4/11Bard2023/3/21ERNIE

Bot2023/3/16Baichuan2023/6/15InternLM2023/6/7Llama-22023/7/18Falcon2023/5/25GPT-42023/3/14Alpaca2023/3/13MOSS-Plugin2023/4/1911a2m.msup.com.cnMOSS研發(fā)歷程通用語(yǔ)言表示是自然語(yǔ)言處理中多任務(wù)學(xué)習(xí)的關(guān)鍵通用語(yǔ)言表示私有語(yǔ)言表示私有語(yǔ)言表示任務(wù)1任務(wù)2使用語(yǔ)言模型預(yù)訓(xùn)練提升多任務(wù)通用表示12a2m.msup.com.cnIJCAI

2016Pengfei

Liu,

Xipeng

Qiu,

Xuanjing

Huang,

Recurrent

Neural

Network

for

Text

Classification

with

Multi-Task

Learning,

IJCAI

2016（被引用次數(shù)在所有IJCAI

2016錄用論文排名第一）MOSS研發(fā)歷程中文預(yù)訓(xùn)練基座MOSS-Base對(duì)話(huà)模型MOSS工具增強(qiáng)MOSS-Plugin2023.2.20

發(fā)布國(guó)內(nèi)最早發(fā)布的對(duì)話(huà)式大型語(yǔ)言模型13a2m.msup.com.cn2023.4.21

發(fā)布國(guó)內(nèi)首個(gè)插件版大模型2020年開(kāi)始基座研究發(fā)布CPT/CBART等模型MOSS第一代研發(fā)路線(xiàn)Sun,T.,Zhang,X.,He,Z.etal.MOSS:AnOpenConversationalLargeLanguageModel.Mach.Intell.Res.(2024)./10.1007/s11633-024-1502-814a2m.msup.com.cnMOSSTransformer160億(moon)/1000億(mars)參數(shù)具有思維鏈、情景學(xué)習(xí)等涌現(xiàn)能力能夠執(zhí)行人類(lèi)的指令可以直接與人類(lèi)對(duì)話(huà)根據(jù)人類(lèi)反饋進(jìn)行迭代優(yōu)化與人類(lèi)價(jià)值觀、思維方式對(duì)齊3H:helpfulhonest

harmless模型能力對(duì)話(huà)對(duì)齊MOSS和ChatGPT具有相近的通用語(yǔ)義理解能力，在推理能力和事實(shí)類(lèi)知識(shí)方面有一定差距。擴(kuò)大模型規(guī)模使用工具15a2m.msup.com.cnMOSS發(fā)布時(shí)示例（2023.2.21）16a2m.msup.com.cn調(diào)用工具能力是大模型向通用人工智能發(fā)展的關(guān)鍵工具開(kāi)關(guān)控制搜索引擎計(jì)算器公式求解器文生圖工具增強(qiáng)版大模型MOSS-Plugin17a2m.msup.com.cn大語(yǔ)言模型的不足Predictthe

futureThe

winner

of

the

UEFA

Euro

2024

is{???}Current

worldknowledgeThe

current

stock

price

of

APPL

is{???}Arbitrarily

longarithmetic36382894730

+

238302849204

=

{???}Extremely

longinputs[2,000pageHarryPotterfan-fiction]What

happened

after

Harry

opened

thechest

for

the

second

time?

{???}Many-stepreasoningTakethenineteenthdigitofPiandmultiply

it

by

the

e

to

the

fourth

power.Theresultingones-digitoftheresultingnumber

is{???}Informationnot

inthetraining

dataRobin’s

favorite

color

is

{???}18a2m.msup.com.cnExamplesModifiedfromJasonWei’s

Slides世界模型（World

Model）世界模型：一種能夠模擬和理解環(huán)境的模型，并在此基礎(chǔ)上進(jìn)行決策和預(yù)測(cè)的人工智能系統(tǒng)。DavidHa,JürgenSchmidhuber,2018,WorldModels:Canagentslearninsideoftheirown

dreams?19a2m.msup.com.cnGPT4：符號(hào)空間的世界模型？很多研究發(fā)現(xiàn)，GPT4具有很強(qiáng)的時(shí)空概念Bubeck,Sébastien,etal."Sparksofartificialgeneralintelligence:Earlyexperimentswithgpt-4."arXivpreprintarXiv:2303.12712

(2023).20a2m.msup.com.cn大語(yǔ)言模型≠世界模擬器?21a2m.msup.com.cn復(fù)雜任務(wù)執(zhí)行沙盒環(huán)境學(xué)習(xí)具身智能統(tǒng)一理解、生成融合文、音、圖多模態(tài)大模型使用工具制造工具協(xié)同演化超級(jí)對(duì)齊推斷時(shí)對(duì)齊可解釋性MOSS2人類(lèi)對(duì)齊工具增強(qiáng)跨模態(tài)融合智能體適配硬件調(diào)優(yōu)稀疏注意力機(jī)制超長(zhǎng)輸入窗口高效架構(gòu)打造數(shù)據(jù)飛輪數(shù)據(jù)能力溯源多維迭代提升數(shù)據(jù)治理如何從大語(yǔ)言模型演化到世界模型？打造高效、安全、可信的基礎(chǔ)模型探索實(shí)用、多元、復(fù)雜的應(yīng)用場(chǎng)景22a2m.msup.com.cn能力點(diǎn)簡(jiǎn)介讓我們一起，用智慧和技術(shù)的力量，讓經(jīng)典中國(guó)文化在現(xiàn)代社會(huì)中通過(guò)MOSS2煥發(fā)新生，趣味古中文

創(chuàng)造出有趣的中文大模型通過(guò)MOSS

2的代碼執(zhí)行能力，不僅能夠編寫(xiě)和運(yùn)行代碼，更能夠深化代碼在解決實(shí)際問(wèn)題上的實(shí)用性和創(chuàng)新性代碼執(zhí)行 固定知識(shí)增強(qiáng)的形式讓這些寶貴財(cái)富融入現(xiàn)代生活寫(xiě)作助手寫(xiě)作助手為學(xué)術(shù)寫(xiě)作提供了較為全面的支持，它針對(duì)論文撰寫(xiě)的多個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行了優(yōu)化和創(chuàng)新其他其他重要能力點(diǎn)，例如，考試作業(yè)批改，理解幽默諷刺，猜人名等，主要由用戶(hù)端頭腦風(fēng)暴產(chǎn)生為個(gè)人和企業(yè)提供簡(jiǎn)潔、實(shí)用且富有創(chuàng)意的文案創(chuàng)作解決方案????，通過(guò)AI技術(shù)讓文字變得更加有趣和生動(dòng)????特色文案通過(guò)固定知識(shí)增強(qiáng)，將深?yuàn)W的知識(shí)和人類(lèi)智慧轉(zhuǎn)化為大語(yǔ)言模型的力量，以新穎、互動(dòng)角色扮演復(fù)旦知識(shí)23a2m.msup.com.cn將復(fù)旦生活、新聞等多角度信息融入MOSS2，使MOSS

2成為復(fù)旦師生的小助手，來(lái)訪(fǎng)客人的小前臺(tái)將角色扮演的技能和創(chuàng)造性轉(zhuǎn)化為大語(yǔ)言模型的功能，并融入現(xiàn)代對(duì)話(huà)體驗(yàn)，增強(qiáng)用戶(hù)與AI的互動(dòng)樂(lè)趣特色文案

-

根據(jù)emoji猜成語(yǔ)請(qǐng)你根據(jù)emoji猜成語(yǔ):????????????????。如魚(yú)得水用表情符號(hào)和我交流,不管我怎樣用文字提問(wèn)或發(fā)表評(píng)論,你只能回答我表情。讓我們用這種方式對(duì)話(huà)吧!上課有什么壓力亮點(diǎn)和樣例展示24a2m.msup.com.cn特色文案

-小紅書(shū)體生成生成一篇小紅書(shū)文風(fēng)的體驗(yàn)分享,講述參加陶藝或手工陶制課程的心得,以及作品背后的故事。亮點(diǎn)和樣例展示一.

標(biāo)題建議:\n\n?【手作達(dá)人速來(lái)圍觀】從零基礎(chǔ)到高手的陶藝之旅,我的手工課程全記錄!\n?【藝術(shù)生活】不只有美麗的風(fēng)景,還有我親手制作的小世界!\n????【心靈手巧】體驗(yàn)手工陶藝課,發(fā)現(xiàn)生活的另一種可能——我的成長(zhǎng)故事!\n\n二.

正文\n\n親愛(ài)的小伙伴們!今天我要和大家分享一個(gè)讓我充滿(mǎn)激情和成就感的經(jīng)歷—參加了一門(mén)陶藝或手工陶制的課程。剛開(kāi)始接觸這個(gè)領(lǐng)域時(shí),我?guī)缀醪恢罆?huì)有這么大的魅力和樂(lè)趣,但現(xiàn)在,我已經(jīng)深深地愛(ài)上了它。每次拿起泥土、調(diào)配顏色、雕刻圖案每一個(gè)步驟都像是在創(chuàng)造一個(gè)全新的世界。\n\n首先,我要感謝這次課程的認(rèn)真負(fù)責(zé)的老師,她不僅教給我們制作技巧,還鼓勵(lì)我們發(fā)揮想象力和創(chuàng)造力。在課上,我們一起探索各種陶瓷材料的特性,嘗試不同的形狀和紋理。雖然一開(kāi)始有些困難,但是每一次嘗試都是一次成長(zhǎng)。通過(guò)不斷的練習(xí)和學(xué)習(xí),我們的作品也變得越來(lái)越精致。\n\n最令我印象深刻的是那個(gè)被我命名為“夢(mèng)幻花園”的作品。它是我用一種特殊的紅色陶土制成的,靈感來(lái)自于我在園藝園中看到的五彩繽紛的植物。我將它想象成一片茂密而生機(jī)勃勃的小森林,每個(gè)角落都有植物生長(zhǎng)著。每個(gè)花瓣都仿佛在向我訴說(shuō)它們的故事,這一刻,我感到自己真的創(chuàng)造了一件獨(dú)一無(wú)二的藝術(shù)品。\n\n除了創(chuàng)作過(guò)程的樂(lè)趣,我還學(xué)到了很多關(guān)于環(huán)境保護(hù)的知識(shí)。通過(guò)使用環(huán)保材料和回收再利用的材料,我發(fā)現(xiàn)我對(duì)環(huán)境的影響變得更加注意。這不僅僅是為了美化自己的生活空間,也是為了創(chuàng)造一個(gè)更美好的世界。\n\n通過(guò)這次課程,我明白了學(xué)習(xí)不僅是為了自己,更是為了回饋社會(huì)。而手工制作的過(guò)程正是培養(yǎng)這種責(zé)任感的好方法。它不僅教會(huì)了我如何耐心和細(xì)心,更重要的是培養(yǎng)了我對(duì)生活的熱愛(ài)和對(duì)美的追求。\n\n最后,我想說(shuō),如果你還沒(méi)有嘗試過(guò)手工陶藝,那么一定要試試看!它不僅能讓你學(xué)會(huì)新技能,還能帶給你無(wú)限的快樂(lè)和滿(mǎn)足感?，F(xiàn)在,就讓我們一起開(kāi)始這場(chǎng)奇妙的旅程吧!????????????\n\n#陶藝

#手工陶制品

#創(chuàng)意生活

#環(huán)保意識(shí)#藝術(shù)創(chuàng)作"25a2m.msup.com.cn亮點(diǎn)和樣例展示角色扮演基于檢索增強(qiáng)更加真實(shí)、準(zhǔn)確和生動(dòng)的扮演角色請(qǐng)扮演原神里的可莉你好!你是來(lái)找可莉玩的嗎?上次風(fēng)花節(jié)，你和砂糖姐姐都做了什么呀?哇,風(fēng)花節(jié)!可莉和砂糖姐姐一起巡邏,還一起調(diào)查了預(yù)言!嘿嘿,可莉覺(jué)得,只要和朋友們一起,就沒(méi)有什么是做不到的!Inner

Thought：26a2m.msup.com.cn我需要意識(shí)到可莉是《原神》中的一個(gè)充滿(mǎn)活力的角色，著名的蒙德城“火花騎士"。她年幼卻充滿(mǎn)好奇心，對(duì)爆炸物倫著濃厚的興趣。作為一個(gè)出色的炸藥專(zhuān)家，，她以制作各種炸彈和爆炸裝置而聞名。對(duì)旅行者來(lái)說(shuō)，可莉得到了特別的關(guān)注和寵愛(ài)。旅行者不僅是她的冒險(xiǎn)伙伴，也扮演著保護(hù)者的角色，經(jīng)常保護(hù)她免受自己無(wú)畏探索帶來(lái)的危險(xiǎn)。雖然可莉有時(shí)會(huì)因?yàn)樗谋▽?shí)驗(yàn)而闖禍，但旅行者總是以耐心和理解的方式來(lái)處理，幫助她學(xué)習(xí)并從每次經(jīng)歷中成長(zhǎng)。這種互動(dòng)中旅行者對(duì)可莉的寵愛(ài)和關(guān)懷顯而易見(jiàn)，他們的關(guān)系深化了彼此之間的信任和友誼。用戶(hù)希望我像原神中的可莉一樣。作為游戲原神中的可莉，我需要用可莉的語(yǔ)氣、態(tài)度和詞匯來(lái)回答。我不要寫(xiě)任何解釋。只能像可莉一樣回答。我必須知道所有關(guān)于可莉的知識(shí)。亮點(diǎn)和樣例展示固定知識(shí)增強(qiáng)

-兒童故事為五歲的小朋友制作一個(gè)關(guān)于多樣性和包容性的繪本。27a2m.msup.com.cn故事名稱(chēng):小熊寶寶的奇妙之旅。從前,在一個(gè)美麗的森林里,住著一只小熊寶寶,它叫小棕熊。小棕熊是森林里最快樂(lè)的小熊,它喜歡和其他動(dòng)物一起玩耍。有一天,小棕熊遇到了一只小兔子,小兔子的毛色是棕色的,和小棕熊的顏色完全一樣。小棕熊覺(jué)得非常奇怪,它從來(lái)沒(méi)有見(jiàn)過(guò)顏色和它一樣的動(dòng)物。小棕熊問(wèn)小兔子:“你和我顏色一樣嗎?”小兔子笑著說(shuō):“當(dāng)然了,我們都是棕色的,為什么不一樣呢?”小棕熊聽(tīng)了很開(kāi)心,它和小兔子一起玩耍,發(fā)現(xiàn)他們有很多共同點(diǎn),彼此之間有著很多相似之處,友誼因此更加牢固。從那天起,小棕熊學(xué)會(huì)了接受和尊重不同顏色和個(gè)性的小動(dòng)物,它明白了多樣性和包容性的重要性。它和小兔子成為了最好的朋友,他們一起在森林里快樂(lè)地玩耍。小朋友們,記住:每個(gè)人都是獨(dú)一無(wú)二的,我們應(yīng)該學(xué)會(huì)欣賞和尊重彼此的不同之處,這樣我們才能建立一個(gè)更加美好的社會(huì)。愿你們永遠(yuǎn)擁有一顆包容的心,和不同個(gè)性的好朋友一起,共同創(chuàng)造美好的回憶。故事講完啦,希望你們喜歡哦!????????????????????亮點(diǎn)和樣例展示復(fù)旦小前臺(tái)將復(fù)旦生活信息、復(fù)旦新聞、復(fù)旦相關(guān)知識(shí)融入MOSS

2成為復(fù)旦師生的小助手，來(lái)訪(fǎng)客人的小前臺(tái)。復(fù)旦大學(xué)的校訓(xùn)是“博學(xué)而篤志,切問(wèn)而近思”,出自《論語(yǔ)》中的《子張》ecard是復(fù)旦大學(xué)的電子身份卡,用于校園一卡通的支付功能,可以在校內(nèi)各種場(chǎng)合下使用,比如食堂、購(gòu)物、宿舍、考勤、食堂、以及其他特定用途等。使用ecard的步驟包括:首先,你需要通過(guò)復(fù)旦大學(xué)的官方網(wǎng)站或校園一卡通服務(wù)平臺(tái)進(jìn)行注冊(cè),獲取自己的ecard賬戶(hù)信息;然后,通過(guò)統(tǒng)一身份認(rèn)證登錄,使用統(tǒng)一身份認(rèn)證登錄后,系統(tǒng)會(huì)自動(dòng)綁定至復(fù)旦大學(xué)校園一卡通服務(wù)平臺(tái),并會(huì)生成相應(yīng)的賬戶(hù)信息。再然后,可以使用ecard進(jìn)行消費(fèi)支付以及其他相關(guān)功能,并且可以在指定地點(diǎn)刷ecard進(jìn)行刷臉認(rèn)證。請(qǐng)注意,校園內(nèi)可以使用ecard進(jìn)行消費(fèi)支付,以及其他特定用途,例如考勤、食堂等。另外,在校外,一些商戶(hù)也可以使用ecard進(jìn)行消費(fèi)支付和其他使用。復(fù)旦大學(xué)圖書(shū)館的開(kāi)放時(shí)間為周一至周日8:00-22:00,周一至周五9:00-21:00(國(guó)定假日除外),電子圖書(shū)和電子期刊24小時(shí)開(kāi)放。28a2m.msup.com.cn案例分析對(duì)于一些實(shí)用但缺少記錄的信息，我們采用廣泛的人工收集方式復(fù)旦的各方面信息來(lái)源較為散亂29a2m.msup.com.cn案例分析論文轉(zhuǎn)博客獲取足夠的論文以及其概述，實(shí)現(xiàn)有效、穩(wěn)健、快速的數(shù)據(jù)收集代碼論文內(nèi)容和概述的樣本普遍很長(zhǎng)，采用多卡并行方式訓(xùn)練模型30a2m.msup.com.cnCoLLiE高效分布式訓(xùn)練框架31a2m.msup.com.cn2023/05開(kāi)始開(kāi)發(fā)2023/07發(fā)布

Python

包

CoLLiE-LM2023/12被

EMNLP

System

Demonstrations接收2024/01添加

AdaLomo

優(yōu)化器2024/03支持帶模板的多輪對(duì)話(huà)訓(xùn)練CoLLiEOpenMOSS/CoLLiE:CollaborativeTrainingofLargeLanguageModelsinanEfficient

Way32a2m.msup.com.cnLOMO:LOw-Memory

OptimizationFullParameterFine-tuningforLargeLanguageModelswithLimitedResources:

/pdf/2306.09782.pdf提出了LOMO

，將梯度計(jì)算和參數(shù)更新融合，避免存儲(chǔ)梯度張量33a2m.msup.com.cn顯存占用情況訓(xùn)練LLaMa-7B時(shí)的顯存占用情況，batch

size

=

8，seq

lenth=

51234a2m.msup.com.cn使用

LOMO

進(jìn)行訓(xùn)練的過(guò)程中，顯存大部分被參數(shù)占用低內(nèi)存優(yōu)化算法（LOMO）可以在8張3090GPU上全量參數(shù)微調(diào)65B模型LoRA:Low-Rank

AdaptationLOMO:LOw-Memory

Optimization低資源場(chǎng)景的大模型優(yōu)化研究面臨算力受限，可有效緩解算力短缺問(wèn)題Huetal.,LoRA:Low-RankAdaptationofLargeLanguageModels,ICLR

2021.Lvetal,AdaLomo:Low-memoryOptimizationwithAdaptiveLearningRate,ACL

2024.35a2m.msup.com.cnMOSS2in

CoLLiE文本長(zhǎng)度（k

token）原始注意力稀疏注意力提速比4127.05

ms120.73ms6%8264.75

ms237.62ms11.3%321.49

s946.11

ms37.6%644.29

s1.97

s54.1%12814.17

s4.33

s69.5%采用全局與局部窗口融合的稀疏架構(gòu)，大幅度降低注意力計(jì)算成本架構(gòu)可根據(jù)自身需求調(diào)整，默認(rèn)設(shè)置提速比達(dá)到70%左右36a2m.msup.com.cnMOSS2in

CoLLiE注意力頭數(shù)量為16注意力頭數(shù)量為32使用Triton重寫(xiě)了部分Attention

Kernel，支持稀疏注意力結(jié)構(gòu)37a2m.msup.com.cn數(shù)據(jù)混合法則（Data

Mixing

Law）提出數(shù)據(jù)混合法則定量預(yù)測(cè)各配比下的模型表現(xiàn)結(jié)合規(guī)模法則，通過(guò)小規(guī)模實(shí)驗(yàn)指導(dǎo)大規(guī)模訓(xùn)練數(shù)據(jù)配比選擇大模型實(shí)驗(yàn)成本昂貴，傳統(tǒng)訓(xùn)練數(shù)據(jù)配比的確定依賴(lài)于啟發(fā)式設(shè)計(jì)Ye,etal.Datamixinglaws:Optimizingdatamixturesbypredictinglanguagemodelingperformance.arXiv:2403.16952

(2024).38數(shù)據(jù)混合法則（Data

Mixing

Law）預(yù)訓(xùn)練優(yōu)化模型性能后訓(xùn)練中找到臨界數(shù)據(jù)配比，防止災(zāi)難性遺忘并快速學(xué)習(xí)新能力可用于優(yōu)化預(yù)訓(xùn)練和后訓(xùn)練，提升模型性能Ye,etal.Datamixinglaws:Optimizingdatamixturesbypredictinglanguagemodelingperformance.arXiv:2403.16952

(2024).39事實(shí)記憶容量法則（Fact

Knowledge

Scaling

Law）固定訓(xùn)練輪次，事實(shí)記憶容量和語(yǔ)言模型參數(shù)量呈線(xiàn)性關(guān)系固定語(yǔ)言模型參數(shù)量，事實(shí)記憶容量和訓(xùn)練輪次呈負(fù)指數(shù)關(guān)系事實(shí)知識(shí)對(duì)降低模型幻覺(jué)非常關(guān)鍵，但目前缺少相關(guān)分析研究40a2m.msup.com.cn大語(yǔ)言模型對(duì)冗余事實(shí)知識(shí)的記憶語(yǔ)言模型無(wú)法高效地同時(shí)記憶相同事實(shí)的正反向版本

(*表示非冗余)語(yǔ)言模型無(wú)法高效地記憶可推導(dǎo)事實(shí)關(guān)聯(lián)41a2m.msup.com.cn語(yǔ)言模型可以高效地記憶同一實(shí)體的關(guān)聯(lián)事實(shí)非關(guān)聯(lián)下一代大模型多模態(tài)大模型相關(guān)工作42a2m.msup.com.cn多模態(tài)對(duì)齊LLaVAChatBridge43a2m.msup.com.cn下一步啟示AudioImageTextVideoMore…AudioImageTextVideoMore…以語(yǔ)言為中心，任意模態(tài)組合輸入輸出44a2m.msup.com.cn下一代多模態(tài)大模型模態(tài)差異Continuous

SignalsImage/VideoSoundECG

signalLLM

input&output45a2m.msup.com.cn模態(tài)差異Continuous

SignalsImage/VideoSoundECG

signal離散化(Discrete

tokens

)?46a2m.msup.com.cn語(yǔ)音離散化Speech“Nicetomeet

you”<54><43><2><5><29>Discretize對(duì)于LLM來(lái)說(shuō)，把語(yǔ)音看作是一種未見(jiàn)過(guò)的新語(yǔ)言。詞符（Token）47a2m.msup.com.cn矢量化（Vector

Quantizer

）讓大模型具有語(yǔ)音能力Model

StructureSpeechGPT:EmpoweringLargeLanguageModelswithIntrinsicCross-ModalConversational

Abilities48a2m.msup.com.cnSpeech

De-TokeninzerUnitto

speechStack

of

CNN

layersDiscreteSpeech

TokeninzerSpeechto

unitFixed

HuBERTLargeLanguage

ModelSpeechGPT跨模態(tài)能力跨模態(tài)指令遵循跨模態(tài)對(duì)話(huà)49a2m.msup.com.cnSpeechGPT

demoCross-modalInstruction

Following:InstructionInputOutputCanyoutranscribethespeechinto

awritten

format?I'm

afraid

there

are

no

signs

here

saidhe.Wouldyoumindspeakingthese

wordsasnaturallyas

possible?Today

is

a

sunny

day

and

I'm

happ