多模態(tài)大語言模型領(lǐng)域進(jìn)展分享

多模態(tài)大語言模型領(lǐng)域進(jìn)展分享背景介紹多模態(tài)大語言模型介紹多模態(tài)大語言模型演進(jìn)團(tuán)隊(duì)相關(guān)工作介紹未來展望01背景介紹背景-LLM正走向多模態(tài)大語言模型(LLM)是近幾年來最火熱的方向之一可以解決各種傳統(tǒng)NLP任務(wù)，如文本分類、命名實(shí)體識別等可以做更高級的任務(wù)作為聊天機(jī)器人，按照要求扮演某個(gè)角色(強(qiáng)大的指令遵循能力)做高階的推理任務(wù)，如寫代碼、解數(shù)學(xué)問題等(強(qiáng)大的推理能力,

CoT進(jìn)一步增強(qiáng))然而LLM存在固有的限制無法處理多模態(tài)的輸入，導(dǎo)致有些任務(wù)無法做或者很難做，如根據(jù)網(wǎng)站截圖給出源代碼、理解一張表情包的含義無法獲取更多的多模態(tài)的世界知識，如名畫、名人等背景-LLM正走向多模態(tài)多模態(tài)大語言模型(MLLM)的興起就在近兩年，工業(yè)和學(xué)術(shù)界都在積極轉(zhuǎn)向多模態(tài)模型，比如OpenAI的GPT-4V、GPT-4o谷歌的Gemini-ProYin,Shukang,etal."Asurveyonmultimodallargelanguagemodels."

arXiv:2306.13549在短短的兩年間，已有上百個(gè)模型涌現(xiàn)，包括大企業(yè)的閉源模型和學(xué)術(shù)社區(qū)的開源模型探索。背景-MLLM能做些什么能做傳統(tǒng)視覺/多模態(tài)任務(wù)Citedfrom

arXiv:2309.17421Caption任務(wù)計(jì)數(shù)任務(wù)定位任務(wù)背景-MLLM能做些什么能做更復(fù)雜的復(fù)合型任務(wù),

比如基于視覺的感知和理解任務(wù);Citedfrom

arXiv:2309.17421圖表推理根據(jù)圖表寫代碼多模態(tài)大語言模型介紹02介紹-MLLM的基本方面由于大企業(yè)的模型是閉源的，學(xué)術(shù)界正積極研究探索開源的模型。模型架構(gòu)數(shù)據(jù)與訓(xùn)練方法模型評估介紹-MLLM的架構(gòu)常用的架構(gòu)一般包含三個(gè)部分:編碼器連接器大語言模型Yin,Shukang,etal."Asurveyonmultimodallargelanguagemodels."

arXiv:2306.13549介紹-MLLM的架構(gòu)視覺編碼器常用的是基于CLIP預(yù)訓(xùn)練的ViT對于常見的224x224分辨率圖片，patch大小為14，最后共得到14x14=256個(gè)tokensCitedfrom

arXiv:2211.01335介紹-MLLM的架構(gòu)連接器MLP結(jié)構(gòu)不改變視覺token的數(shù)量，使用線性層或者多層感知機(jī)做投影。Q-Former壓縮圖片token至固定的數(shù)量，提高運(yùn)算效率Q指query，使用一組可學(xué)習(xí)的query向量從視覺token中抽取更緊湊的表征信息Citedfrom

arXiv:2305.06500Citedfrom

arXiv:2304.08485介紹-MLLM的數(shù)據(jù)和訓(xùn)練方法第一階段：模態(tài)對齊訓(xùn)練將視覺的語義空間與文本空間對齊一種做法是凍結(jié)LLM，訓(xùn)練視覺編碼器和連接器通常使用大量的圖文配對數(shù)據(jù)訓(xùn)練，如caption數(shù)據(jù)。輸入圖片，預(yù)測圖片的文本描述介紹-MLLM的數(shù)據(jù)和訓(xùn)練方法第二階段：指令微調(diào)訓(xùn)練提升模型的指令遵循能力，學(xué)習(xí)泛化到各種任務(wù)通常使用各種任務(wù)的數(shù)據(jù)，如VQA數(shù)據(jù)、檢測數(shù)據(jù)等，并改造為指令格式（多輪對話形式）輸入圖片和指令，預(yù)測回答介紹-MLLM的評測常規(guī)任務(wù)Benchmark一般聚焦某個(gè)具體的特定任務(wù)，關(guān)注特定指標(biāo)VQA任務(wù)：要求模型基于圖片內(nèi)容進(jìn)行回答，常關(guān)注淺層元素如物體類別、屬性，有時(shí)涉及淺層推理，回答一般比較簡單。一般使用準(zhǔn)確率作為評估指標(biāo)介紹-MLLM的評測專門Benchmark除了基本的感知能力，還關(guān)注推理等能力，任務(wù)一般更為復(fù)雜、困難多模態(tài)大語言模型演進(jìn)03演進(jìn)-更高的分辨率更高的分辨率能看見更多的信息，更準(zhǔn)確地回答問題演進(jìn)-更高的分辨率如何提高視覺編碼器的分辨率？思路一：使用更大的分辨率進(jìn)行微調(diào)(Qwen-VL:224->

448,

arXiv:2308.12966

)演進(jìn)-更高的分辨率如何提高視覺編碼器的分辨率？思路二：將大分辨率的圖片切成多塊，每塊依然是原來的分辨率一般保留一張低分辨率的完整圖片作為全局特征Citedfrom

arXiv:2311.07575演進(jìn)-更豐富的輸入形式從只支持單圖輸入到支持多圖、視頻輸入Citedfrom

arXiv:2406.12742演進(jìn)-更豐富的輸入形式從只支持單圖輸入到支持多圖、視頻輸入Citedfrom

arXiv:2407.03320演進(jìn)-更豐富的I/O模態(tài)支持輸出更多的模態(tài)？如圖片、音頻、視頻…輸出圖文交錯(cuò)的內(nèi)容，給文字配上圖，使內(nèi)容更生動(dòng)Citedfrom

arXiv:2401.16420演進(jìn)-更豐富的I/O模態(tài)支持輸出更多的模態(tài)？如圖片、音頻、視頻…基于基礎(chǔ)的MLLM框架，后接各種生成模型如擴(kuò)散模型，生成除文本外其他模態(tài)的信息。Citedfrom

arXiv:2309.05519演進(jìn)-更豐富的I/O模態(tài)支持輸出更多的模態(tài)？統(tǒng)一的多模態(tài)模型—擴(kuò)充語言模型的詞表，將連續(xù)信號離散化加入Tokenizer，訓(xùn)練時(shí)將圖片轉(zhuǎn)化為離散token進(jìn)行預(yù)測推理時(shí)統(tǒng)一預(yù)測多模態(tài)token，圖片token經(jīng)過De-tokenizer轉(zhuǎn)化為圖片輸出天然支持圖文交錯(cuò)的訓(xùn)練數(shù)據(jù)Citedfrom

arXiv:2405.0981804團(tuán)隊(duì)相關(guān)工作介紹相關(guān)工作-幻覺緩解背景：在開源模型探索的早期，幻覺問題還比較嚴(yán)重幻覺:

大模型在描述對象屬性、對象數(shù)量等方面不準(zhǔn)確的現(xiàn)象。樣例如下圖所示。減少模型輸出的幻覺，提升準(zhǔn)確性和用戶體驗(yàn):

WoodpeckerYin,Shukang,etal."Woodpecker:Hallucinationcorrectionformultimodallargelanguagemodels."

arXiv:2310.16045相關(guān)工作-幻覺緩解能否集成專家模型緩解幻覺？利用外部反饋獲取更準(zhǔn)確的認(rèn)知，從而增強(qiáng)模型，減少幻覺基礎(chǔ)的感知能力：object類別與數(shù)量、object的屬性信息(顏色、位置等)相關(guān)工作-幻覺緩解實(shí)現(xiàn):使用傳統(tǒng)視覺模型提升感知能力視覺基礎(chǔ)模型具有強(qiáng)大的感知能力。因此，我們利用預(yù)訓(xùn)練的視覺基礎(chǔ)模型從圖片中提取可靠的視覺信息。這些視覺信息為幻覺修正提供了參考。使用目標(biāo)檢測模型從圖片中提取目標(biāo)的數(shù)量信息，使用VQA(視覺問答)模型提取目標(biāo)的屬性信息。相關(guān)工作-幻覺緩解實(shí)現(xiàn):利用視覺信息輔助大語言模型做幻覺修正大語言模型具有強(qiáng)大的推理能力與豐富的語言學(xué)知識。因此，大語言模型能夠基于已知信息進(jìn)行推理,

對幻覺做修正,

同時(shí)保持語義連貫性、完整性使用設(shè)計(jì)好的Prompt(提示)模板將原描述、視覺知識組織起來，送入大語言模型中。大語言模型基于視覺知識、文本語義進(jìn)行推理，將描述中帶有幻覺的部分進(jìn)行修正。相關(guān)工作-幻覺緩解實(shí)現(xiàn):利用視覺信息輔助大語言模型做幻覺修正大語言模型具有強(qiáng)大的推理能力與豐富的語言學(xué)知識。因此，大語言模型能夠基于已知信息進(jìn)行推理,

對幻覺做修正,

同時(shí)保持語義連貫性、完整性使用設(shè)計(jì)好的Prompt(提示)模板將原描述、視覺知識組織起來，送入大語言模型中。大語言模型基于視覺知識、文本語義進(jìn)行推理，將描述中帶有幻覺的部分進(jìn)行修正。相關(guān)工作-幻覺緩解實(shí)驗(yàn)結(jié)果:利用糾正框架可以顯著減少幻覺受益于基礎(chǔ)視覺模型的知識提取，幾個(gè)典型的多模態(tài)大模型在感知能力上均有提升為了構(gòu)建更強(qiáng)大的系統(tǒng)，使用外置專家模塊作為信息補(bǔ)充仍然是有效的手段上表為開源多模態(tài)大模型在MME的存在、計(jì)數(shù)、位置和顏色子集上的測評結(jié)果，w/Ours表示是否加入我們提出的修正框架相關(guān)工作-長視頻理解測評背景:現(xiàn)存測試集無法充分評估多模態(tài)大模型在理解長視頻全局性內(nèi)容的能力【長視頻理解】絕大多數(shù)現(xiàn)存評測基準(zhǔn)平均時(shí)長不超過1分鐘【通用模態(tài)理解】現(xiàn)存評測所提供的模態(tài)信息（如文本、音頻）均不豐富【全局信息利用】現(xiàn)存評測只利用局部信息即可得到答案，難以評估上下文理解、整合能力Fu,

Chaoyou,

et

al.

"Video-MME:

The

First-Ever

Comprehensive

Evaluation

Benchmark

of

Multi-modal

LLMs

in

Video

Analysis."arXiv:2405.21075平均時(shí)長較短多模態(tài)信息不夠豐富相關(guān)工作-長視頻理解測評人工采集三種長度的視頻各300條，每條人工標(biāo)注3個(gè)問答對，提供字幕以及音頻問題設(shè)計(jì)均考慮視覺相關(guān)性，并且具有足夠高的有效時(shí)長（38%）需要更充分地利用前后視頻信息，對視頻建立更深入的全局理解視頻中，那個(gè)戴著繃帶、拿著信封的男人是如何受傷的？他在放煙花時(shí)，一只手被煙花擊中了。他在試圖撲滅一棟著火的房子時(shí)，手臂受傷了。他在追趕Wayne的摩托車時(shí)，從地上摔下來，手受傷了。D.

他在侮辱Wayne的父親時(shí)，被Wayne用食物引誘的狗拖下了一只胳膊。被狗拖下[選項(xiàng)D]戴著繃帶的男人拿著一個(gè)信封追趕Wayne的摩托車[選項(xiàng)C]一棟著火的房子[選項(xiàng)B]被煙花擊中[選項(xiàng)A]選項(xiàng)在視頻中均出現(xiàn)模型做出正確選擇需對問題和視頻有全局理解相關(guān)工作-長視頻理解測評視頻類別、視頻時(shí)長、問題類型的多樣性視頻涵蓋各個(gè)領(lǐng)域視頻時(shí)長覆蓋廣中、長視頻分布均勻問題類別多短、中視頻注重感知長視頻注重推理相關(guān)工作-長視頻理解測評對現(xiàn)存的開源與商業(yè)大模型進(jìn)行了綜合評測字幕對多模態(tài)大模型的視頻理解具有正向作用上表中為多模態(tài)大模型在Video-MME中短、中、長三種視頻上的表現(xiàn)其中w/

subs代表使用字幕信息，w/o

subs代表不使用字幕信息圖片大模型：QwenVL系列、InternVL-Chat-V1.5視頻大模型：Video-LLaVA、Video-Chat2等，GPT4V/4o以及Gemini

1.5Pro開源模型最優(yōu)結(jié)果＜閉源模型最差結(jié)果開源模型仍具有較大提升空間模型在12種任務(wù)類型上的表現(xiàn)雷達(dá)圖動(dòng)作識別物體識別屬性感知空間感知時(shí)間感知信息概要物體推理動(dòng)作推理空間推理時(shí)間推理計(jì)數(shù)問題光學(xué)字符識別實(shí)體感知問題仍是現(xiàn)存多模態(tài)大模型的共同瓶頸相關(guān)工作-多模態(tài)交互體驗(yàn)提升背景:GPT-4o的發(fā)布展現(xiàn)了多模態(tài)實(shí)時(shí)對話交互體驗(yàn)的新可能可以隨時(shí)打斷模型的輸出，而不需要等待輸出完再進(jìn)行下一輪交互/提問實(shí)時(shí)響應(yīng)速度，模型及時(shí)回復(fù)，而不需要等待幾秒鐘的延遲模型能夠捕捉人類情緒(如說話人是失落/興奮的)，也能夠以不同的情緒(比如激昂、戲劇化的)、風(fēng)格(模仿機(jī)器人、歌唱式的)回答相關(guān)工作-多模態(tài)交互體驗(yàn)提升背景:探索提升對話交互體驗(yàn)的開源方案:

VITA不需要專門的喚醒機(jī)制來激活語音助手，如喚醒詞“Hi！Siri”支持打斷語音輸出，插入新用戶請求，而不需要等候輸出完成再輸入新的用戶請求屏蔽環(huán)境噪聲，提升模型對話感知