圖與基礎(chǔ)模型：多模態(tài)基礎(chǔ)模型關(guān)系推理能力概述

圖與基礎(chǔ)模型：多模態(tài)基礎(chǔ)模型關(guān)系推理能力概述近年來，采用深度學(xué)習(xí)對圖結(jié)構(gòu)數(shù)據(jù)建模的方法取得了巨大進(jìn)展，并改變了模型理解關(guān)系結(jié)構(gòu)的能導(dǎo)語力。在集智俱樂部「圖神經(jīng)網(wǎng)絡(luò)與組合優(yōu)化」讀書會中，耶魯大學(xué)計(jì)算機(jī)科學(xué)系助理教授應(yīng)智韜（RexYing）介紹了利用圖結(jié)構(gòu)在多種機(jī)器學(xué)習(xí)場景中實(shí)現(xiàn)復(fù)雜推理的探索，尤其是聚焦在基礎(chǔ)模型中的應(yīng)用，包括在對比學(xué)習(xí)中用鄰近圖捕捉相似關(guān)系，稀疏Transformer通過圖擴(kuò)散來擴(kuò)散注意力、降低模型復(fù)雜度，GNN學(xué)習(xí)分子圖表征，思維傳播利用關(guān)系推理增強(qiáng)大模型的復(fù)雜推理能力。本文由社區(qū)成員劉佳瑋整理成文。研究領(lǐng)域：基礎(chǔ)模型，多模態(tài)，關(guān)系推理，圖神經(jīng)網(wǎng)絡(luò)，對比學(xué)習(xí)0.基礎(chǔ)模型概述1.模型架構(gòu)中的關(guān)系結(jié)構(gòu)-鄰近圖捕捉相似關(guān)系-稀疏Transformer2.任務(wù)中的關(guān)系結(jié)構(gòu)-GNN學(xué)習(xí)分子圖表征3.推理中的關(guān)系結(jié)構(gòu)-思維傳播4.總結(jié)0.基礎(chǔ)模型概述“基礎(chǔ)模型”（foundationmodel）一詞最初由斯坦福大學(xué)的Bommasani等人提出，定義為“在廣泛的數(shù)據(jù)上訓(xùn)練且可以被應(yīng)用于廣泛的下游任務(wù)的模型”。人工智能向基礎(chǔ)模型的范式轉(zhuǎn)變意義重大，允許用更廣泛的通用模型替換幾個(gè)狹窄的任務(wù)特定模型，這些模型一旦經(jīng)過訓(xùn)練就可以快速適應(yīng)多個(gè)應(yīng)用程序，并且隨著模型參數(shù)增大，有可能展現(xiàn)出“涌現(xiàn)”能力。當(dāng)談及基礎(chǔ)模型時(shí)，我們的定義可能會更加廣泛，不僅僅包括大語言模型（LLM），還涵蓋了基于自監(jiān)督學(xué)習(xí)框架的各種基礎(chǔ)模型。這些模型通常會在最終任務(wù)上進(jìn)行微調(diào)。這種范式在機(jī)器學(xué)習(xí)領(lǐng)域的作用日益增大。以ImageNet為例，它之所以取得成功，主要是因?yàn)楫?dāng)時(shí)人們普遍崇尚監(jiān)督學(xué)習(xí)。ImageNet手動(dòng)標(biāo)記了1400萬張圖像，這為監(jiān)督學(xué)習(xí)提供了數(shù)據(jù)基礎(chǔ)，從而推動(dòng)了視覺領(lǐng)域的巨大進(jìn)展。然而，在大多數(shù)情況下，這種方法并不可行。例如，自然語言處理涉及眾多任務(wù)和大量翻譯工作，不可能讓人逐一完成。此外，我們獲取的數(shù)據(jù)往往是無監(jiān)督的。因此，基礎(chǔ)模型的最大優(yōu)勢在于，即使在沒有監(jiān)督的情況下，我們?nèi)匀豢梢岳么罅繑?shù)據(jù)來開發(fā)通用模型，適用于各種不同的下游任務(wù)。下面是一個(gè)傳統(tǒng)的基礎(chǔ)模型框架：圖1預(yù)訓(xùn)練和微調(diào)這個(gè)過程主要分為預(yù)訓(xùn)練（pre-training）和微調(diào)（finetuning）兩個(gè)步驟。在預(yù)訓(xùn)練階段，我們采用自監(jiān)督學(xué)習(xí)方法，例如使用語言模型。首先，我們使用一個(gè)編碼器，例如transformer，對輸入數(shù)據(jù)進(jìn)行編碼，然后得到一些嵌入（embedding）。接著，我們再從這個(gè)嵌入進(jìn)行解碼。在解碼后，我們會采用一種自監(jiān)督損失函數(shù)，例如掩碼語言模型（masklanguagemodel）。完成預(yù)訓(xùn)練后，在微調(diào)階段，我們將編碼器固定下來，不再需要對該部分進(jìn)行優(yōu)化或僅優(yōu)化很小一部分。然后，我們將輸入數(shù)據(jù)直接通過這個(gè)編碼器得到一個(gè)embedding，再從這個(gè)embedding進(jìn)行各種下游任務(wù)的處理，包括文本分類、摘要和翻譯等。在此過程中，我們會采用各種損失函數(shù)來微調(diào)下游任務(wù)。需要注意的是，如果是GPT模型，需要遷移的部分不再是編碼器，而是解碼器（decoder）。然而，整體框架基本保持不變。對于圖像基礎(chǔ)模型的訓(xùn)練，同樣可以采用這個(gè)框架。只需將輸入數(shù)據(jù)從文字轉(zhuǎn)換為圖片，并采用編碼器-解碼器架構(gòu)來獲得自監(jiān)督損失。在微調(diào)階段，同樣可以將編碼器遷移過來，訓(xùn)練各種下游任務(wù)。這個(gè)框架在不同類型的數(shù)據(jù)（圖、圖像、文字等）中具有很高的通用性。接下來，我們要考慮不同數(shù)據(jù)的模態(tài)。在自然語言處理（NLP）領(lǐng)域，文本通常以句子的形式呈現(xiàn)。在每個(gè)句子中，我們能看到不同的單詞，它們組成了不同的詞組。類似地，在計(jì)算機(jī)視覺（CV）領(lǐng)域，數(shù)據(jù)則以圖片的形式出現(xiàn)，而圖片的基本單元可能是像素。在圖（Graph）中，圖的構(gòu)成單元是節(jié)點(diǎn)，許多節(jié)點(diǎn)組成一個(gè)子圖。圖2.NLP、CV和Graph的對比本次分享的內(nèi)容內(nèi)容涉及這三個(gè)不同的方面，同時(shí)也會探討不同數(shù)據(jù)模態(tài)的適用性。希望所介紹的方法能夠廣泛應(yīng)用于不同的基礎(chǔ)模型上，這些方法的一個(gè)共同點(diǎn)就是利用關(guān)系推理或圖的方式來實(shí)現(xiàn)。將從三個(gè)方面展開，首先是預(yù)訓(xùn)練，其次是微調(diào)，最后是模型推理。這三個(gè)步驟都可以利用圖關(guān)系推理的方法來實(shí)現(xiàn)。1.預(yù)訓(xùn)練中的關(guān)系結(jié)構(gòu)我們從預(yù)訓(xùn)練開始談起，也就是自監(jiān)督學(xué)習(xí)。自監(jiān)督學(xué)習(xí)通常分為兩大類：生成式和對比式。生成式的任務(wù)主要是掩碼語言模型，即將數(shù)據(jù)的一部分進(jìn)行掩碼，然后讓模型進(jìn)行恢復(fù)。而對比式則不是生成被掩碼掉的內(nèi)容，而是去區(qū)分相似的和不相似的數(shù)據(jù)。對比式自監(jiān)督算法通常具有較高的有效性，因此我們今天分享的第一項(xiàng)工作是關(guān)于對比學(xué)習(xí)（contrastivelearning）的形式。對比學(xué)習(xí)是一個(gè)非常簡單的原則。在許多數(shù)據(jù)中，有些數(shù)據(jù)點(diǎn)是相似的，有些則相距甚遠(yuǎn)。如果模型能夠區(qū)分出哪些東西相似和哪些東西相距甚遠(yuǎn)，我們就達(dá)到了自監(jiān)督學(xué)習(xí)的目的。如果這個(gè)嵌入空間能夠捕捉到這樣的屬性，那它就是一個(gè)很好的嵌入方式。因此，在訓(xùn)練時(shí)，我們會使用這樣的目標(biāo)：輸入一些相似的數(shù)據(jù)點(diǎn)和一些不相似的數(shù)據(jù)點(diǎn)，將這些數(shù)據(jù)全部編碼到嵌入空間，然后在嵌入空間上進(jìn)行對比學(xué)習(xí)。這樣做的結(jié)果是，我們需要把相似數(shù)據(jù)的嵌入變得盡可能接近，不相似的數(shù)據(jù)的嵌入盡可能遠(yuǎn)離。這是一個(gè)大致的原則，比較容易理解。一般來說，對于每個(gè)需要進(jìn)行對比學(xué)習(xí)的數(shù)據(jù)點(diǎn)，我們定義一個(gè)錨點(diǎn)（author）。錨點(diǎn)的意思是，我們可以創(chuàng)造一些正例（positiveexample就是一些跟自己很相似的東西，還有一些負(fù)例（negativeexample一些跟自己很不相似的東西。我們可以通過把嵌入空間里面相似的拉近、不相似的拉遠(yuǎn)來做自監(jiān)督學(xué)習(xí)。如果沒有標(biāo)簽監(jiān)督的情況下我們怎么樣去找哪些是正例哪些是負(fù)例呢？一般來說，做這種對比的方式，就是我可以對自己的錨點(diǎn)做一些變換。比如圖片不管怎么旋轉(zhuǎn)、位移，進(jìn)行各種各樣的變換，這個(gè)圖片的語義不會有什么區(qū)別，變換以后我們依然能夠認(rèn)出來它是同一個(gè)物體。所以經(jīng)過變換可以創(chuàng)造一些正例，這樣的準(zhǔn)則在圖里面也經(jīng)常會用。比如一些圖對比學(xué)習(xí)的方法，會把一個(gè)節(jié)點(diǎn)的鄰居進(jìn)行隨機(jī)游走來進(jìn)行采樣。然后把它作為對鄰居的擾動(dòng)，可以得到一些類似的鄰居，那這些就是我們的正例。有了這個(gè)以后，我們就可以定義各種對比學(xué)習(xí)的損失函數(shù)（例如InfoNCE然后在這個(gè)InfoNCE的框架下，我們不光是要找正例，還得找負(fù)例，怎么找負(fù)例是一個(gè)問題。我們想象什么樣的負(fù)例會更有用，看一下可能會出現(xiàn)什么樣的負(fù)例。我們可以有簡單負(fù)例（easynegative），例如圖3中最左邊的負(fù)例跟一開始的圖像完全不同。即便這個(gè)模型非常笨它也能夠區(qū)分出它們不同。然后中間是稍微難一些的負(fù)例，這些負(fù)例就比較有趣，比如說它們可能都是貓科動(dòng)物，但是它們可能是不同的動(dòng)物，那這些就是一些困難負(fù)例（hardnegative因?yàn)槟Ｐ托枰懈嗟闹R才能發(fā)現(xiàn)它們是不同的東西。然后最右邊叫做偽負(fù)例（falsenegative因?yàn)樗鼈兤鋵?shí)是同一個(gè)物種，所以模型沒有必要把它們當(dāng)做負(fù)例。如果是負(fù)例的話，通過InfoNCE這些負(fù)例之間的距離在嵌入空間上很遠(yuǎn)，這沒必要，因?yàn)樗鼈兌际峭环N?；蛘哒f即便我們需要區(qū)分，但是它們不應(yīng)該被拉得非常遠(yuǎn)。然后在這三種里面什么對增加模型的表現(xiàn)能力更有效？很顯然大家都會覺得是困難負(fù)例，因?yàn)樗赡鼙容^像，但是并不完全一樣。所以這更能夠考驗(yàn)?zāi)Ｐ偷谋孀R能力。所以困難負(fù)例是我們比較關(guān)心的，然后它可以是有不同的表現(xiàn)形式。比如說它們可以是背景、花紋比較相似，但其實(shí)是不同的動(dòng)物。圖3簡單負(fù)例、困難負(fù)例和偽負(fù)例BatchSampler：用鄰近圖捕捉相似關(guān)系這個(gè)工作是講者的學(xué)生還有唐杰老師的學(xué)生一起合作的一個(gè)項(xiàng)目，研究的動(dòng)機(jī)是用鄰近圖（proximitygraph）去捕捉相似的關(guān)系。就是說，有各種各樣的數(shù)據(jù)點(diǎn)，它們可以是圖也可以是圖像、文字或者各種想要做對比學(xué)習(xí)的數(shù)據(jù)，我們把它轉(zhuǎn)換成圖的形式，每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)點(diǎn)之間的連線就代表他們的相似度，只有當(dāng)這兩個(gè)節(jié)點(diǎn)非常相近的時(shí)候，我們才會把他們連起來。然后我們通過這個(gè)圖來討論怎樣采樣好的困難負(fù)例，就是那些看上去很像但其實(shí)是不一樣的負(fù)例。這個(gè)圖的構(gòu)造其實(shí)非常簡單，首先我們有一個(gè)正在做對比學(xué)習(xí)的編碼器，然后我們把節(jié)點(diǎn)編碼到這個(gè)嵌入空間，然后做最近鄰等操作構(gòu)建鄰近圖，基于這個(gè)圖做一些操作尋找負(fù)例。我們的方法通過有重啟的隨機(jī)游走（randomwalkwithrestart）來探索局部鄰域，它的好處在于靈活性。我們可以想象困難負(fù)例一般在哪兒，他肯定不是最近的幾個(gè)，因?yàn)樽罱目赡苁峭悾磦呜?fù)例?？隙ㄒ膊皇呛苓h(yuǎn)的，因?yàn)檫@些點(diǎn)肯定是完全不相關(guān)的簡單負(fù)例。我們的方法可以通過超參數(shù)控制重啟概率，論文發(fā)表在KDD2023上，感興趣的讀者可以看一下。YangZ,HuangT,DingM,etal.BatchSampler:SamplingMini-BatchesforContrastiveLearninginVision,Language,andGraphs[J].arXivpreprintarXiv:2306.03355,2023.圖4BatchSampler的基本想法我們把這個(gè)方法叫做BatchSampler，它的想法就是通過在鄰近圖上做隨機(jī)游走來控制采樣到一些很高質(zhì)量的負(fù)例。我們有一些超參數(shù)，首先就是最近鄰的數(shù)量，還有就是隨機(jī)游走的重啟概率?？梢韵胂?，當(dāng)重啟概率是1的時(shí)候，也就是每走一步就會回到原點(diǎn)，那其實(shí)就是找一階鄰居，得到的樣例很難。另一個(gè)極端是重啟概率為0，那就是純粹的隨機(jī)游走，很容易走到很遠(yuǎn)的地方，獲得很簡單的樣例。通過調(diào)重啟概率，我們就可以找到想要難度的樣例，這種方法可以用在各種模態(tài)的數(shù)據(jù)上面。稀疏Transformer：通過圖擴(kuò)散來擴(kuò)散注意力，降低模型復(fù)雜度接下來我們用圖的角度解釋Transformer架構(gòu)。由于Transformer架構(gòu)的復(fù)雜度主要來自注意力機(jī)制，它的復(fù)雜度是O(token*token)，這給Transformer應(yīng)用于長序列帶來了挑戰(zhàn)。稀疏Transformer可以顯著降低復(fù)雜度，我們可以將其想象成圖的形式，這種注意力矩陣很像圖的鄰接矩陣。稀疏Transformer的核心思想是用局部注意力和隨機(jī)注意力取代全局注意力，局部注意力是指設(shè)置一個(gè)很小的窗口，而隨機(jī)注意力是指隨機(jī)找一些連接來計(jì)算。圖5稀疏Transformer的注意力機(jī)制這樣做可以節(jié)省時(shí)間和空間，但也有一些挑戰(zhàn)。如果我用局部窗口的話，感受野就會降低，也就是我沒法直接在每一層通過算自注意力機(jī)制來增加模型的表達(dá)能力。還有一個(gè)問題是它可能會對序列的擾動(dòng)敏感，不夠魯棒。為此，我們希望模型能夠具有全局注意力，并且降低模型復(fù)雜度。在AAAI的工作中，我們把稀疏Transformer當(dāng)成一個(gè)稀疏圖，然后通過圖擴(kuò)散的方式來擴(kuò)散注意力的值，從而在Transformer模型上探索結(jié)構(gòu)。這樣做的好處是很多格子是通過擴(kuò)散算出來的，不需要反向傳播，從而能夠節(jié)省很多計(jì)算和存儲開銷。FengA,LiI,JiangY,etal.Diffuser:efficienttransformerswithmulti-hopattentiondiffusionforlongsequences[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2023,37(11):12772-12780.圖6diffuser的擴(kuò)散方式2.微調(diào)中的關(guān)系結(jié)構(gòu)GNN學(xué)習(xí)分子圖表征在做微調(diào)的時(shí)候也有一些有意思的技巧，這里關(guān)注分子結(jié)構(gòu)的基礎(chǔ)模型，怎樣通過不同的任務(wù)和任務(wù)之間的相似度來增加模型微調(diào)的表現(xiàn)。這里介紹一篇最近發(fā)表在NeurIPS上面的論文。在分子結(jié)構(gòu)上，我們可以有各種下游任務(wù)，例如可溶性、毒性或活性預(yù)測等，這是一個(gè)非常適合基礎(chǔ)模型的場景。基本架構(gòu)就是用GNN去編碼一個(gè)分子輸入，得到每個(gè)節(jié)點(diǎn)（原子）的嵌入，然后通過聚合或者池化操作得到分子的嵌入，然后預(yù)測各種分子級別的下游任務(wù)。HuangT,HuZ,YingR.LearningtoGroupAuxiliaryDatasetsforMolecule[J].arXivpreprintarXiv:2307.04052,2023.圖7分子圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練步驟圖上的預(yù)訓(xùn)練任務(wù)通?？梢允巧墒饺蝿?wù)也可以是對比式任務(wù)，但對于分子結(jié)構(gòu)來說仍然是一個(gè)非常有挑戰(zhàn)性的話題。首先，有標(biāo)注的數(shù)據(jù)集很少，往往需要昂貴的領(lǐng)域知識來建立。然后往往它們用的分子也都是不一樣的。一個(gè)比較自然的想法是說，因?yàn)檫@些下游任務(wù)都非常小，所以我們能不能結(jié)合多個(gè)下游任務(wù)，比如把幾個(gè)毒性相關(guān)的下游任務(wù)和數(shù)據(jù)放在一起來做微調(diào)。通過從基礎(chǔ)模型微調(diào)的形式去改進(jìn)可能會是一個(gè)更加有效的策略。但這樣做有一個(gè)問題就是很容易出現(xiàn)負(fù)遷移。我們觀察一個(gè)數(shù)據(jù)集是否能幫助另一個(gè)數(shù)據(jù)集，紅色表示提升很明顯。我們可以看到有些規(guī)律，例如幾乎所有數(shù)據(jù)集都可以幫助FreeSolv數(shù)據(jù)集。圖8兩個(gè)數(shù)據(jù)集能否互相幫助的實(shí)驗(yàn)?zāi)敲茨芊裾业綄δ硞€(gè)數(shù)據(jù)集有幫助的數(shù)據(jù)集呢？我們覺得兩個(gè)數(shù)據(jù)集之間的關(guān)系分為兩種，一種是結(jié)構(gòu)的相關(guān)性，另一種是任務(wù)的相關(guān)性。描述這兩種相關(guān)性的方式很多，這里不展開討論?；谶@些相關(guān)性，我們就可以把單個(gè)任務(wù)轉(zhuǎn)化成一組任務(wù)。在訓(xùn)練的時(shí)候，我們就可以把這些數(shù)據(jù)放到一起算損失。假設(shè)這兩個(gè)數(shù)據(jù)集關(guān)系非常緊密，輔助數(shù)據(jù)集是非常有用的，那就可以用同一套編碼器，只用不同的解碼器做不同的任務(wù)。另一個(gè)極端是，如果兩個(gè)數(shù)據(jù)集或者下游任務(wù)完全無關(guān)，就應(yīng)該使用兩套編碼器來訓(xùn)練，才能得到最好的效果。很多情況可能介于兩種極端情況之間，他們的任務(wù)可能在分布上相似又有一定的區(qū)別，這就應(yīng)該采用中間的混合形式，部分參數(shù)共享。圖9三種融合不同數(shù)據(jù)的方式我們建議使用路由機(jī)制來動(dòng)態(tài)分配每個(gè)輔助數(shù)據(jù)集對網(wǎng)絡(luò)子層目標(biāo)數(shù)據(jù)集的影響。路由機(jī)制的學(xué)習(xí)取決于輔助數(shù)據(jù)集的梯度如何影響目標(biāo)數(shù)據(jù)集的性能。然而，以目標(biāo)數(shù)據(jù)集感知的方式優(yōu)化這種路由機(jī)制具有挑戰(zhàn)性，因?yàn)樗鼉H在輔助數(shù)據(jù)集的前向傳遞期間使用。為了解決這個(gè)問題，我們建議使用雙層優(yōu)化框架，并使用元梯度（metagradients）來自動(dòng)學(xué)習(xí)任務(wù)的相似度。雙層優(yōu)化框架分為兩個(gè)步驟：首先，利用輔助任務(wù)的梯度更新除路由函數(shù)外的模型參數(shù)；其次，我們重用這個(gè)計(jì)算圖并計(jì)算路由機(jī)制的元梯度。3.推理中的關(guān)系結(jié)構(gòu)思維傳播：用大模型進(jìn)行復(fù)雜推理關(guān)系推理能否在大語言模型的推理階段有所幫助呢？目前比較流行的方式是通過設(shè)計(jì)各種各樣的提示（prompt）來使大語言模型更好地解決一些復(fù)雜問題，例如思維鏈（chain-of-thought）、思維樹（tree-of-thought）和思維圖（graph-of-thought）等，但這些方法還不夠高效。鑒于目前的prompt是獨(dú)立的，所以能否通過探索問題之間、解之間的關(guān)系來幫助模型有更強(qiáng)的推理能力，這種方式我們叫做思維傳播（thoughtpropagation）。思維傳播包含如下幾個(gè)步驟。首先，LLMSolve使用基礎(chǔ)的提示方法解決輸入的問題。然后，LLMPropose是指提示LLM去提出一些相似的問題，這些問題都可以用LLM來解決。然后我們會分別得到一些解，這些解就是模型對于之前問題的回答。然后根據(jù)這些回答，我們進(jìn)行聚合或者投票來得到當(dāng)前問題的回答，這就叫LLMAggregate。最后的LLMReadout就是判斷新的解和舊的解哪個(gè)更好，或者二者能否結(jié)合得到更好