多模態(tài)知識(shí)圖譜構(gòu)建

哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心友愛(ài)力行樂(lè)學(xué)日新RESEARCH

CENTER

FOR

SOCIAL

COMPUTING

AND

INFORMATION

RETRIEVAL多模態(tài)知識(shí)圖譜構(gòu)建初探匯報(bào)人：知識(shí)的分類(lèi)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)單模態(tài)數(shù)據(jù)多模態(tài)數(shù)據(jù)知識(shí)2HARBIN

INSTITUTE

OF

TECHNOLOGY單模態(tài)知識(shí)圖譜到多模態(tài)知識(shí)圖譜CEO庫(kù)克蘋(píng)果公司關(guān)系頭實(shí)體尾實(shí)體intel芯片屬于產(chǎn)品CEO庫(kù)克人公司蘋(píng)果公司知名人士機(jī)構(gòu)物品電腦蘋(píng)果電腦芯片文本圖像3HARBIN

INSTITUTE

OF

TECHNOLOGY封閉域信息抽取VS開(kāi)放域信息抽取“蒂姆·庫(kù)克擔(dān)任蘋(píng)果公司的首席執(zhí)行官”（“蒂姆·庫(kù)克”，“首席執(zhí)行官”，“蘋(píng)果公司抽取路線(xiàn)1:封閉信息抽取（Close

IE）抽取路線(xiàn)2:開(kāi)放信息抽?。∣penIE）蒂姆·庫(kù)克人機(jī)構(gòu)雇傭關(guān)系擁有關(guān)系學(xué)習(xí)關(guān)系蘋(píng)果公司事先給定實(shí)體類(lèi)別和關(guān)系類(lèi)型標(biāo)簽（“蒂姆·庫(kù)克”，雇傭關(guān)系，“蘋(píng)果公司”）4知識(shí)圖譜中容納的事實(shí)知識(shí)intel芯片蘋(píng)果電腦屬于產(chǎn)品CEO蘋(píng)果公司庫(kù)克發(fā)熱量產(chǎn)品英特爾公司總部圣克克拉總部屬于加利福尼亞庫(kù)比蒂諾市上位詞實(shí)體屬性關(guān)系城市洲/省電子產(chǎn)品產(chǎn)品地點(diǎn)蘋(píng)果公司和英特爾公司產(chǎn)品間的聯(lián)系公司組織5知識(shí)圖譜中的矛盾事實(shí)？objsubj強(qiáng)于objsubj無(wú)法媲美ARM處理器的性能

Intel處理器的性能不限制功耗，ARM處理器的性能暫時(shí)無(wú)法媲美

Intel處理器的性能ARM處理器的性能

Intel處理器的性能消耗相同的電能，ARM處理器的性能強(qiáng)于

Intel處理器的性能6HARBIN

INSTITUTE

OF

TECHNOLOGY知識(shí)圖譜中的矛盾事實(shí)消耗相同的電能，ARM處理器的性能強(qiáng)于Intel處理器的性能。不限制功耗，ARM 處理器的性能暫時(shí)無(wú)法媲美Intel處理器的性能Intel處理器的性能objsubjARM處理器的性能強(qiáng)于消耗obj相同的電能條件Intel處理器的性能objsubjARM處理器的性能無(wú)法媲美不限制obj功耗條件7HARBIN

INSTITUTE

OF

TECHNOLOGY條件性知識(shí)圖譜2014年烏克蘭發(fā)生橙色革命，2022年初烏克蘭民間武裝與烏克蘭政府軍爆發(fā)沖突，

2022年2月24日俄羅斯在烏克蘭進(jìn)行特別軍事行動(dòng)，烏克蘭宣布與俄羅斯斷交。時(shí)間沖突時(shí)間烏克蘭民間組織橙色革命特別軍事行動(dòng)斷交2022初實(shí)體層關(guān)系層發(fā)生條件層次序?qū)?014政府軍歸屬K3.俄羅斯時(shí)間進(jìn)行前

序后

序事

實(shí)條

件頭實(shí)體尾實(shí)體T1.T2.2022年2月24日K1.8HARBIN

INSTITUTE

OF

TECHNOLOGYK2.<CCKS

2023

best

paper>開(kāi)放域事實(shí)和條件聯(lián)合抽取數(shù)據(jù)集構(gòu)建Sentences:MacwilabandonIntelprocessorsanduseARMprocessorsinstead.Withoutlimitationonpowerconsumption,theperformanceofARMprocessorscannotbecomparedwiththatofIntelprocessors.ButtheperformanceofARMprocessorsisbeterthanthatofIntelprocessorsinthecaseofconsumingthesamepower.tuple-1:(Mac,wilabandon,Intelprocessors)tuple-2:(Mac,use,ARMprocessors)tuple-3:({ARMprocessors:performance},cannotbecomparedwith,{Intelprocessors:performance})tuple-4:({ARMprocessors:performance},isbeterthan,{Intelprocessors:performance})tuple-5:(nul,withoutlimitingon,powerconsumption)tuple-6:(nul,inthecaseofconsuming,samepower)Relation=tuple-3|tuple-5,

tuple-4|tuple-6元組：是事實(shí)和條件中最小的知識(shí)單位，組成結(jié)構(gòu)為：[實(shí)體1：屬性1--關(guān)系--實(shí)體2：屬性2]事實(shí)知識(shí)和條件知識(shí)均表示為一系列元組，條件知識(shí)也是一種事實(shí)，用于對(duì)事實(shí)的補(bǔ)充和說(shuō)明9HARBIN

INSTITUTE

OF

TECHNOLOGY分階段的事實(shí)和條件知識(shí)抽取代表元組中的關(guān)系謂詞識(shí)別??代表元組中的實(shí)體、屬性識(shí)別??代表元組間事實(shí)和條件對(duì)應(yīng)關(guān)系識(shí)別??10HARBIN

INSTITUTE

OF

TECHNOLOGY方案：采用分階段抽取方式，先抽取元組，再確定元組間的事實(shí)和條件對(duì)應(yīng)關(guān)系多輸入多輸出的事實(shí)和條件知識(shí)聯(lián)合抽取支持1954

年克里米亞加入Sentence自從CONDITIONFACTCONDITIONFACT獨(dú)立obj.obj.subj.subj.obj.烏克蘭俄羅斯事實(shí)：[俄羅斯，敵對(duì)，烏克蘭]條件：[烏克蘭，打擊，親俄勢(shì)力]11HARBIN

INSTITUTE

OF

TECHNOLOGY條件：[烏克蘭，加入，北約]條件：[俄羅斯，部署，戰(zhàn)略導(dǎo)彈]事實(shí)：[克里米亞，屬于，烏克蘭]條件：[自從，1954年]半監(jiān)督方案的引入人工數(shù)據(jù)標(biāo)注模型訓(xùn)練人工規(guī)則糾錯(cuò)<”Use

of

“Internal

Knowledge”:

Biomedical

Literature

Search

Liberated

From

External

Resources."

BIBM

2020>12HARBIN

INSTITUTE

OF

TECHNOLOGY將條件知識(shí)注入到模型中iCK-BERT(Transformer)1

×…11

×[Tim

Cook,

??,

?

]Embedding

InitializationPredictorPredictiveDistributionPredictiveDistribution11

entity/

Attribute

layer11tuple

layer11knowledge

layerTransformer

encoder

LayerTransformer

encoder

LayerTransformer

encoder

LayerTransformeroCK-BERT(Transformer)[烏克蘭,總統(tǒng),?]事實(shí)知識(shí)[會(huì)談,時(shí)間,?]條件知識(shí)階段3:事實(shí)知識(shí)和條件知識(shí)的深度融合階段2:條件知識(shí)利用表示學(xué)習(xí)注入now3123456456670[CLS]

Tim

Cook+

+

+Job+holds

Apple

[mask]

is+

+

+

+visiting+[MASK]+capital+China+++A+A+A+A+A+A+A+A+A+A+A+A+A階段1:事實(shí)知識(shí)在預(yù)訓(xùn)練模型中注入0

1

2

3

4

5

6

7

8

9101112Visible

Matrix0

1

2

3

4

5

6

7

8

9

101112visibleinvisible0

1

2

7

8

1Cookis

visiting[CLS]0Tim蒂姆

1Apple蘋(píng)果公司52

49Beijing北京5no2

w現(xiàn)在6庫(kù)克 正在 拜訪(fǎng)356CEO首席執(zhí)行官61capi0tal首都611China中國(guó)

7Job

3職位34holds擔(dān)任

413多模態(tài)結(jié)構(gòu)化信息提取目標(biāo)：讓計(jì)算機(jī)自動(dòng)生成一種語(yǔ)義化的圖結(jié)構(gòu)（稱(chēng)為

scene graph，場(chǎng)景圖）圖像場(chǎng)景圖提取視頻場(chǎng)景圖提取14HARBIN

INSTITUTE

OF

TECHNOLOGY多模態(tài)知識(shí)圖譜構(gòu)建姜糖水可以治療由風(fēng)寒導(dǎo)致的感冒。中美科研團(tuán)隊(duì)在最新一期《細(xì)胞》雜志撰文稱(chēng),他們制造出首個(gè)由人類(lèi)細(xì)胞和猴子細(xì)胞共同組成的胚胎,這些嵌合體有助科學(xué)家進(jìn)一步在其它物種體內(nèi)（如豬）培育出人體組織,但最新研究也引發(fā)了一些倫理爭(zhēng)議。犯罪嫌疑人程某指認(rèn)涉案自行車(chē)青浦區(qū)檢察院供圖

“早知道這么貴我就不偷了?！?2歲的被告人程某因貪小便宜，偷走了一輛折疊自行車(chē)。9月24日，澎湃新聞?dòng)浾邚纳虾Ｊ星嗥謪^(qū)檢察院獲悉，經(jīng)該院以盜竊罪提起公訴，程某于9月17日被判處有期徒刑十個(gè)月，并處罰金人民幣三千元。程某稱(chēng)，自己退休后在青浦區(qū)一郊野公園養(yǎng)護(hù)水草，手底下管著十個(gè)人，每月工資4500元，外加退休金和補(bǔ)貼，生活條件還算不錯(cuò)。15HARBIN

INSTITUTE

OF

TECHNOLOGY模態(tài)的概念16HARBIN

INSTITUTE

OF

TECHNOLOGY模態(tài)代表數(shù)據(jù)的分布，不同來(lái)源的分布不一致的數(shù)據(jù)代表不同模態(tài)的數(shù)據(jù)模態(tài)表示是多模態(tài)深度學(xué)習(xí)的基礎(chǔ)，分為單模態(tài)表示和多模態(tài)表示單模態(tài)表示：對(duì)單個(gè)模態(tài)信息進(jìn)行線(xiàn)性或非線(xiàn)性映射，產(chǎn)生單個(gè)模態(tài)信 息的高階語(yǔ)義特征表示。語(yǔ)句、圖像、視頻、聲音等模態(tài)為單模態(tài)表示 中的主要處理對(duì)象，且不同的模態(tài)有不同的適用的神經(jīng)網(wǎng)絡(luò)模型多模態(tài)表示：指采用模態(tài)共作用語(yǔ)義表示或者模態(tài)約束語(yǔ)義表示的方法，對(duì)各模態(tài)信息進(jìn)行處理，使得包含相同或相近語(yǔ)義的模態(tài)信息也具有相同或相近的表示多模態(tài)聯(lián)合表示模態(tài)共作用語(yǔ)義表示：融合各單模態(tài)的特征表示，以獲得包含各模態(tài) 語(yǔ)義信息的多模態(tài)表示模態(tài)約束語(yǔ)義表示：用一個(gè)模態(tài)的單模態(tài)表示結(jié)果去約束其他模態(tài)的 表示，以使其他模態(tài)的表示能夠包含該模態(tài)的語(yǔ)義信息模態(tài)共作用語(yǔ)義表示模態(tài)約束語(yǔ)義表示17HARBIN

INSTITUTE

OF

TECHNOLOGY多模態(tài)命名實(shí)體識(shí)別多模態(tài)命名實(shí)體識(shí)別，文本和圖像聯(lián)合確定實(shí)體位置和類(lèi)型dogpersonobject18HARBIN

INSTITUTE

OF

TECHNOLOGY？多模態(tài)實(shí)體關(guān)系抽取出席大會(huì)的有：XXX、XXX、XXX、XXX輸入實(shí)體對(duì)，聯(lián)合文本和圖像確定實(shí)體對(duì)之間的關(guān)系類(lèi)型多模態(tài)實(shí)體關(guān)系抽取，圖片細(xì)粒度特征輔助識(shí)別實(shí)體關(guān)系上級(jí)反派，隸屬于敵方勢(shì)力19HARBIN

INSTITUTE

OF

TECHNOLOGY多模態(tài)實(shí)體提取結(jié)構(gòu)：采用多任務(wù)學(xué)習(xí)方式聯(lián)合優(yōu)化3

個(gè)損失函數(shù)：L_crf

是利用條件隨機(jī)場(chǎng)模型抽取實(shí)體時(shí)的損失函數(shù)L_task1

是建模圖文粗粒度相關(guān)性的損失函數(shù)L_task2

是建模圖文細(xì)粒度相關(guān)性的損失函數(shù)20HARBIN

INSTITUTE

OF

TECHNOLOGY多模態(tài)實(shí)體抽取-groundinggrounded21HARBIN

INSTITUTE

OF

TECHNOLOGY橋接的多模態(tài)實(shí)體關(guān)系抽取圖構(gòu)建：輸入句子和圖片分別使用句法分析工具以及場(chǎng)景圖生成工具得到模態(tài)內(nèi)的圖，然后兩者全連接得到多模態(tài)圖圖交互：以構(gòu)建得到的圖為交互橋梁，進(jìn)行多層跨模態(tài)交互關(guān)系分類(lèi)：基于多方面門(mén)控信息整合的多模態(tài)信息整合及交互以多模態(tài)關(guān)系圖作為橋梁來(lái)學(xué)習(xí)跨模態(tài)交互<ICASSP

2024>22HARBIN

INSTITUTE

OF

TECHNOLOGY特點(diǎn)：多粒度圖文相關(guān)計(jì)算，通過(guò)全局節(jié)點(diǎn)和局部節(jié)點(diǎn)分別建模整體和局部的模態(tài)交互基于細(xì)粒度匹配的多模態(tài)實(shí)體關(guān)系抽取表示層：文本編碼器BERT，圖片編碼器ResNet

、多模態(tài)交互層多模態(tài)交互層建模圖文之間的細(xì)粒度元素對(duì)齊利用目標(biāo)檢測(cè)算法抽取得到節(jié)點(diǎn)和節(jié)點(diǎn)間關(guān)系對(duì)句子進(jìn)行句法分析得到句法樹(shù)分類(lèi)層：基于提示模板關(guān)系抽取，將關(guān)系分類(lèi)建模為掩碼預(yù)測(cè)任務(wù)選取三元組級(jí)別乃至路徑級(jí)別的細(xì)粒度對(duì)齊23HARBIN

INSTITUTE

OF

TECHNOLOGY迭代的多模態(tài)實(shí)體關(guān)系抽取迭代框架：使用diffusion的框架將多模態(tài)實(shí)體抽取定義為迭代過(guò)程動(dòng)態(tài)模態(tài)融合：在迭代過(guò)程中，按照階段以及樣本動(dòng)態(tài)融合多種模態(tài)表示多粒度模態(tài)對(duì)齊：

不同粒度的模態(tài)對(duì)齊損失捕捉全局以及局部的模態(tài)對(duì)齊<COLING

2024>特點(diǎn)：迭代的多模態(tài)實(shí)體抽取框架來(lái)動(dòng)態(tài)融合多模態(tài)的特征，從而充分利用多種模態(tài)特征24HARBIN

INSTITUTE

OF

TECHNOLOGY視頻場(chǎng)景圖生成STTran空間關(guān)系抽取(視頻中的每幀圖像)時(shí)間關(guān)系抽取(幀與幀之間的時(shí)間依賴(lài))結(jié)構(gòu)：STTran包含兩個(gè)部分，spatialencoder和temporaldecoder。spatialencoder負(fù)責(zé)處理單個(gè)幀中的空間關(guān)系，而在temporal

decoder中不同幀之間的關(guān)系可以共享信息并獲取時(shí)間上的依賴(lài)性?xún)?yōu)勢(shì)：利用時(shí)間上下文更準(zhǔn)確地推測(cè)出幀與幀的關(guān)系，即更準(zhǔn)確的連貫動(dòng)作關(guān)系<Spatial-Temporal

Transformerfor

Dynamic

Scene

Graph

Generation

ICCV>25HARBIN

INSTITUTE

OF

TECHNOLOGY基于生成+篩選機(jī)制的視頻場(chǎng)景圖生成分階段解碼框架：模型采用pipeline架 構(gòu)，分為兩個(gè)階段：第一階段嫁接靜態(tài) 場(chǎng)景圖模型獲取幀 內(nèi)的靜態(tài)結(jié)構(gòu)信息第二階段根據(jù)幀之 間的時(shí)序相關(guān)性將 上一階段生成的靜 態(tài)信息重構(gòu)為動(dòng)態(tài) 場(chǎng)景圖FCSimilarity

calculation…FeatureExtractorBounding

BoxCategory1

1,11

1,21

2,11

3,12

1,12

1,2…

(),+1?1ClassifierStatic

AttentionFeed

forwardTemporal

AttentionFine-