大語言模型與知識圖譜

#大語言模型與知識圖譜機(jī)會與挑戰(zhàn)https://drops.dagstuhl.de/storage/08tgdk/tgdk-vol001/tgdk-vol001-issue001/TGDK.1.1.2/TGDK.1.1.2.pdf#從知識表示的角度看

KG+LLM知識表示知識表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010sKG2020sLLM知識表示顯式知識(Explicit

Knowledge)非結(jié)構(gòu)化知識（文本、圖片、視頻等）結(jié)構(gòu)化知識（編碼了邏輯信息的，知識圖譜、數(shù)據(jù)庫等）長期共識：并不是所有的知識都適合顯示化表示知識表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM知識表示顯式知識(Explicit

Knowledge)非結(jié)構(gòu)化知識（文本、圖片、視頻等）結(jié)構(gòu)化知識（編碼了邏輯信息的，知識圖譜、數(shù)據(jù)庫等）長期共識：并不是所有的知識都適合顯示化表示參數(shù)化知識（Parametric

Knowledge）并不是所有的參數(shù)化知識都能被轉(zhuǎn)化為顯式知識判斷句子的情感極性誰是登上月球的第一人知識表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM知識表示顯式知識(Explicit

Knowledge)非結(jié)構(gòu)化知識（文本、圖片、視頻等）結(jié)構(gòu)化知識（編碼了邏輯信息的，知識圖譜、數(shù)據(jù)庫等）長期共識：并不是所有的知識都適合顯示化表示參數(shù)化知識（Parametric

Knowledge）并不是所有的參數(shù)化知識都能被轉(zhuǎn)化為顯式知識判斷句子的情感極性誰是登上月球的第一人顯示的知識表示方法--參數(shù)化的知識表示方法–-混合的知識表示方法（知識圖譜） （大語言模型） （知識圖譜+大語言模型）知識表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM知識表示顯式知識(Explicit

Knowledge)非結(jié)構(gòu)化知識（文本、圖片、視頻等）結(jié)構(gòu)化知識（編碼了邏輯信息的，知識圖譜、數(shù)據(jù)庫等）長期共識：并不是所有的知識都適合顯示化表示參數(shù)化知識（Parametric

Knowledge）并不是所有的參數(shù)化知識都能被轉(zhuǎn)化為顯式知識判斷句子的情感極性誰是登上月球的第一人顯示的知識表示方法--參數(shù)化的知識表示方法–-混合的知識表示方法（知識圖譜） （大語言模型） （知識圖譜+大語言模型）知識表示–Knowledge

Representationtext

ELIZA

RDF/OWL1960s

2000s2010s

2020sKGLLM問：圖書館館長的孩子中最??名的是誰？976

results

in

6721

msIIIllIlIl)

Wikidata

Query

Service

Examples

@

HelpJ

#NosI

famous

chitd

o

f

a

Tib

ra

rian#Children

of

librarians

with

the

most

number

of

sitelinks

(as

a

proxy

for

Name)SELECT

7person

?personLabet

?parentLabel

?linkcount

WHERE

(?parent

wdt:P106

md:Q182436

.?parentWdt:P40?person.?person

wikibase:sitelinks

?linkcount

.SERVICE

wikiba

se:

\.abeI

{

bd

:

se

rv

icePa

ram

wikiba

se

:

language

"

[AUT0_LANGUAGE

]

,

en

,

de

,

e

s,

a

r

,

f

r"

}?

GROUP

BY

?I

inkcount

?pe

rson

?

pe

rsonLabe

I

?parent

?pa

rent

Label

fJ

ORDER

BY

DESC

(

?I

inkcount

)O

More

toolsOuery

Builder.

Table

-

epersonQ

wd:Q79015CI

wd:Q162005Q

wd:Q71031Q

wd:Q76556Q

wd:Q151872personLabelSupermanPaul

AllenRobert

BunsenRichard

DedekindAmos

OzparentLabelLara

Lor-VanKenneth

S.

AllenChristian

BunsenJulius

DedekindYehuda

Arieh

KlausnerA

Englishlinkcount10484817365讓我們一起看看一些辯題讓我們一起看看一些辯題知識表示和推理（顯式or隱式）：語言模型中知識的學(xué)習(xí)依賴的是統(tǒng)計(jì)模式，并不是真正的理解和推理。LLM缺乏顯式的知識存儲，會產(chǎn)生高概率但錯誤的回答LLM是否能夠具有directional

entailment的能力,推理概念包含關(guān)系？知識圖譜構(gòu)建成本高LLM訓(xùn)練成本也很高但是LLM可用性很強(qiáng)，讓AI從幕后到臺前總結(jié)：準(zhǔn)確率V.S.召回率之間的均衡讓我們一起看看一些辯題知識表示和推理（顯式or隱式）：語言模型中知識的學(xué)習(xí)依賴的是統(tǒng)計(jì)模式，并不是真正的理解和推理。LLM缺乏顯式的知識存儲，會產(chǎn)生高概率但錯誤的回答LLM是否能夠具有directional

entailment的能力,推理概念包含關(guān)系？知識圖譜構(gòu)建成本高LLM訓(xùn)練成本也很高但是LLM可用性很強(qiáng)，讓AI從幕后到臺前總結(jié)：準(zhǔn)確率V.S.召回率之間的均衡高準(zhǔn)確度的KG構(gòu)建方法YAGO：>95%準(zhǔn)確性Knowledge

Vault沒有產(chǎn)品化：在測試集上沒有達(dá)到99%準(zhǔn)確率基于LLM的KG構(gòu)建方法尚未達(dá)到高準(zhǔn)確度的要求總結(jié)：高準(zhǔn)確度的KG構(gòu)建方法有待研究讓我們一起看看一些辯題知識表示和推理（顯式or隱式）：語言模型中知識的學(xué)習(xí)依賴的是統(tǒng)計(jì)模式，并不是真正的理解和推理。LLM缺乏顯式的知識存儲，會產(chǎn)生高概率但錯誤的回答LLM是否能夠具有directional

entailment的能力,推理概念包含關(guān)系？知識圖譜構(gòu)建成本高LLM訓(xùn)練成本也很高

但是LLM可用性很強(qiáng)，讓AI從幕后到臺前總結(jié)：準(zhǔn)確率V.S.召回率之間的均衡高準(zhǔn)確度的KG構(gòu)建方法YAGO：>95%準(zhǔn)確性Knowledge

Vault沒有產(chǎn)品化：在測試集上沒有達(dá)到99%準(zhǔn)確率基于LLM的KG構(gòu)建方法尚未達(dá)到高準(zhǔn)確度的要求總結(jié)：高準(zhǔn)確度的KG構(gòu)建方法有待研究LLM能否準(zhǔn)確記憶和運(yùn)用數(shù)值知識？人的生日/年齡等讓我們一起看看一些辯題長尾知識：LLM到底記憶了多少知識？有實(shí)驗(yàn)表明LLM對wikidata中尾部知識的記憶明顯差于頭部知識但KG中可以準(zhǔn)確存儲長尾的信息讓我們一起看看一些辯題長尾知識：LLM到底記憶了多少知識？有實(shí)驗(yàn)表明LLM對wikidata中尾部知識的記憶明顯差于頭部知識但KG中可以準(zhǔn)確存儲長尾的信息偏見、公平性、版權(quán)訓(xùn)練數(shù)據(jù)中的偏見-->LLM輸出的偏見（是否會被放大？）需要處理LLM訓(xùn)練數(shù)據(jù)中存在的偏見從模型的參數(shù)知識中刪除知識，比在顯式知識中刪除難很多讓我們一起看看一些辯題長尾知識：LLM到底記憶了多少知識？有實(shí)驗(yàn)表明LLM對wikidata中尾部知識的記憶明顯差于頭部知識但KG中可以準(zhǔn)確存儲長尾的信息偏見、公平性、版權(quán)訓(xùn)練數(shù)據(jù)中的偏見-->LLM輸出的偏見（是否會被放大？）需要處理LLM訓(xùn)練數(shù)據(jù)中存在的偏見從模型的參數(shù)知識中刪除知識，比在顯式知識中刪除難很多可解釋性知識圖譜在可解釋性需求很強(qiáng)的領(lǐng)域受到較大歡迎LLM不可解釋，輸出是如何生成的解析注意力值/模型反思/CoT/資料溯源等機(jī)會與展望即時訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)查詢機(jī)會與展望即時訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(LLM

for

KG)LLM極大地簡化了知識工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會實(shí)體識別、關(guān)系抽取、語法依存樹解析等知識圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power機(jī)會與展望即時訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(LLM

for

KG)LLM極大地簡化了知識工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會實(shí)體識別、關(guān)系抽取、語法依存樹解析等知識圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power更好的語言理解效果（KG

for

LLM）語言歧義、排版錯誤、重復(fù)等手寫的、網(wǎng)絡(luò)爬取的、其他嘈雜形式的機(jī)會與展望即時訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(LLM

for

KG)LLM極大地簡化了知識工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會實(shí)體識別、關(guān)系抽取、語法依存樹解析等知識圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power更好的語言理解效果（KG

for

LLM）語言歧義、排版錯誤、重復(fù)等手寫的、網(wǎng)絡(luò)爬取的、其他嘈雜形式的壓縮即是整合傳統(tǒng)知識工程需要對沖突的信息進(jìn)行整合?

LLM壓縮文本信息自然地完成了這個過程機(jī)會與展望即時訪問大規(guī)模文本語料借用LLM對大規(guī)模文本進(jìn)行處理和訪問，避免數(shù)據(jù)收集、數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)查詢提供更豐富的知識(LLM

for

KG)LLM極大地簡化了知識工程流程通過少樣本微調(diào)、提示便可以讓LLM學(xué)會實(shí)體識別、關(guān)系抽取、語法依存樹解析等知識圖譜的構(gòu)建規(guī)模和質(zhì)量有望得到提升將顯式知識和LLM進(jìn)行交互，提升可應(yīng)用性總結(jié)：Knowledge

is

power更好的語言理解效果（KG

for

LLM）語言歧義、排版錯誤、重復(fù)等手寫的、網(wǎng)絡(luò)爬取的、其他嘈雜形式的壓縮即是整合傳統(tǒng)知識工程需要對沖突的信息進(jìn)行整合LLM->KG:增強(qiáng)KG的規(guī)模、質(zhì)量和可用性?

LLM壓縮文本信息自然地完成了這個過程KG->LLM:提升、實(shí)例化、校驗(yàn)LLM的輸出，增強(qiáng)LLM的可信度和可用性表格知識抽取Knowledge

Extraction

from

TabularData知識圖譜補(bǔ)全三元組抽取Triple

Extraction本體模式構(gòu)建(Inductive)

Link

PredictionOntological

Schema

Construction表格知識抽取Knowledge

Extraction

from

TabularData知識圖譜補(bǔ)全三元組抽取Triple

Extraction本體模式構(gòu)建(Inductive)

Link

PredictionOntological

Schema

Construction*表格均來自網(wǎng)絡(luò)*表格均來自網(wǎng)絡(luò)元數(shù)據(jù)定義不清：表格名稱，列名等結(jié)構(gòu)復(fù)雜多模態(tài)信息大語言模型增強(qiáng)知識圖譜–表格知識抽取表格預(yù)訓(xùn)練TURL[1][1]

Xiang

Deng,

Huan

Sun,

Alyssa

Lees,

You

Wu,

Cong

Yu:

TURL:

Table

Understanding

through

Representation

Learning.

SIGMOD

Rec.

51(1):

33-40

(2022)[2]

Nan

Tang,

Ju

Fan,

Fangyi

Li,

Jianhong

Tu,

Xiaoyong

Du,

Guoliang

Li,

Samuel

Madden,

Mourad

Ouzzani:

RPT:

Relational

Pre-trained

Transformer

Is

AlmosAll

You

Need

towards

Democratizing

Data

Preparation.

Proc.

VLDB

Endow.

14(8):

1254-1261

(2021)大語言模型增強(qiáng)知識圖譜–表格知識抽取表格預(yù)訓(xùn)練TURL[1]RPT[2]RPT(Bart)應(yīng)用效果[1]

Xiang

Deng,

Huan

Sun,

Alyssa

Lees,

You

Wu,

Cong

Yu:

TURL:

Table

Understanding

through

Representation

Learning.

SIGMOD

Rec.

51(1):

33-40

(2022)[2]

Nan

Tang,

Ju

Fan,

Fangyi

Li,

Jianhong

Tu,

Xiaoyong

Du,

Guoliang

Li,

Samuel

Madden,

Mourad

Ouzzani:

RPT:

Relational

Pre-trained

Transformer

Is

AlmosAll

You

Need

towards

Democratizing

Data

Preparation.

Proc.

VLDB

Endow.

14(8):

1254-1261

(2021)大語言模型增強(qiáng)知識圖譜–表格知識抽取表格語義標(biāo)注DODUO[1][1]

Yoshihiko

Suhara,

Jinfeng

Li,

Yuliang

Li,

Dan

Zhang,

?a?atay

Demiralp,

Chen

Chen,

and

Wang-

Chiew

Tan.

Annotating

columns

withpre-trainedlanguage

models.

In

SIGMOD,

pages

1493–1503,

2022.

doi:10.1145/3514221.3517906.[2]

Keti

Korini

and

Christian

Bizer.

Column

type

annotation

using

chatgpt.

arXiv,2023.大語言模型增強(qiáng)知識圖譜–表格知識抽取表格語義標(biāo)注DODUO[1]使用ChatGPT[2][1]

Yoshihiko

Suhara,

Jinfeng

Li,

Yuliang

Li,

Dan

Zhang,

?a?atay

Demiralp,

Chen

Chen,

and

Wang-

Chiew

Tan.

Annotating

columns

withpre-trainedlanguage

models.

In

SIGMOD,

pages

1493–1503,

2022.

doi:10.1145/3514221.3517906.[2]

Keti

Korini

and

Christian

Bizer.

Column

type

annotation

using

chatgpt.

arXiv,2023.大語言模型增強(qiáng)知識圖譜–表格知識抽取表格語義標(biāo)注DODUO[1]使用ChatGPT[2]挑戰(zhàn)與機(jī)會：將表格轉(zhuǎn)化為序列的方法：轉(zhuǎn)化為序列才能輸入到語言模型中充分挖掘非文字性的表格數(shù)據(jù)：數(shù)值、日期、圖片等提取表格知識：LLM常被用于處理和理解表格，但是并沒有用于知識抽取[1]

Yoshihiko

Suhara,

Jinfeng

Li,

Yuliang

Li,

Dan

Zhang,

?a?atay

Demiralp,

Chen

Chen,

and

Wang-

Chiew

Tan.

Annotating

columns

withpre-trainedlanguage

models.

In

SIGMOD,

pages

1493–1503,

2022.

doi:10.1145/3514221.3517906.[2]

Keti

Korini

and

Christian

Bizer.

Column

type

annotation

using

chatgpt.

arXiv,2023.表格知識抽取Knowledge

Extraction

from

TabularData知識圖譜補(bǔ)全(Inductive)

Link

Prediction三元組抽取Triple

Extraction本體模式構(gòu)建Ontological

Schema

Construction大語言模型增強(qiáng)知識圖譜–鏈接預(yù)測直推式鏈接預(yù)測歸納式鏈接預(yù)測[1][2][3][4]KomalK.Teru,

EtienneG.Denis,

WilliamL.Hamilton:

Inductive

Relation

PredictionbySubgraph

Reasoning.ICML2020:

9448-9457Liang

Yao,

Chengsheng

Mao,

Yuan

Luo:

KG-BERT:

BERT

for

Knowledge

Graph

Completion.

CoRR

abs/1909.03193

(2019)Russa

Biswas,

Radina

Sofronova,

Mehwish

Alam,

and

Harald

Sack.

Contextual

language

models

for

knowledge

graph

completion.

In

MLSMKG,

2021.Bo

Wang,

Tao

Shen,

Guodong

Long,

Tianyi

Zhou,

Ying

Wang,

and

Yi

Chang.

Structure-augmented

text

representation

learning

for

efficient

knowledge

graphcompletion.

In

WWW,

pages

1737–1748,

2021.圖片來自[1]大語言模型增強(qiáng)知識圖譜–鏈接預(yù)測增加文本信息KGBert

[2]KGGPT[3]StAR

[4]直推式鏈接預(yù)測歸納式鏈接預(yù)測圖片來自[1]GPT-2[1][2][3][4]KomalK.Teru,

EtienneG.Denis,

WilliamL.Hamilton:

Inductive

Relation

PredictionbySubgraph

Reasoning.ICML2020:

9448-9457Liang

Yao,

Chengsheng

Mao,

Yuan

Luo:

KG-BERT:

BERT

for

Knowledge

Graph

Completion.

CoRR

abs/1909.03193

(2019)Russa

Biswas,

Radina

Sofronova,

Mehwish

Alam,

and

Harald

Sack.

Contextual

language

models

for

knowledge

graph

completion.

In

MLSMKG,

2021.Bo

Wang,

Tao

Shen,

Guodong

Long,

Tianyi

Zhou,

Ying

Wang,

and

Yi

Chang.

Structure-augmented

text

representation

learning

for

efficient

knowledge

graphcompletion.

In

WWW,

pages

1737–1748,

2021.大語言模型增強(qiáng)知識圖譜–鏈接預(yù)測機(jī)會與挑戰(zhàn)LLM生成信息的正確性：事實(shí)正確性是否已經(jīng)包含在圖譜中了（實(shí)體有多個名稱）鏈接預(yù)測的評估指標(biāo)主要是排序指標(biāo)，需要對所有候選集打分，這個對LLM是巨大的挑戰(zhàn)鏈接預(yù)測評估的是從已有三元組中預(yù)測新知識的能力，LLM是因?yàn)橛浀孟嚓P(guān)事實(shí)而輸出答案，還是推理得出很難判斷對于LLM沒有訓(xùn)練的領(lǐng)域，面對新知識，需要給語言模型輸入對應(yīng)的schema，設(shè)計(jì)prompt的比較復(fù)雜，需要多次嘗試，對于GPT4這樣的模型成本較高將結(jié)構(gòu)信息融入LLM中直推式鏈接預(yù)測歸納式鏈接預(yù)測[1][2][3][4]KomalK.Teru,

EtienneG.Denis,

WilliamL.Hamilton:

Inductive

Relation

PredictionbySubgraph

Reasoning.ICML2020:

9448-9457Liang

Yao,

Chengsheng

Mao,

Yuan

Luo:

KG-BERT:

BERT

for

Knowledge

Graph

Completion.

CoRR

abs/1909.03193

(2019)Russa

Biswas,

Radina

Sofronova,

Mehwish

Alam,

and

Harald

Sack.

Contextual

language

models

for

knowledge

graph

completion.

In

MLSMKG,

2021.Bo

Wang,

Tao

Shen,

Guodong

Long,

Tianyi

Zhou,

Ying

Wang,

and

Yi

Chang.

Structure-augmented

text

representation

learning

for

efficient

knowledge

graphcompletion.

In

WWW,

pages

1737–1748,

2021.圖片來自[1]表格知識抽取Knowledge

Extraction

from

TabularData知識圖譜補(bǔ)全(Inductive)

Link

Prediction三元組抽取Triple

Extraction本體模式構(gòu)建Ontological

Schema

Construction大語言模型增強(qiáng)知識圖譜–三元組抽取LAMA

Benchmark[1][1]

Fabio

Petroni,

Tim

Rockt?schel,

Sebastian

Riedel,

Patrick

Lewis,

Anton

Bakhtin,

Yuxiang

Wu,

and

Alexander

Miller.

Language

models

as

knowledge

bases?In

Proceedings

of

the

2019

Conference

on

Empirical

Methods

in

Natural

Language

Pro-

cessing

and

the

9th

International

Joint

Confer-

ence

on

NaturalLanguageProcessing(EMNLP-IJCNLP),

pages2463–2473,HongKong,China,nov2019.Association

for

Computational

Linguist-

ics.

doi:10.18653/V1/D19-1250.[2]

Kai

Sun,

Yifan

Ethan

Xu,

Hanwen

Zha,

Yue

Liu,

Xin

Luna

Dong:

Head-to-Tail:

How

Knowledgeable

are

Large

Language

Models(LLM)?A.K.A.

WillLLMs

Replace

Knowledge

Graphs?

CoRR

abs/2308.10168

(2023)[3]

Blerta

Veseli,

Simon

Razniewski,

Jan-Christoph

Kalo,

Gerhard

Weikum:

Evaluating

the

Knowledge

Base

Completion

Potential

of

GPT.

EMNLP

(Findings)

2023:6432-6443LM-as-KB

paradigm

?大語言模型增強(qiáng)知識圖譜–三元組抽取LAMA

Benchmark[1]LLM對于不同分布的實(shí)體預(yù)測效果[2]LLM在保證一定預(yù)測準(zhǔn)確率下的預(yù)測召回率[3][1]

Fabio

Petroni,

Tim

Rockt?schel,

Sebastian

Riedel,

Patrick

Lewis,

Anton

Bakhtin,

Yuxiang

Wu,

and

Alexander

Miller.

Language

models

as

knowledge

bases?In

Proceedings

of

the

2019

Conference

on

Empirical

Methods

in

Natural

Language

Pro-

cessing

and

the

9th

International

Joint

Confer-

ence

on

NaturalLanguageProcessing(EMNLP-IJCNLP),

pages2463–2473,HongKong,China,nov2019.Association

for

Computational

Linguist-

ics.

doi:10.18653/V1/D19-1250.[2]

Kai

Sun,

Yifan

Ethan

Xu,

Hanwen

Zha,

Yue

Liu,

Xin

Luna

Dong:

Head-to-Tail:

How

Knowledgeable

are

Large

Language

Models(LLM)?A.K.A.

WillLLMs

Replace

Knowledge

Graphs?

CoRR

abs/2308.10168

(2023)[3]

Blerta

Veseli,

Simon

Razniewski,

Jan-Christoph

Kalo,

Gerhard

Weikum:

Evaluating

the

Knowledge

Base

Completion

Potential

of

GPT.

EMNLP

(Findings)

2023:6432-6443LM-as-KB

paradigm

?大語言模型增強(qiáng)知識圖譜–三元組抽取LAMA

Benchmark[1][1]

Fabio

Petroni,

Tim

Rockt?schel,

Sebastian

Riedel,

Patrick

Lewis,

Anton

Bakhtin,

Yuxiang

Wu,

and

Alexander

Miller.

Language

models

as

knowledge

bases?In

Proceedings

of

the

2019

Conference

on

Empirical

Methods

in

Natural

Language

Pro-

cessing

and

the

9th

International

Joint

Confer-

ence

on

NaturalLanguageProcessing(EMNLP-IJCNLP),

pages2463–2473,HongKong,China,nov2019.Association

for

Computational

Linguist-

ics.

doi:10.18653/V1/D19-1250.[2]

Kai

Sun,

Yifan

Ethan

Xu,

Hanwen

Zha,

Yue

Liu,

Xin

Luna

Dong:

Head-to-Tail:

How

Knowledgeable

are

Large

Language

Models(LLM)?A.K.A.

WillLLMs

Replace

Knowledge

Graphs?

CoRR

abs/2308.10168

(2023)[3]

Blerta

Veseli,

Simon

Razniewski,

Jan-Christoph

Kalo,

Gerhard

Weikum:

Evaluating

the

Knowledge

Base

Completion

Potential

of

GPT.

EMNLP

(Findings)

2023:6432-6443LM-as-KB

paradigm

?LLM對于不同分布的實(shí)體預(yù)測效果[2]LLM在保證一定預(yù)測準(zhǔn)確率下的預(yù)測召回率[3]一些已有發(fā)現(xiàn)：Prompt優(yōu)化可以提升效果增加信息可以提升效果有害信息會降低效果低資源信息效果不佳Zero-shot能力不佳模型記憶了訓(xùn)練數(shù)據(jù)現(xiàn)在的LLM遠(yuǎn)遠(yuǎn)無法代替符號知識庫有時不能準(zhǔn)確召回事實(shí)大語言模型增強(qiáng)知識圖譜–三元組抽取LLM的一些傾向（biase）表示大多數(shù)representation

of

the

majority忽略多角度的不同意見，遵從多數(shù)LLM到底是學(xué)會的了可遷移的泛化性還是巧妙地利用了數(shù)據(jù)中的捷徑？三元組抽取的自動提示工程大語言模型增強(qiáng)知識圖譜–三元組抽取LLM的一些傾向（biase）表示大多數(shù)representation

of

the

majority忽略多角度的不同意見，遵從多數(shù)LLM到底是學(xué)會的了可遷移的泛化性還是巧妙地利用了數(shù)據(jù)中的捷徑？三元組抽取的自動提示工程機(jī)會與挑戰(zhàn)實(shí)體消歧：不同詞組表示同一個實(shí)體、同一個詞組表示不同實(shí)體。沒出現(xiàn)在訓(xùn)練數(shù)據(jù)中的實(shí)體難消歧處理長尾實(shí)體/理解并利用上下文信息進(jìn)行消歧/提升指代消解效果長尾實(shí)體：沒能正確記憶事實(shí)的時候會生成錯誤的信息缺乏一致性檢索增強(qiáng)/微調(diào)等技術(shù)可用高精確度LLM-KG：LLM如何能以準(zhǔn)確率優(yōu)先？LLM是否可以用于校驗(yàn)validation缺乏信息出處表格知識抽取Knowledge

Extraction

from

TabularData知識圖譜補(bǔ)全(Inductive)

Link

Prediction三元組抽取Triple

Extraction本體模式構(gòu)建Ontological

Schema

Construction大語言模型增強(qiáng)知識圖譜–本體模式構(gòu)建知識圖譜=實(shí)例層+本體層圖片來自[link][1]

Yushan

Zhu,Huaixiao

Zhao,

Wen

Zha