《醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)規(guī)范》

ICS35.020

CCSL70

T/CI

中國(guó)國(guó)際科技促進(jìn)會(huì)團(tuán)體標(biāo)準(zhǔn)

T/CIXXX—2023

醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)規(guī)范

SpecificationforQualityEvaluationofMedicalKnowledgeGraph

（征求意見稿）

2023-XX-XX發(fā)布2023-XX-XX實(shí)施

中國(guó)國(guó)際科技促進(jìn)會(huì)發(fā)布

T/CIXXX—2023

醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)規(guī)范

1范圍

本文件規(guī)定了醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)的基本要求、評(píng)價(jià)步驟、評(píng)價(jià)指標(biāo)、評(píng)價(jià)報(bào)告。

本文件適用于醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T42131人工智能知識(shí)圖譜技術(shù)框架

3術(shù)語(yǔ)和定義

GB/T42131界定的術(shù)語(yǔ)和定義適用于本文件。

4基本要求

醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)應(yīng)使用真實(shí)、有代表性的數(shù)據(jù)樣本，同時(shí)保護(hù)涉及個(gè)人隱私的數(shù)據(jù)，遵循

倫理和隱私保護(hù)準(zhǔn)則。

評(píng)價(jià)工作應(yīng)具有一定的靈活性，能夠根據(jù)醫(yī)學(xué)領(lǐng)域的變化和需求進(jìn)行調(diào)整和調(diào)優(yōu)，與醫(yī)學(xué)領(lǐng)域的

實(shí)際需求相符。

應(yīng)確保評(píng)價(jià)過(guò)程的透明性，詳細(xì)記錄評(píng)價(jià)步驟、指標(biāo)和數(shù)據(jù)。

評(píng)價(jià)結(jié)果應(yīng)能為醫(yī)學(xué)實(shí)踐、研究和教育提供實(shí)際支持，評(píng)價(jià)報(bào)告應(yīng)對(duì)評(píng)價(jià)結(jié)果進(jìn)行全面的解釋，

明確優(yōu)缺點(diǎn)和改進(jìn)建議，為知識(shí)圖譜的維護(hù)和更新提供反饋。

評(píng)價(jià)過(guò)程應(yīng)與知識(shí)圖譜的維護(hù)團(tuán)隊(duì)保持持續(xù)的交流和合作。

5評(píng)價(jià)步驟

評(píng)價(jià)需求分析

分析用戶的需求和期望，明確評(píng)價(jià)的重點(diǎn)，明確需要進(jìn)行評(píng)估的內(nèi)容與資源。

選擇評(píng)價(jià)模式

5.2.1采用定性與定量角度結(jié)合的評(píng)價(jià)方法，根據(jù)不同指標(biāo)的側(cè)重及實(shí)際應(yīng)用的傾向，指標(biāo)判定采用

簡(jiǎn)單比率法或德爾菲法。

5.2.2結(jié)合評(píng)價(jià)需求選擇評(píng)價(jià)過(guò)程中的框架和方法論，選擇指標(biāo)類別并設(shè)置指標(biāo)權(quán)重。

評(píng)價(jià)結(jié)果計(jì)算

3

T/CIXXX—2023

根據(jù)選定的評(píng)價(jià)模式和指標(biāo)，收集數(shù)據(jù)樣本，應(yīng)用相應(yīng)的計(jì)算方法進(jìn)行指標(biāo)判定，評(píng)價(jià)結(jié)果計(jì)算應(yīng)

確保數(shù)據(jù)的準(zhǔn)確性和真實(shí)性。

評(píng)價(jià)結(jié)果分析

評(píng)價(jià)結(jié)果計(jì)算完成后，對(duì)評(píng)價(jià)結(jié)果進(jìn)行分析，通過(guò)與原始數(shù)據(jù)進(jìn)行比較，找出質(zhì)量相關(guān)問(wèn)題出現(xiàn)的

原因，并制定合適的優(yōu)化策略，形成評(píng)價(jià)報(bào)告。

6評(píng)價(jià)指標(biāo)

評(píng)價(jià)設(shè)置二級(jí)指標(biāo)體系，一級(jí)指標(biāo)包含準(zhǔn)確性、完整性、一致性、安全性、相關(guān)性、及時(shí)性、可

信性、可達(dá)性、互操作性、互聯(lián)性、復(fù)雜性共11個(gè)，每個(gè)一級(jí)指標(biāo)下設(shè)二級(jí)指標(biāo)，共設(shè)置二級(jí)指標(biāo)30

個(gè)。

表1醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)指標(biāo)

一級(jí)指標(biāo)二級(jí)指標(biāo)含義

知識(shí)圖譜中的數(shù)據(jù)值、關(guān)系或三元組準(zhǔn)確、可靠、無(wú)誤表示真實(shí)世界事實(shí)

語(yǔ)義準(zhǔn)確性

準(zhǔn)確性的程度

語(yǔ)法準(zhǔn)確性知識(shí)圖譜中的數(shù)據(jù)的句法或結(jié)構(gòu)的合規(guī)性

模式完整性一個(gè)本體包含的類和屬性是否完整

屬性完整性一個(gè)特定的屬性的值是否缺失

完整性

數(shù)量完整性一個(gè)數(shù)據(jù)集里對(duì)象的數(shù)量比例

標(biāo)簽完整性數(shù)據(jù)集中的所有實(shí)體是否都有人類和機(jī)器可讀的標(biāo)簽

新加入內(nèi)容的一致性

度量實(shí)例數(shù)據(jù)與模式級(jí)別的類

知識(shí)圖譜中的實(shí)體、屬性、關(guān)系和本體等元素是否符合邏輯規(guī)則和語(yǔ)義規(guī)

一致性約束的一致性

范，以及知識(shí)圖譜內(nèi)部各元素之間是否自洽和一致

度量實(shí)例數(shù)據(jù)與模式級(jí)別上指

定的關(guān)系限制的一致性

訪問(wèn)控制只有經(jīng)過(guò)授權(quán)的用戶或系統(tǒng)可以訪問(wèn)知識(shí)圖譜數(shù)據(jù)

定期備份知識(shí)圖譜數(shù)據(jù)，并確保備份數(shù)據(jù)的安全存儲(chǔ)，建立有效的數(shù)據(jù)恢

數(shù)據(jù)備份和恢復(fù)

復(fù)機(jī)制，以便在發(fā)生數(shù)據(jù)損壞或安全事件時(shí)能夠及時(shí)恢復(fù)數(shù)據(jù)

安全性

匿名化和脫敏對(duì)于敏感數(shù)據(jù)，采用匿名化和脫敏技術(shù)來(lái)保護(hù)用戶隱私

建立數(shù)據(jù)治理框架，確保知識(shí)圖譜的數(shù)據(jù)遵循相關(guān)法規(guī)和隱私政策要求，

數(shù)據(jù)治理和合規(guī)性

確保數(shù)據(jù)的合規(guī)性和合法性，防止違規(guī)行為和數(shù)據(jù)濫用

實(shí)體和屬性能否滿足特定任務(wù)

是否可以給特定任務(wù)提供有價(jià)值的數(shù)據(jù)，是否能夠?yàn)樗峁┑臄?shù)據(jù)進(jìn)行價(jià)

相關(guān)性執(zhí)行的需要

值排序，其包含的實(shí)體和屬性是否足夠覆蓋特定任務(wù)的需求

創(chuàng)建語(yǔ)句排名

更新頻率知識(shí)圖譜中所包含的實(shí)體、屬性、關(guān)系等數(shù)據(jù)的更新在多大程度上可以滿

及時(shí)性

時(shí)間相關(guān)性指數(shù)足特定任務(wù)的需要

提供元數(shù)據(jù)且合規(guī)具有清晰的來(lái)源標(biāo)識(shí)（元數(shù)據(jù)），并且可通過(guò)驗(yàn)證

可信性資源是否來(lái)自可信的、合規(guī)的（倫理合規(guī)、法律合規(guī)等）、有權(quán)威性或者

數(shù)據(jù)來(lái)源的可靠性

已被廣泛認(rèn)可和驗(yàn)證的來(lái)源

可達(dá)性數(shù)據(jù)訪問(wèn)是否正常在日常任務(wù)狀態(tài)下，知識(shí)圖譜系統(tǒng)保持可用狀態(tài)的能力

4

T/CIXXX—2023

表1醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)指標(biāo)（續(xù)）

一級(jí)指標(biāo)二級(jí)指標(biāo)含義

低延遲知識(shí)圖譜系統(tǒng)在較短的時(shí)間內(nèi)響應(yīng)用戶的查詢請(qǐng)求的能力

可達(dá)性

高吞吐量系統(tǒng)在給定時(shí)間段內(nèi)處理大量的請(qǐng)求，支持并發(fā)查詢，并保持處理的能力

序列化格式

不同的知識(shí)圖譜或數(shù)據(jù)源之間進(jìn)行無(wú)縫的集成和交互操作，使用戶能夠獲

互操作性外部詞匯

取并利用跨多個(gè)知識(shí)圖譜的數(shù)據(jù)的能力

等價(jià)鏈接

外部連接比例知識(shí)圖譜內(nèi)部的實(shí)體與外部知識(shí)源或數(shù)據(jù)源進(jìn)行鏈接以建立跨數(shù)據(jù)源關(guān)聯(lián)

互聯(lián)性

連通性關(guān)系的額能力

圖譜規(guī)模

知識(shí)圖譜在結(jié)構(gòu)、規(guī)模和內(nèi)容上的復(fù)雜程度，受節(jié)點(diǎn)和邊的數(shù)量、它們之

復(fù)雜性演化效率

間的關(guān)系類型以及所表示信息的詳細(xì)程度等因素的影響

層次結(jié)構(gòu)

評(píng)價(jià)時(shí)應(yīng)對(duì)二級(jí)指標(biāo)進(jìn)行判定，判定方法按附錄A執(zhí)行。

7評(píng)價(jià)報(bào)告

評(píng)價(jià)報(bào)告應(yīng)由報(bào)告摘要、前言、評(píng)價(jià)內(nèi)容、評(píng)價(jià)結(jié)論四部分組成。

報(bào)告摘要應(yīng)給出對(duì)評(píng)價(jià)目的、方法、主要結(jié)論的簡(jiǎn)要總結(jié)。

前言應(yīng)說(shuō)明評(píng)價(jià)的背景和目的。

評(píng)價(jià)內(nèi)容應(yīng)包含：

——采用的評(píng)價(jià)模式：評(píng)價(jià)方法、指標(biāo)體系、選用的指標(biāo)及權(quán)重分配；

——用于評(píng)價(jià)的數(shù)據(jù)樣本：數(shù)據(jù)來(lái)源、數(shù)據(jù)類型、數(shù)據(jù)規(guī)模；

——評(píng)價(jià)結(jié)果：每個(gè)指標(biāo)的判定過(guò)程與評(píng)價(jià)結(jié)果、加權(quán)后的綜合結(jié)果。

評(píng)價(jià)結(jié)論應(yīng)包含：

——結(jié)果分析和討論總結(jié)；

——質(zhì)量問(wèn)題和發(fā)現(xiàn)；

——優(yōu)化建議和改進(jìn)策略。

5

T/CIXXX—2023

附錄A

（規(guī)范性）

醫(yī)學(xué)知識(shí)圖譜質(zhì)量評(píng)價(jià)指標(biāo)判定方法

A.1準(zhǔn)確性

A.1.1語(yǔ)義準(zhǔn)確性

按式（A.1）、式（A.2）、式（A.3）進(jìn)行判定。

?1

??????????=1?································································(A.1)

?1

式中：

mstatement——陳述語(yǔ)義準(zhǔn)確性；

n1——潛在錯(cuò)誤陳述或三元組的數(shù)量；

N1——所有陳述和三元組的數(shù)量。

?2

???????????=1?·································································(A.2)

?2

式中：

mlabelling——標(biāo)簽語(yǔ)義準(zhǔn)確性；

n2——不準(zhǔn)確的注釋、標(biāo)簽或分類；

N2——所有注釋、標(biāo)簽或分類的數(shù)量。

?3

?????????=1?·································································(A.3)

?3

式中：

mproperty——屬性語(yǔ)義準(zhǔn)確性；

n3——存在沖突的屬性或?qū)傩灾担?/p>

N3——所有屬性或?qū)傩灾怠?/p>

A.1.2語(yǔ)法準(zhǔn)確性

按式（A.4）、式（A.5）、式（A.6）進(jìn)行判定。

?4

??????=1?····································································(A.4)

?4

式中：

mlegal——合法值準(zhǔn)確性；

n4——知識(shí)圖譜中非法值；

N4——知識(shí)圖譜中所有內(nèi)容。

?5

??????=1?···································································(A.5)

?4

式中：

mrange——合法值范圍準(zhǔn)確性；

n5——知識(shí)圖譜中不在合法值范圍的內(nèi)容。

?6

???????????=1?·································································(A.6)

?4

6

T/CIXXX—2023

式中：

msyntactic——違背語(yǔ)法規(guī)則的內(nèi)容；

n6——知識(shí)圖譜中不在合法值范圍的內(nèi)容。

A.2完整性

A.2.1模式完整性

按式（A.7）進(jìn)行判定。

?7

??=······································································(A.7)

??????7

式中：

mschemal——模式完整性；

n7——所表示的類和屬性的數(shù)量；

N7——類和屬性的總數(shù)量。

A.2.2屬性完整性

利用屬性和類型的統(tǒng)計(jì)分布表征屬性后檢測(cè)完整性，或按式（A.8）進(jìn)行判定。

′?8

?????????=····································································(A.8)

?8

式中：

m’property——屬性完整性；

n8——表示特定屬性的值的數(shù)量；

N8——特定屬性的值的總數(shù)量。

A.2.3數(shù)量完整性

按式（A.9）進(jìn)行判定。

?9

????????????=···································································(A.9)

?9

式中：

mpopulation——數(shù)量完整性；

n9——表示真實(shí)世界的對(duì)象的數(shù)量；

N9——真實(shí)世界的對(duì)象的總數(shù)量。

A.2.4標(biāo)簽完整性

按式（A.10）進(jìn)行判定。

′?10

???????????=··································································(A.10)

?10

式中：

m’labelling——標(biāo)簽完整性；

n10——數(shù)據(jù)集中實(shí)體標(biāo)注標(biāo)簽的數(shù)量；

N10——數(shù)據(jù)集中實(shí)體的總數(shù)量。

A.3一致性

7

T/CIXXX—2023

A.3.1對(duì)新加入的內(nèi)容進(jìn)行不一致檢測(cè)按式（A.11）進(jìn)行判定。

1新加入的內(nèi)容已經(jīng)進(jìn)行格式檢測(cè)

??????={······································(A.11)

0其他

式中：

mcheck——新加入內(nèi)容的一致性。

A.3.2度量實(shí)例數(shù)據(jù)與模式級(jí)別的類約束的一致性程度按式（A.12）進(jìn)行判定。

?

1=1實(shí)例數(shù)據(jù)與所有類約束都一致

??

??????(?)={?······························(A.12)

1<1存在實(shí)例數(shù)據(jù)與某些類約束不一致

??

式中：

mclass（g）——實(shí)例數(shù)據(jù)與模式級(jí)別的類約束的一致性程度；

c1——知識(shí)圖譜中包含滿足類約束要求的實(shí)例數(shù)據(jù)的類約束集合；

CC——知識(shí)圖譜中定義的全部類約束集合；

注：當(dāng)知識(shí)圖譜中所有定義的類約束的集合為空時(shí)，mclass（g）為1。

A.3.3度量實(shí)例數(shù)據(jù)與模式級(jí)別上指定的關(guān)系限制一致的程度按式（A.13）進(jìn)行判定。

1

?(?)=∑??(?)·····················································(A.13)

????????=1?????,??

式中：

mrelat（g）——實(shí)例數(shù)據(jù)與模式級(jí)別上指定的關(guān)系限制一致的程度。

A.4安全性

A.4.1訪問(wèn)控制按式（A.14）進(jìn)行判定。

1只有經(jīng)過(guò)授權(quán)的用戶或系統(tǒng)可以訪問(wèn)

???????={·································(A.14)

0其他

式中：

maccess——訪問(wèn)控制安全性。

A.4.2數(shù)據(jù)備份和恢復(fù)按式（A.15）進(jìn)行判定。

1數(shù)據(jù)定期備份并具有有效數(shù)據(jù)恢復(fù)機(jī)制

???????={·······························(A.15)

0其他

式中：

mbackup——數(shù)據(jù)備份和恢復(fù)安全性。

A.4.3匿名化和脫敏按式（A.16）進(jìn)行判定。

1數(shù)據(jù)可匿名或脫敏來(lái)保護(hù)隱私

???????????={····································(A.16)

0其他

式中：

manonymity——匿名化和脫敏安全性。

8

T/CIXXX—2023

A.4.4數(shù)據(jù)治理和合規(guī)性按式（A.17）進(jìn)行判定。

1數(shù)據(jù)治理合規(guī)合法

???????????={··············································(A.17)

0其他

式中：

mgovernance——數(shù)據(jù)治理和合規(guī)安全性。

A.5相關(guān)性

A.5.1實(shí)體和屬性能否滿足特定任務(wù)執(zhí)行的需要按式（A.18）進(jìn)行判定。

1任務(wù)所需實(shí)體、屬性、關(guān)系等能夠全部滿足

??????????={························(A.18)

0其他

式中：

mrelevancy——實(shí)體和屬性特定任務(wù)執(zhí)行需要滿足性。

A.5.2創(chuàng)建語(yǔ)句排名按式（A.19）進(jìn)行判定。

1支持對(duì)語(yǔ)句排名

????????={··················································(A.19)

0其他

式中：

mranking——語(yǔ)句排名創(chuàng)建性。

A.6及時(shí)性

A.6.1知識(shí)圖譜更新的頻率按式（A.20）進(jìn)行判定。

持續(xù)更新

1

0.5周期性更新

??????????=·················································(A.20)

0.25非周期性更新

{0其他

式中：

mfrequency——知識(shí)圖譜更新頻率。

A.6.2時(shí)間相關(guān)性指數(shù)按式（A.21）進(jìn)行判定。

直接提供語(yǔ)句有效期

1

0.5提供知識(shí)圖譜與數(shù)據(jù)源的更新時(shí)間差

?????????=······························(A.21)

0.25提供最后修訂時(shí)間

{0其他

式中：

mtemporal——時(shí)間相關(guān)性指數(shù)。

A.7可信性

A.7.1提供元數(shù)據(jù)且合規(guī)按式（A.22）進(jìn)行判定。

9

T/CIXXX—2023

1應(yīng)用標(biāo)準(zhǔn)化元數(shù)據(jù)本體

?????????={0.5提供元數(shù)據(jù)···········································(A.22)

0其他

式中：

mmetadata——合規(guī)元數(shù)據(jù)提供能力。

A.7.2數(shù)據(jù)來(lái)源的可靠性按式（A.23）進(jìn)行判定。

1權(quán)威認(rèn)證數(shù)據(jù)（包括倫理法律等合規(guī)）或白名單數(shù)據(jù)

???????={0.5未認(rèn)證數(shù)據(jù)··················(A.23)

0已經(jīng)被標(biāo)注有問(wèn)題的數(shù)據(jù)或黑名單數(shù)據(jù)

式中：

msource——數(shù)據(jù)來(lái)源可靠性。

A.8可達(dá)性

A.8.1數(shù)據(jù)訪問(wèn)是否正常按式（A.24）進(jìn)行判定。

?11

????????=··································································(A.24)

?11

式中：

mrequest——數(shù)據(jù)訪問(wèn)正常性；

n11——成功返回信息的請(qǐng)求數(shù)；

N11——所有請(qǐng)求數(shù)。

A.8.2低延遲按式（A.25）進(jìn)行判定。

?12

?????????=··································································(A.25)

?12

式中：

mavedelay——平均延遲；

n12——每次查詢響應(yīng)時(shí)間之和；

N12——查詢次數(shù)。

A.8.3高吞吐量按式（A.26）進(jìn)行判定。

?13

???=································································(A.26)

?????????13

式中：

mthroughput——吞吐量；

n13——每秒或每分鐘成功處理的請(qǐng)求數(shù)量；

N13——所有請(qǐng)求數(shù)。

A.9互操作性

A.9.1除序列化標(biāo)準(zhǔn)RDF/XML外，是否還支持用于URI解引用的其他序列化格式，按式（A.27）進(jìn)行判

定。

10

T/CIXXX—2023

1支持RDF/XML和其他格式

???????={0.5只支持RDF/XML·········································(A.27)

0其他

式中：

mformat——其他序列化格式支持性。

A.9.2通過(guò)謂詞位置有外部詞匯的三元組的數(shù)量設(shè)置為知識(shí)圖譜中所有三元組的數(shù)量，來(lái)衡量使用外

部詞匯的標(biāo)準(zhǔn)，按式（A.28）進(jìn)行判定。

|{(?,?,?)|(?,?,?)∈?∧?∈?????????}|

?(?)=?···········································(A.28)

?????????|{(?,?,?)∈?}|

式中：

mexterior（g）——外部詞匯使用的數(shù)量比例；

s——主語(yǔ)；

p——謂語(yǔ)；

o——賓語(yǔ)；

g——該知識(shí)圖譜實(shí)例。

A.9.3通過(guò)計(jì)算類和關(guān)系分別與其他數(shù)據(jù)源的類和關(guān)系至少有一個(gè)等價(jià)鏈接的比率，來(lái)度量模式級(jí)別

上的相互鏈接，按式（A.29）進(jìn)行判定。

???

??????(?)=|{?∈??∪??|?(?,?,?)∈?:(?∈???∧(?∈?∧?∈??))}|/|??∪??|····(A.29)

式中：

mequal（g）——模式級(jí)別上的專有詞匯與外部詞匯的