人工智能 知識圖譜 性能評估與測試規(guī)范（征求意見稿）

準T/CESAXXXX—2024人工智能知識圖譜性能評估與測試規(guī)范Artificialintelligence-Knowledgegraph-Performanceevaluationandtestingrequirements2024-XX-XX發(fā)布2024-XX-XX實施中國電子工業(yè)標準化技術(shù)協(xié)會發(fā)布I 29 311GB/T42131-2022人工智GB/T39788-2021系統(tǒng)與軟GB/T25000.20-2021系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求GB/T29831.1-2013系統(tǒng)與軟件功能性GB/T29831.2-2013系統(tǒng)與軟件功能性API：應用程序編程接口（ApplicationProgrammingInterfaRDF：資源描述框架（ResourceDeSDK：軟件開發(fā)工具包（SoftwareD知識圖譜是以結(jié)構(gòu)化形式描述的知識元素及其聯(lián)系的集合。根據(jù)GB/T42131-2022識維護、系統(tǒng)管理等知識圖譜應用相關(guān)模塊。相應地，知識圖譜構(gòu)建與應用系統(tǒng)的質(zhì)量評價體系如圖1b)知識圖譜應用相關(guān)模塊質(zhì)量評價指標體系：主要關(guān)注于保障知識圖譜應用過程中的系統(tǒng)特性，26)場景支撐性：度量系統(tǒng)及其攜帶的知識圖譜對于跨行業(yè)和特定行業(yè)中知識圖譜應用場景該指標體系著重聚焦知識圖譜構(gòu)建和知識圖譜應用相關(guān)指標，部分基礎(chǔ)通用軟件相關(guān)的質(zhì)量評價知識圖譜構(gòu)建相關(guān)模塊質(zhì)量評價指標體系知識圖譜應用相關(guān)模塊質(zhì)量評價指標體系場景支撐性成熟性可繼承性易維護性場景支撐性成熟性可繼承性易維護性可審查性智能問答智能檢索輔助決策知識管理領(lǐng)域應用場景可移植性可擴展性3c)應支持數(shù)值表示的知識表示形式，如：向量（包括嵌入（embeding）XR_P=（1）XR_P=（2）BR_P——知識表示模型生成的知識表示總數(shù)4a)本體模型的語義明確性：衡量構(gòu)建的本體模型是否對其中包含的術(shù)語給出明確和客觀語義定Xo_C=（3）Ao_C——給出語義描述或定義的實體類型Bo_C——本體模型中實體類型和關(guān)系類型的總數(shù)。Xo_I=（4）Bo_I——本體模型中實體類型和關(guān)系類型總數(shù)。Xo_U=（5）Ao_U——符合一致性要求的實體類型和關(guān)系類Bo_U——本體模型中實體類型和關(guān)系類型總數(shù)。Xo_M=（6）Ao_M——存在定義交叉或重疊的實體類型和關(guān)系Bo_M——本體模型中實體類型和關(guān)系類型總數(shù)。改動的情況下應用于新的任務(wù)與數(shù)據(jù)集。可通過抽Xo_T=（7）Bo_T——本體模型中實體類型和關(guān)系類型總數(shù)。f)本體模型的兼容性和可擴展性：衡量形成的本體模型是否可實現(xiàn)與已有本體模型的兼容或繼5Xo_S=（8）Bo_S——本體模型中實體類型和關(guān)系類型總數(shù)。6d)知識獲取的全面性:）；）；注:對于知識獲取的整體能力評估，可考慮實體-屬性/關(guān)系-實體聯(lián)合作為一組評測數(shù)據(jù)來進行精確率、召回率、F1b)可支持創(chuàng)建和存儲索引;7（12）M——占用的存儲空間。3)K跳鄰居查詢響應時間：度量系統(tǒng)完成1跳、2跳、K跳等不同展開相連接層級Xi=Reci?sendi,(i~n)（13）Yi=（Xi?XT）(i~n,xi>Xsendi——第i次發(fā)出K跳查詢請求的時間；yxT——K跳查詢的超時時間閾值；實體與關(guān)系的總量K跳數(shù)量查詢響應時間范圍小于等于一百萬2跳小于0.5秒小于等于一千萬2跳小于1秒小于等于一億3跳小于2秒大于一億3跳小于10秒Xmax=MAx（Nr[i]15）xmax——K跳查詢最大并發(fā)請求數(shù)；8（16）BR——圖譜查詢的總次數(shù)。Ti=Reci–sendi(i~n)sendi——第i次更新操作發(fā)出請求的時間。RPs=（17）CRg——總請求數(shù)；注：約束條件為：20并發(fā)數(shù)下，一度鄰居2)數(shù)據(jù)加載/導入時間：度量系統(tǒng)完成基準數(shù)據(jù)集加載的時間（），xi=Reci?sendi,(i~n)（18）n——測試的總數(shù)。5)事務(wù)一致性的指標（并發(fā)情況下的數(shù)據(jù)沖突衡量在并發(fā)情況下，系統(tǒng)能夠確——事務(wù)沖突率（TCR度量事務(wù)在執(zhí)行過程中，因并發(fā)導致的沖突的頻Nconflict——在并發(fā)操作中發(fā)生沖突的事務(wù)數(shù)量；Ntotal——總的事務(wù)數(shù)量。）：9Nrollback——因沖突而必須回滾的事務(wù)數(shù)量；Ntotal——總的事務(wù)數(shù)量。RecallF=（20）Hit@kF=（21）tc=tend-tstart（24）tstart——知識計算任務(wù)啟動時間；tend——知識計算任務(wù)結(jié)束時間。ConfidenceT=（28）pTPX=NPpTPvv注1:對于屬性圖，度量屬性值；對于時序、Fa)知識覆蓋率：評估知識圖譜在特定領(lǐng)域或者應用場景內(nèi)所包含的知識占此范圍內(nèi)所有相關(guān)知*100%（32）Daut為領(lǐng)域內(nèi)的權(quán)威證據(jù)，如指南、標準、政策等，中實體的數(shù)量。Dpra為實踐證據(jù)，如本地化經(jīng)驗，特殊流程或異常流程等，中實體的數(shù)量。RecallF=（34）Nr——知識圖譜中的關(guān)系總數(shù)量；（36）RecallF=（38）FNF——假陰性：反饋結(jié)果中未被識別的正確結(jié)果數(shù)量。（39）5)宜支持通過可視化界面進行數(shù)據(jù)的導入、導出、的重復建設(shè)和浪費，如:4)可支持知識體系/實例集合的引用，并可基于可視化界面、接口和文可用性是指系統(tǒng)在給定時間內(nèi)可以正常工作的概率，它反映了系統(tǒng)在故障發(fā)生后能夠及時恢復正常運行的能力?？捎眯韵嚓P(guān)測試指標，包括但不限于給定時間內(nèi)的平均故障時間，如：30天）（40）F——發(fā)生故障次數(shù)。——SLA：SLA（服務(wù)等級協(xié)議，ServiceLevelAgreement）是指服務(wù)提供者和客戶之間的一供的服務(wù)的類型和標準。不低于99.9%的可用性，可用性的可靠性成熟度是指一個系統(tǒng)或產(chǎn)品在設(shè)計和實現(xiàn)過程中，能夠達到預期的可靠性水平和目標的程（41）F——測試中出現(xiàn)的故障數(shù)量。（42）TR——系統(tǒng)運行時間；F——系統(tǒng)發(fā)生故障數(shù)量。TR——系統(tǒng)運行時間。容錯性是指一個系統(tǒng)或產(chǎn)品在遇到故障或異常時，能夠繼續(xù)提供服務(wù)易恢復性是指在發(fā)生中斷或失效時，產(chǎn)品或系統(tǒng)能夠恢復直接受影響的數(shù)據(jù)并重建所期望的系統(tǒng)）；可移植性是指一個系統(tǒng)或產(chǎn)品從一種環(huán)境轉(zhuǎn)移到另一種環(huán)境的能力。它反映了系統(tǒng)的適應性和靈XI=（44）1)宜支持防范對抗樣本攻擊、監(jiān)測和2)宜支持數(shù)據(jù)替換、刪減造成的知識圖譜異1)測試場所的環(huán)境溫度：15℃~35℃;；（d)確定被抽取結(jié)果中定義清晰的實體類型、關(guān)系或?qū)傩詳?shù)量AO_C；1)打開知識建模相關(guān)模塊；2)根據(jù)本體知識體系的范圍、知識來源的范圍等約束條件，確定本體模型中知識的抽樣方式和比例，如：均勻抽樣、正態(tài)分布抽樣、隨機抽樣等；關(guān)系或?qū)傩詳?shù)量AO_D1；1)打開知識建模相關(guān)模塊；2)根據(jù)本體知識體系的范圍、知識來源的范圍等約束條件，確定根據(jù)所設(shè)計本體模型所抽取的知識圖譜中實體、關(guān)系、屬性的抽樣方式和比例，如：均勻抽樣、正態(tài)分布抽樣、隨機抽樣等；4）確定抽取實體、關(guān)系或?qū)傩缘谋倔w模型與事實相符合的數(shù)量AO_D2；5)統(tǒng)計抽取結(jié)果中AO_D2與BO_D2的比例。d)確定被抽取結(jié)果中語義一致的實體類型、關(guān)系或?qū)傩詳?shù)量AO_E；e)統(tǒng)計抽取結(jié)果中AO_M與BO_M的c)為b步驟中的結(jié)果增加、刪除、修改實體類型、關(guān)系類型、屬e)統(tǒng)計AO_M可實現(xiàn)實體、屬性、關(guān)系同步修改的實體類型、關(guān)系類型、屬性數(shù)量CO_Mh)統(tǒng)計準確率（TPA/(TPA+FPA)）、每秒獲取