2023人工智能大模型在工業(yè)領(lǐng)域知識問答穩(wěn)定性評測報告

中國工業(yè)互聯(lián)網(wǎng)研究院中國工業(yè)互聯(lián)網(wǎng)研究院穩(wěn)定評測香港科技大學(xué)2023年9月前言前言人工智能大模型作為實現(xiàn)通用人工智能的重要途徑，正在對制造業(yè)的產(chǎn)業(yè)發(fā)展和應(yīng)用模式產(chǎn)生變革性影響。近期，中國工業(yè)互聯(lián)網(wǎng)研究院聯(lián)合香港科技大學(xué)、新華指數(shù)，共同研究AI大模型在工業(yè)領(lǐng)域的應(yīng)用性能、技術(shù)架構(gòu)工業(yè)領(lǐng)域?qū)θ斯ぶ悄艽竽Ｐ偷膽?yīng)用穩(wěn)定性要求極高。人工智能大模型在工業(yè)領(lǐng)域應(yīng)用的穩(wěn)定性研究對于應(yīng)用安全性保障、穩(wěn)健性提升、可信賴性增強(qiáng)、決策優(yōu)化以及合規(guī)性等方面都具有重要的指導(dǎo)意義。本報告聚焦評測大模型在工業(yè)領(lǐng)域的知識問答穩(wěn)定性，通過選取工業(yè)領(lǐng)域典型的八大行業(yè)，構(gòu)建基礎(chǔ)知識測試集與變體測試集，對國內(nèi)外具有代表性的AI大模型在文法、數(shù)據(jù)、精簡表達(dá)、擴(kuò)充表達(dá)四大類八個子維度展開深入評估。選取性能前本報告評測結(jié)果雖經(jīng)專家組認(rèn)真論證，但因大模型迭代速度快，評測結(jié)果僅適用于測試期間。報告難免存在分23目錄目錄香港科技大學(xué)第三部分總結(jié)新華指數(shù)新華指數(shù)■指人工智能大模型在工業(yè)知識問答領(lǐng)域，具備較高回答準(zhǔn)確性能的前提下，針對一定參數(shù)擾動，維持某些性能特■指人工智能大模型在工業(yè)知識問答領(lǐng)域，具備較高回答準(zhǔn)確性能的前提下，針對一定參數(shù)擾動，維持某些性能特評測體系：■穩(wěn)定性評測圍繞AI大模型在數(shù)據(jù)、文法、精簡表達(dá)、擴(kuò)充表達(dá)四大類八個子維度展開深入評估。5穩(wěn)定性能力指數(shù)=抗擾動能力指數(shù)算術(shù)平均值穩(wěn)定性能力指數(shù)=抗擾動能力指數(shù)算術(shù)平均值綜合能力指數(shù)■若變體與原問題回答一致時，得分(1分);若變體與原問題回答不一致時，不得分(0分)。的模型工業(yè)領(lǐng)域知識問答穩(wěn)定性評測數(shù)據(jù)集香港科技大學(xué)新華社新華指數(shù)電子設(shè)備制造業(yè)裝備制造行業(yè)電力行業(yè)石化化工行業(yè)紡織行業(yè)根據(jù)OT經(jīng)驗，結(jié)合外部數(shù)據(jù)源，建材行業(yè)7新華指數(shù)華大學(xué)教授，信息科清華大學(xué)教授，創(chuàng)新東北大學(xué)副校長，第工業(yè)智能與系統(tǒng)優(yōu)化哈爾濱工業(yè)大學(xué)(深圳)講席教授，國際人工智能研究院院長。張大慶，歐洲科學(xué)院院士，IEEEFellow,CCF普適計算專委會主任。劉江川，加拿大工程院院士，IEEE菲莎大學(xué)計算機(jī)學(xué)院正教授和大學(xué)杰出教授。8香港科技大學(xué)第三部分總結(jié)工業(yè)領(lǐng)域知識問答穩(wěn)定性評測結(jié)果干問4星火大模型44大模型精簡表達(dá)穩(wěn)定能力指數(shù)干問腦星火大模型★*★★4星火智腦四大能力維度穩(wěn)定性00八大細(xì)分能力維度穩(wěn)定性58,8333,9145,86量綱83,86ANDTECHNOLOGY行業(yè)維度穩(wěn)定性國內(nèi)大模型能力區(qū)間國內(nèi)大模型能力區(qū)間GPT4GPT3.5香港科技大學(xué)香港科技大學(xué)和過和過工業(yè)場景的潛在應(yīng)用工業(yè)場景的潛在應(yīng)用檢查：正確產(chǎn)品1捌月生產(chǎn)2023年8月生產(chǎn)4數(shù)據(jù)形式抗擾動能力數(shù)據(jù)形式抗擾動能力數(shù)據(jù)穩(wěn)定能力—數(shù)據(jù)量綱抗擾動·大模型對工業(yè)領(lǐng)域不同數(shù)值數(shù)據(jù)量綱的回答穩(wěn)定性。新華指數(shù) ANDTECHNOLOGY工業(yè)場景的潛在應(yīng)用智腦大模型大模型大模型大模型大模型4天工星火*大模型同/近義抗擾動能力大模型同/近義抗擾動能力文法穩(wěn)定能力一同/近義抗擾動顆社新華指數(shù)顆社新華指數(shù)顆社新華指數(shù)原提問：物體受熱時發(fā)生體積膨脹的現(xiàn)象稱為()A:熱穩(wěn)定性B:熱膨脹性C:透氣性D:化學(xué)穩(wěn)定性擾動提問：物體受熱時發(fā)生體積膨脹的現(xiàn)象稱為()A:熱穩(wěn)定性B:透氣性C:化學(xué)穩(wěn)定性D:熱膨脹性新華武新華指數(shù)瓶過ANDTECHNOLOGY·指大模型在工業(yè)應(yīng)用中表達(dá)變化精簡的輸出穩(wěn)定性。工業(yè)場景潛在應(yīng)用工業(yè)場景潛在應(yīng)用4干問360**智腦星火大模型大模型大模型大模型能力；精簡表達(dá)穩(wěn)定能力一上下文精簡抗擾動新華武新華指數(shù)A:熱穩(wěn)定性B:熱膨脹性C:透氣性D:化學(xué)穩(wěn)定性擾動提問：物體受熱時發(fā)生體積膨脹的現(xiàn)象稱為()A:熱穩(wěn)定性B:熱膨脹性C:透氣性D:化學(xué)穩(wěn)定性和粒新華指數(shù)原提問：原提問：結(jié)合中華人民共和國工業(yè)和信息化部鋼鐵行業(yè)氧1.0%,可提高理論燃燒溫度35～45℃,增加噴煤率··對于安全生產(chǎn)指令變動的影響，國內(nèi)外大模型穩(wěn)定性差距較小，尾對于大模型供應(yīng)商，需進(jìn)行知識提取型任務(wù)的強(qiáng)化和優(yōu)化，例如引入安全生產(chǎn)知識庫等，以進(jìn)一步提升模型穩(wěn)定性；·對于工業(yè)企業(yè)，在安全性要求高的領(lǐng)域使用大模型ANDTECHNOLOGY工業(yè)場景的潛在應(yīng)用4天工星火通義*★干問大模型大模型大模型信息提取抗擾動能力原提問：噪聲最小的織機(jī)是()擾動提問1:噪聲最小的織機(jī)是()擾動提問2:今天天氣不太好，噪聲最小的織機(jī)是()中國工業(yè)互聯(lián)網(wǎng)研究院標(biāo)準(zhǔn)差國內(nèi)大模型平均值標(biāo)準(zhǔn)差國內(nèi)大模型平均值香港科技大學(xué)香港科技大學(xué)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)綜合能力指數(shù)目錄目錄香港科技大學(xué)第一部分評測規(guī)則第二部分評測結(jié)果第三部分總結(jié)中國工業(yè)互聯(lián)網(wǎng)研究院中國工業(yè)互聯(lián)網(wǎng)研究院附錄1:穩(wěn)定性評測數(shù)據(jù)集瓶過新華指數(shù)構(gòu)建變體測試集(抽取1080道)2.對工業(yè)領(lǐng)域相關(guān)語句表達(dá)順序變換。--→4.對工業(yè)數(shù)值進(jìn)行恒等數(shù)值變換。5.對工業(yè)領(lǐng)域常見量綱進(jìn)行同義變換。中國工業(yè)互聯(lián)網(wǎng)研究院中國工業(yè)互聯(lián)網(wǎng)研究院新華耐版本信息Web鏈接通義干問https://qianwen.aliyu文心一言百度智譜華章https://tiang