賽迪前瞻2024年第33期（總873期）：人工智能語料庫發(fā)展趨勢和建議

人工智能（AI）語料庫是匯集大量來自書籍、學(xué)術(shù)文章、社交媒體等渠道的文本、圖片、音頻、視頻數(shù)據(jù)集合，是人工智能領(lǐng)域研究和應(yīng)用的基礎(chǔ)數(shù)據(jù)。目前，國際主流大模型訓(xùn)練語料庫以英文語料為主，中文語料占比不超過5%。中文人工智能語料庫匱乏制約了我國大模型性能飛躍和技術(shù)創(chuàng)新。賽迪研究院建議加快專業(yè)語料庫建設(shè)，提升語料數(shù)據(jù)質(zhì)量；優(yōu)化基礎(chǔ)設(shè)施建設(shè)，維護語料數(shù)據(jù)安全；完善語料生態(tài)環(huán)境，構(gòu)建評估作價體系。一、語料庫是AI模型開發(fā)的基石，國內(nèi)外AI語料庫在數(shù)據(jù)規(guī)模、語料質(zhì)量和開源共享方面存在差距大規(guī)模、高質(zhì)量的語料數(shù)據(jù)是訓(xùn)練和評估模型的基礎(chǔ)。一是從海量語料數(shù)據(jù)中提取語法結(jié)構(gòu)、語義特征能夠提升模型泛化性和準(zhǔn)確性。OpenAI基于3000億單詞模型，能夠準(zhǔn)確理解用戶問題并生成自然流暢的文本內(nèi)容。谷歌使用涵蓋書籍、新聞等廣泛領(lǐng)域的海量文本訓(xùn)練BERT模型，使其文本翻譯、情感識別等任務(wù)的準(zhǔn)確度提高。二是高質(zhì)量語料可以提高模型性能和訓(xùn)練效率。谷歌PaLM2模型采用包含多種語言和科學(xué)數(shù)據(jù)的改進語料庫訓(xùn)練，其翻譯、推理、代碼生成能力得到顯著提升。三是專業(yè)領(lǐng)域語料庫驅(qū)動AI技術(shù)創(chuàng)新和應(yīng)用落地。通用語料庫難以滿足特定專業(yè)領(lǐng)域需求，通過收集醫(yī)療、金融等專業(yè)領(lǐng)域的術(shù)語和概念擴展專業(yè)領(lǐng)域語料庫，加速相關(guān)領(lǐng)域算法創(chuàng)新和應(yīng)用推廣。國外語料庫在數(shù)據(jù)規(guī)模、開源建設(shè)和應(yīng)用場景方面具有先發(fā)訓(xùn)練語料CommonCrawl廣泛收集了來自網(wǎng)頁文本、書籍和學(xué)術(shù)華盛頓大學(xué)等高校機構(gòu)組織構(gòu)建的開源數(shù)據(jù)集MINT-1T，包含一萬億文本構(gòu)建塊和三十億圖像。二是英文AI語料庫在標(biāo)準(zhǔn)化建設(shè)和開源共享方面擁有優(yōu)勢。歐洲語言資源協(xié)調(diào)機構(gòu)通過制定數(shù)據(jù)采集、標(biāo)注和共享標(biāo)準(zhǔn)，整合歐洲各國及全球范圍內(nèi)的語料資源，推動語料庫規(guī)范化發(fā)展。谷歌、微軟等科技巨頭允許開發(fā)者通過應(yīng)用程序開發(fā)接口訪問其語料庫。三是國外企業(yè)和研究機構(gòu)正加大對多模態(tài)AI語料庫的建設(shè)力度。多模態(tài)AI語料庫能夠提升模型處理復(fù)雜任務(wù)和跨領(lǐng)域應(yīng)用的能力。Meta借助社交平臺積累多模態(tài)語料提升模型對圖像的理解能力，并將其集成在智能眼鏡上。亞馬遜通過構(gòu)建語音語料庫，推動其語音助手在智能家居和語音交互領(lǐng)域的應(yīng)用。國內(nèi)企業(yè)和研究機構(gòu)積極跟進中文AI語料庫建設(shè)。一是中文AI語料庫在數(shù)據(jù)規(guī)模和多樣性方面取得顯著進展。中國大模型語料數(shù)據(jù)聯(lián)盟發(fā)布“書生·萬卷”多模態(tài)語料庫，涵蓋來自網(wǎng)頁、書籍、百科等不同來源的清洗后預(yù)訓(xùn)練語料，數(shù)據(jù)規(guī)模超2TB。智源研究院聯(lián)合多家數(shù)據(jù)單位建設(shè)全球最大中文語料數(shù)據(jù)庫二是特定行業(yè)或?qū)I(yè)領(lǐng)域的中文AI語料庫建設(shè)已初具規(guī)模?？拼笥嶏w構(gòu)建用于訓(xùn)練和優(yōu)化語音識別模型的語料庫，包含多種語言、方言和口音的數(shù)據(jù)。上海交通大學(xué)創(chuàng)建包含6種語言和21種醫(yī)學(xué)子課題的多語言醫(yī)療語料庫，用于提高醫(yī)療診斷模型的準(zhǔn)確度。南京大學(xué)以法律文書、司法考試為基礎(chǔ)構(gòu)建法律領(lǐng)域?qū)υ挃?shù)據(jù)集，以提高模型對法律內(nèi)容的理解能力。三是高質(zhì)量中文語料短缺是當(dāng)前亟待解決的問題。現(xiàn)有中文語料來源廣泛但質(zhì)量參差不齊，未經(jīng)清洗包含錯別字、語法錯誤和價值觀偏見的語料會影響模型訓(xùn)練效果。此外，我國語料庫建設(shè)規(guī)范性不足，數(shù)據(jù)標(biāo)注標(biāo)準(zhǔn)不一、語料庫結(jié)構(gòu)差異明顯以及相關(guān)企業(yè)共享意愿不足，導(dǎo)致高質(zhì)量中文語料積累薄弱。二、AI語料庫面臨的三大挑戰(zhàn)語料收集受限于數(shù)據(jù)來源、版權(quán)以及隱私保護法規(guī)。一是語料來源的單一性限制了對多樣化、高質(zhì)量文本數(shù)據(jù)的獲取。尤其在特定專業(yè)領(lǐng)域語料資源匱乏的情況下，難以收集足夠的文本數(shù)據(jù)來訓(xùn)練更具泛化性的AI模型。二是版權(quán)問題增加了語料收集的難度。文本資源通常受到版權(quán)保護，未經(jīng)授權(quán)的使用可能引起法律糾紛，也限制了研究人員和開發(fā)者對語料的獲取和使用。三數(shù)據(jù)保護條例》規(guī)定在處理涉及個人信息的數(shù)據(jù)時，必須確保匿名化或得到數(shù)據(jù)主體的明確同意，否則將面臨法律風(fēng)險，同時增加了語料收集的成本。語料數(shù)據(jù)的清洗和標(biāo)注需要投入大量人力成本。一是語料清潔性是語料庫建設(shè)、流通和使用的前提。對收集到的原始語料進行過程繁瑣的去噪、去重、標(biāo)準(zhǔn)化等清洗操作，以確保輸入模型數(shù)據(jù)的準(zhǔn)確性和一致性。二是專業(yè)語料標(biāo)注通常依賴人工標(biāo)注。語料標(biāo)注的專業(yè)性、復(fù)雜性要求標(biāo)注者具備專業(yè)知識，能夠?qū)φZ料進行初步分析和判斷，如詞性標(biāo)注、句法結(jié)構(gòu)標(biāo)注、情感分析等。三是語料標(biāo)注容易受到標(biāo)注者主觀判斷的影響。自動化標(biāo)注工具雖有所發(fā)展，但其在處理復(fù)雜語義或細微語境時的精度和可靠性尚不能完全替代人工標(biāo)注，而不同標(biāo)注者的主觀判斷標(biāo)準(zhǔn)不同，將導(dǎo)致標(biāo)注不一致或標(biāo)注錯誤。海量語料存儲、同步處理和安全管理的難度大。一是大規(guī)模語料庫需要龐大算力設(shè)施支撐。語料庫規(guī)模不斷擴大，企業(yè)和研究機構(gòu)需要購買大量分布式存儲系統(tǒng)、圖形處理單元和云計算平臺等技術(shù)設(shè)備，而中小型企業(yè)和研究機構(gòu)往往難以承擔(dān)基礎(chǔ)設(shè)施建設(shè)和維護的成本。二是分布式存儲系統(tǒng)面臨不同節(jié)點語料同步處理困難的問題。存儲節(jié)點分散、語料分布不均、網(wǎng)絡(luò)傳輸延遲等因素導(dǎo)致分布式存儲系統(tǒng)難以完成對實時性要求高的任務(wù)。三是語料庫面臨網(wǎng)絡(luò)攻擊、數(shù)據(jù)泄露等安全隱患。海量語料中可能包含大量敏感、有價值的數(shù)據(jù)，分布式存儲環(huán)境增加了語料庫被黑客攻擊的風(fēng)險。三、措施建議加快專業(yè)語料庫建設(shè)，提升語料數(shù)據(jù)質(zhì)量。一方面，加大對專業(yè)領(lǐng)域語料庫的建設(shè)投入。通過設(shè)立專項基金或項目資金補貼等方式支持專業(yè)領(lǐng)域語料庫建設(shè)和運營，同時，引導(dǎo)企業(yè)、科研機構(gòu)、高校等主體形成共建聯(lián)合體，推進跨領(lǐng)域、跨機構(gòu)合作的數(shù)據(jù)資源共享，實現(xiàn)專業(yè)領(lǐng)域語料的有效整合，提高語料資源利用率。另一方面，優(yōu)化數(shù)據(jù)收集與標(biāo)注流程。結(jié)合自動化工具與人工審查，定期對語料進行更新擴充、監(jiān)測維護，形成優(yōu)質(zhì)的標(biāo)準(zhǔn)化語料庫和完備的數(shù)據(jù)生命周期管理體系，確保語料數(shù)據(jù)質(zhì)量。優(yōu)化基礎(chǔ)設(shè)施建設(shè)，維護語料數(shù)據(jù)安全。一方面，優(yōu)化計算資源配置與基礎(chǔ)設(shè)施建設(shè)。采用混合云架構(gòu)、自動化調(diào)度和負載均衡技術(shù)，根據(jù)訓(xùn)練任務(wù)需求合理規(guī)劃資源配置，提高語料庫使用效率。另一方面，加強對語料安全與隱私保護技術(shù)的研發(fā)。采用加密技術(shù)、訪問控制等手段，確保數(shù)據(jù)安全和用戶的隱私。鼓勵企業(yè)建立數(shù)據(jù)安全管理體系，定期進行安全評估和漏洞檢測，確保語料庫的安全性。完善語料生態(tài)環(huán)境，構(gòu)建評估作價體系。一方面，從國家層面建立大規(guī)模、公開的語料庫。面向社會各界征集高質(zhì)量語料資源，通過