大語言模型通識(shí)微課課件：處理大模型預(yù)訓(xùn)練數(shù)據(jù)

大語言模型通識(shí)微課

處理大模型預(yù)訓(xùn)練數(shù)據(jù)由于數(shù)據(jù)質(zhì)量對(duì)于大模型的影響非常大。因此，在收集了各種類型的數(shù)據(jù)之后，需要對(duì)數(shù)據(jù)進(jìn)行處理，去除低質(zhì)量數(shù)據(jù)、重復(fù)數(shù)據(jù)、有害信息、個(gè)人隱私等內(nèi)容和進(jìn)行詞元切分。微課5.2處理大模型預(yù)訓(xùn)練數(shù)據(jù)互聯(lián)網(wǎng)上的數(shù)據(jù)質(zhì)量參差不齊，因此，從收集到的數(shù)據(jù)中刪除低質(zhì)量數(shù)據(jù)成為大模型訓(xùn)練中的重要步驟。大模型訓(xùn)練中所使用的低質(zhì)量數(shù)據(jù)過濾方法可以大致分為兩類；基于分類器的方法和基于啟發(fā)式的方法。（1）基于分類器的方法。目標(biāo)是訓(xùn)練文本質(zhì)量判斷模型，利用該模型識(shí)別并過濾低質(zhì)量數(shù)據(jù)。GPT-3、PaLM和GLaM模型在訓(xùn)練數(shù)據(jù)構(gòu)造時(shí)都使用了基于分類器的方法。例如，基于特征哈希的線性分類器，可以非常高效地完成文本質(zhì)量判斷。5.2.1質(zhì)量過濾（2）基于啟發(fā)式的方法。通過一組精心設(shè)計(jì)的規(guī)則來消除低質(zhì)量文本?！ふZ言過濾：如果僅關(guān)注一種或幾種語言，可以大幅過濾其他語言數(shù)據(jù)?！ぶ笜?biāo)過濾：利用評(píng)測(cè)指標(biāo)可以過濾低質(zhì)量文本。例如，使用語言模型對(duì)給定文本的困惑度進(jìn)行計(jì)算，利用該值過濾非自然的句子。·統(tǒng)計(jì)特征過濾：針對(duì)文本內(nèi)容計(jì)算標(biāo)點(diǎn)符號(hào)分布等統(tǒng)計(jì)特征，利用這些特征過濾低質(zhì)量數(shù)據(jù)?！りP(guān)鍵詞過濾：根據(jù)特定關(guān)鍵詞集，識(shí)別并刪除文本中的噪聲或無用元素。例如，HTML標(biāo)簽、超鏈接及冒犯性詞語等。5.2.1質(zhì)量過濾大模型訓(xùn)練數(shù)據(jù)庫中的重復(fù)數(shù)據(jù)會(huì)降低大模型的多樣性，并可能導(dǎo)致訓(xùn)練過程不穩(wěn)定，從而影響模型性能。因此，需要去除預(yù)訓(xùn)練數(shù)據(jù)庫中的重復(fù)數(shù)據(jù)，包括句子、段落、文檔、數(shù)據(jù)集等不同級(jí)別。在實(shí)際產(chǎn)生預(yù)訓(xùn)練數(shù)據(jù)時(shí)，冗余去除需要從不同粒度著手，這對(duì)改善語言模型的訓(xùn)練效果具有重要作用。5.2.2冗余去除由于絕大多數(shù)預(yù)訓(xùn)練數(shù)據(jù)源于互聯(lián)網(wǎng)，因此不可避免地會(huì)包含涉及敏感或個(gè)人信息的用戶生成內(nèi)容，這可能會(huì)增加隱私泄露的風(fēng)險(xiǎn)。因此，有必要從預(yù)訓(xùn)練數(shù)據(jù)庫中刪除包含個(gè)人身份信息的內(nèi)容。刪除隱私數(shù)據(jù)最直接的方法是采用基于規(guī)則的算法，利用算法檢測(cè)姓名、地址、電話號(hào)碼等個(gè)人信息內(nèi)容并進(jìn)行刪除或者替換。5.2.3隱私消除傳統(tǒng)的自然語言處理通常以單詞為基本處理單元，模型都依賴預(yù)先確定的詞表，在編碼輸入詞序列時(shí)，表示模型只能處理詞表中存在的詞。因此，如果遇到不在詞表中的未登錄詞，只能給未登錄詞一個(gè)默認(rèn)的通用表示。在深度學(xué)習(xí)模型中，詞表示模型會(huì)預(yù)先在詞表中加入一個(gè)默認(rèn)的“[UNK]”標(biāo)識(shí)，表示未知詞，并在訓(xùn)練的過程中將[UNK]的向量作為詞表示矩陣的一部分一起訓(xùn)練，通過引入某些相應(yīng)機(jī)制來更新[UNK]向量的參數(shù)。使用時(shí)，對(duì)全部未登錄詞使