2023中文BERT選擇手冊(cè)

中文BERT眾所周知，像T這樣的大型預(yù)訓(xùn)練模型通常會(huì)有上億個(gè)參數(shù)，受累于龐大的模型大小和高延遲時(shí)間，使得這些龐大的模型無(wú)法部署到移動(dòng)設(shè)備之上。而T則是經(jīng)過(guò)壓縮和加速的T模型。像一樣，與任務(wù)無(wú)關(guān)，也就是說(shuō)，可以通過(guò)簡(jiǎn)單的微調(diào)將其通用地應(yīng)用于各種下游任務(wù)。是的精簡(jiǎn)版本，同時(shí)具有精心設(shè)計(jì)的自注意力與前饋網(wǎng)絡(luò)之間的平衡。為了訓(xùn)練，首先訓(xùn)練一個(gè)專門設(shè)計(jì)的教師模型，該模型是模型。然后，實(shí)現(xiàn)從該老師模型到的知識(shí)遷移。經(jīng)驗(yàn)研究表明，比小倍，快倍，同時(shí)在基準(zhǔn)測(cè)試中獲得了有相當(dāng)競(jìng)爭(zhēng)力的結(jié)果。在的自然語(yǔ)言推理任務(wù)上，T的得分為（比s低），在xl手機(jī)上的延遲為毫秒。在Dv1v問(wèn)題解答任務(wù)上，的v得分為0（比高5）。1自監(jiān)督模型為自然語(yǔ)言處理技術(shù)帶來(lái)了新的革命的同時(shí)，也帶來(lái)了許多問(wèn)題：像BERT模時(shí)間，BERT模型往往無(wú)法部署到資源有限的移動(dòng)設(shè)備之上，實(shí)現(xiàn)機(jī)器翻譯，對(duì)話建模等在實(shí)現(xiàn)過(guò)程中，首先將BERT進(jìn)行與任務(wù)無(wú)關(guān)的壓縮，然后再進(jìn)行與任務(wù)相關(guān)的壓縮，將BERT模型微調(diào)為特定任務(wù)的教師（Teacher）模型，然后再進(jìn)行數(shù)據(jù)蒸餾，這一過(guò)程比獲得與任務(wù)無(wú)關(guān)的緊湊型似乎并不難，只需要采用較窄或更淺的版本，并通訓(xùn)練難度會(huì)更大。圖1三種模型架構(gòu)比較（a）BERT(bIB-BERTc)低0.6），在Pixel4手機(jī)上的延遲為62毫秒。在SQuADv1.1/v2.0問(wèn)題解答任務(wù)上，MobileBERT的devF1得分為90.0/79.2（比BERTBASE高1.5/2.1）。2MobileBERTMobileBERT的設(shè)計(jì)架構(gòu)和參數(shù)設(shè)置如下表所示，表中的設(shè)置是在大量實(shí)驗(yàn)的基礎(chǔ)上獲得表11.的體系結(jié)構(gòu)如圖（c）所示。它的深度與一樣深，但是每個(gè)構(gòu)件都變得更小。如表變換，以將其輸入和輸出尺寸調(diào)整為，將這種架構(gòu)稱為瓶頸。行訓(xùn)練，然后再?gòu)脑摻處熅W(wǎng)絡(luò)向進(jìn)行知識(shí)轉(zhuǎn)移。這比直接從頭訓(xùn)練更好。教師網(wǎng)絡(luò)的體系結(jié)構(gòu)設(shè)計(jì)，如圖（）所示。實(shí)際上，教師網(wǎng)絡(luò)只是。在此，將教師網(wǎng)絡(luò)稱為。注意，和具有相同的要素特征映射大小，即。因此，可以對(duì)和之間的分層輸出差異直接進(jìn)行比較。1.1.刪除層歸一化用元素線性變換替換n通道隱含狀態(tài)hNoNorm（h）=γ?h+β其中γ，β∈和〇表示Hadamard積。注意，即使在測(cè)試模式下，NoNorm采用relurelu激活代替了gelu激活。1.BERT模型中的嵌入表占模型大小的很大比例。如表5-251.其中A是注意力的頭數(shù)（多頭注意力機(jī)制）其中，α為0~13IB-BERT老師的中級(jí)知識(shí)（即注意力映射和特征映射）可能不是圖2圖2三種訓(xùn)練策略的方框圖（a）輔助知識(shí)傳遞(AKT(b聯(lián)合知識(shí)傳遞(JKT)(c)漸進(jìn)知識(shí)按照表1的配置進(jìn)行實(shí)驗(yàn)，將MobileBERT的實(shí)驗(yàn)結(jié)果和其它模型訓(xùn)練結(jié)果進(jìn)行比對(duì)。通過(guò)大量的實(shí)驗(yàn)，找出了最優(yōu)的模型設(shè)置，以SQuADvl.ldevFI得分作為模型設(shè)置的性能指標(biāo)。在這里，僅以2048個(gè)批次的大小訓(xùn)練模型125,000BERT的訓(xùn)練設(shè)置基礎(chǔ)4表2IB-BERTLARGEteacherF1MobileBERT5.5.4.5和一樣，使用kss和英文維基百科（shk）作為預(yù)訓(xùn)練數(shù)據(jù)。為了使老師達(dá)到與原始相同的精度，在個(gè)Uv芯片上訓(xùn)練了，步長(zhǎng)為k，批量大小為，并使用了優(yōu)化器。為了與進(jìn)行比較，沒(méi)有在其他變體中使用訓(xùn)練技巧。對(duì)于，在預(yù)訓(xùn)練蒸餾階段使用相同的設(shè)置。此外，當(dāng)使用漸進(jìn)式知識(shí)傳遞來(lái)訓(xùn)練時(shí)，在層上需要額外增加萬(wàn)步。為