平行語(yǔ)料庫(kù)制作流程

1、平行語(yǔ)料庫(kù)制作流程說(shuō)明：在鄒頌兵先生、孟令子博士的基礎(chǔ)上，由李濤、李曉倩討論完成，期間胡慧婷也參與討論，給予了很好的建議。這個(gè)流程對(duì)于有些老師和同學(xué)，實(shí)在沒有必要這么繁瑣，有些步驟可以利用一些軟件一次性解決，推薦兩款軟件試用，文本整理器；PowerGREP之所以如此繁瑣，是想讓大家更加詳細(xì)的了解整個(gè)建庫(kù)流程以及為什么這么做。當(dāng)然在建庫(kù)過程中還會(huì)遇到更多的問題，大家可以嘗試自己去解決。）1 .語(yǔ)料采集（目的不同，方法各異）2 .去噪（Emeditor）（1）消除回車和空行：ns*空（n表示新行；s表示空格，*表示0個(gè)或多個(gè)；之所以加上s*是為了避免回車鍵前面有空格。）（2）去空格英文s+替換為空

2、格（s表示空格，+表示1個(gè)或更多。該表達(dá)式意思表明如果原來(lái)有1個(gè)空格，就替換為1個(gè)空格，如果多于1個(gè)空格，仍然替換為1個(gè)空格。之所以如此，是因?yàn)橛⑽膯卧~之間是有1個(gè)空格存在的。）中文s*替換為空（s表示空格，*表示0個(gè)或更多。該表達(dá)式意思表明如果原來(lái)有0個(gè)空格，就替換為0個(gè)空格，如果多于1個(gè)空格，仍然替換為0個(gè)空格。之所以如此，是因?yàn)闈h字之間是有0個(gè)空格存在的。）3 .分詞英文Claws中文ICTCLAS（可以選擇二級(jí)標(biāo)準(zhǔn)，北大標(biāo)準(zhǔn)）中文分詞校對(duì)常見：人名標(biāo)注為/nr,（如小說(shuō)首席里，人名飄雪被標(biāo)注為“飄/v雪/n”；可以統(tǒng)一替換為“飄雪/nr"）;地名/ns;4 .標(biāo)點(diǎn)符號(hào)處理英語(yǔ)

3、標(biāo)點(diǎn)符號(hào)全部替換成單個(gè)標(biāo)點(diǎn)。（因?yàn)镃laws標(biāo)注后的英文標(biāo)點(diǎn)及其標(biāo)注顯示為“標(biāo)點(diǎn)_標(biāo)點(diǎn)”；以問號(hào)勸例，即“？_?'更改后，變?yōu)椤?？即可。特別注意省略號(hào)，因?yàn)镃law麗注后的省略號(hào)及其標(biāo)注顯示為“._._._.”其中第一個(gè)“._.”和后面兩個(gè)“._._.”之間換行了，這樣在添加<seg>標(biāo)志是會(huì)造成默認(rèn)三個(gè)英語(yǔ)句號(hào)標(biāo)識(shí)。兩種解決方案：1.替換句號(hào)之前查找“._.n._._."（選擇正則表達(dá)式一欄），替換成“-"（什么符號(hào)都可以，自己知道意思即可，但整個(gè)語(yǔ)料庫(kù)建設(shè)里一般會(huì)涉及多人，所以大家要統(tǒng)一）；2.如果先替換句號(hào)，就直接查找".n.”（選擇正則

4、表達(dá)式一欄），替換成“-”。建議所有查找和替換操作都從文本中復(fù)制以免格式不匹配。中文標(biāo)點(diǎn)符號(hào)全部轉(zhuǎn)成英文狀態(tài)下的半角格式并去除其詞性標(biāo)注/w。（ICTCLA麗注后的中文標(biāo)點(diǎn)及其標(biāo)注顯示為“標(biāo)點(diǎn)/w”；以問號(hào)？為例，即“？/w”；更改后，變?yōu)椤?？即可。特別提醒：一些中文特有的標(biāo)點(diǎn)符號(hào)如“,，”；“破折號(hào)”；等，我們認(rèn)為可以分別替換成“，（三個(gè)）；“-”（兩個(gè)）；“/"；“<>"）問題：（可以專門查找省略號(hào)，然后自己判定是否是句子結(jié)束標(biāo)志；也可以忽略，在對(duì)齊校對(duì)的時(shí)候做。）“我”我,，我怎么了？”這個(gè)時(shí)候,并不是一句話的結(jié)束?！鞍?，”這個(gè)時(shí)候,，是一句話的結(jié)束。5

5、 .添加對(duì)齊標(biāo)志（中英文一致）考慮到有時(shí)在對(duì)話中句號(hào)、問號(hào)和嘆號(hào)加上了引號(hào)，即.”、？'、！”，也代表一句話的結(jié)束，因此我們建議分三步添加對(duì)齊標(biāo)志：（1）用特定符號(hào)，如11111111,替換帶引號(hào)的句號(hào)、問號(hào)、嘆號(hào)，目的在于避免對(duì)其標(biāo)志出現(xiàn)在引號(hào)之內(nèi)。（2）句號(hào)、問號(hào)和嘆號(hào)之后添加對(duì)齊標(biāo)志。（3）在11111111之后添加對(duì)齊標(biāo)志。（1）處理加引號(hào)的句號(hào)、問號(hào)和嘆號(hào)（使用正則表達(dá)式）."替換為11111111?"替換為22222222!"替換為33333333（2）處理所有文本中句號(hào)、問號(hào)和嘆號(hào)（使用正則表達(dá)式）查找.替換為.</seg>n&l

6、t;seg>查找?替換為?</seg>n<seg>查找!替換為!</seg>n<seg>再處理（1）遺留的問題查找11111111替換為."</seg>n<seg>查找22222222替換為?"</seg>n<seg>查找33333333替換為!"</seg>n<seg>開頭和結(jié)尾處標(biāo)注手動(dòng)添加5.平行（詳細(xì)做法請(qǐng)參照ParaCon儂用說(shuō)明）1）添加語(yǔ)料*Pd4«C»nc2)AlignFormat要選Start/Stoptags3）查看語(yǔ)料對(duì)齊ParaConc£ileSearchFreguencyInfoLoadCorpusFi胤幻Ctrl+LViewCorpusAlignment.Ctrl+VExportCorpusFiles.r.UnloadCorpusOpenWorkspoceCtrl+O53vi§WorkspaceSaveWorkspace整、5己