2008年BJUT-MTG漢英機(jī)器翻譯系統(tǒng)技術(shù)報(bào)告

1、2008 年BJUT-MTG 漢英機(jī)器翻譯系統(tǒng)技術(shù)報(bào)告報(bào)告人 李雁鵬北京工業(yè)大學(xué)機(jī)器翻譯組2008-11-27概要系統(tǒng)簡(jiǎn)介預(yù)處理、對(duì)齊、短語(yǔ)抽取倒排索引評(píng)測(cè)的實(shí)驗(yàn)過(guò)程評(píng)測(cè)結(jié)果分析系統(tǒng)簡(jiǎn)介-系統(tǒng)結(jié)構(gòu)訓(xùn)練語(yǔ)料庫(kù)預(yù)處理模塊詞語(yǔ)對(duì)齊模塊短語(yǔ)抽取模塊建倒排索引倒排索引漢語(yǔ)分詞模塊評(píng)測(cè)測(cè)試集文件句子提取解碼器結(jié)果文件生成評(píng)測(cè)結(jié)果文件預(yù)處理(1)中文預(yù)處理分詞：SEGSDK (由Mandel Shi開(kāi)發(fā))A3全角字符到半角字符: - BJUT英文預(yù)處理句首大寫(xiě)字母的大小寫(xiě)統(tǒng)計(jì)轉(zhuǎn)換: We are we are標(biāo)點(diǎn)符號(hào)和單詞間的空格插入: end. end.輸入：評(píng)測(cè)所提供的部分訓(xùn)練語(yǔ)料輸出：可用于詞語(yǔ)對(duì)齊的

2、語(yǔ)料預(yù)處理(2)切分標(biāo)注模塊SEGSDK1.20介紹由Mandel Shi開(kāi)發(fā)支持Win平臺(tái)和Linux平臺(tái)漢字簡(jiǎn)繁體輸入的切分、標(biāo)注和命名實(shí)體識(shí)別缺點(diǎn)：長(zhǎng)句子會(huì)出錯(cuò)，因此需要按標(biāo)點(diǎn)斷開(kāi)長(zhǎng)句為短句例：年，中國(guó)化工工業(yè)保持穩(wěn)定增長(zhǎng)。 2006年 ， 中國(guó) 化工 工業(yè) 保持 穩(wěn)定 增長(zhǎng) 。詞語(yǔ)對(duì)齊訓(xùn)練利用統(tǒng)計(jì)機(jī)器翻譯工具GIZA+輸入：預(yù)處理后的語(yǔ)料輸出：詞語(yǔ)對(duì)齊關(guān)系例：28 . The Committee sympathized with many of the concerns expressed . 28 . 委員會(huì) 對(duì) 許多 事項(xiàng) 表示 的 關(guān)切 有 同感 。 1:1 2:2 3:2 4:

3、3 5:4 5:6 5:10 5:11 7:5 10:9 11:7 12:12 短語(yǔ)抽取用中科院計(jì)算所的“絲路”1.0抽取短語(yǔ)將獲取的對(duì)齊關(guān)系轉(zhuǎn)換成短語(yǔ)抽取要求的格式調(diào)用短語(yǔ)抽取工具進(jìn)行短語(yǔ)抽取利用計(jì)算短語(yǔ)翻譯概率工具去除重復(fù)的短語(yǔ)抽取建立倒排索引-1抽取出的短語(yǔ)數(shù)量很大：百萬(wàn)-千萬(wàn)條常用的方法：Hashmap，效率高但需要很多內(nèi)存倒排索引可以使查找短語(yǔ)更有效率倒排索引的核心：漢字詞語(yǔ)為詞條的詞典，一般詞條只有幾萬(wàn)條建立倒排索引-2倒排詞典的格式漢語(yǔ)詞語(yǔ)出現(xiàn)詞語(yǔ)的短語(yǔ)數(shù)量短語(yǔ)序號(hào)桶的桶號(hào)數(shù)組詞典中不直接存短語(yǔ)序號(hào)，而是存由短語(yǔ)序號(hào)構(gòu)成的“序號(hào)桶”的桶號(hào)序號(hào)桶的格式桶號(hào)數(shù)組：以為單元建立倒排索引

4、-3實(shí)現(xiàn)詞典、桶都是文件桶號(hào)是文件偏移量 方便快速定位建立索引例短語(yǔ)文件中序號(hào)為833748的行：宇宙 衛(wèi)星 被 用來(lái) 快速 傳送 長(zhǎng)途電話(huà) 。 | space satellite is used to speed long distance call . | 1 0 1 0建立倒排索引-4序號(hào)為833748的短語(yǔ)在倒排詞典中對(duì)應(yīng)如下詞條桶文件中，在對(duì)應(yīng)的桶號(hào)數(shù)組中必然有833748號(hào)短語(yǔ)的記錄如：112570688 漢語(yǔ)詞語(yǔ)出現(xiàn)詞語(yǔ)的短語(yǔ)數(shù)量短語(yǔ)序號(hào)桶的桶號(hào)數(shù)組宇宙188112570688衛(wèi)星419102833520被2906912960000, 31760000, 54878832用來(lái)46

5、35111263728快速127781893176傳送50860316528長(zhǎng)途電話(huà)1958668168建立倒排索引-5在漢英翻譯系統(tǒng)中，很小的倒排詞典常駐內(nèi)存，通過(guò)文件偏移量訪問(wèn)桶文件由于記錄了詞語(yǔ)在短語(yǔ)中的位置，選擇短語(yǔ)時(shí)不需要再訪問(wèn)抽取的短語(yǔ)文件其它輔助文件各個(gè)短語(yǔ)有幾個(gè)詞語(yǔ)的短語(yǔ)長(zhǎng)度文件 - 常駐內(nèi)存短語(yǔ)號(hào)對(duì)應(yīng)短語(yǔ)文件偏移量的短語(yǔ)偏移文件 - 常駐內(nèi)存抽取的短語(yǔ)文件 - 建索引時(shí)讀取，翻譯做最后替換時(shí)讀取建立倒排索引-6時(shí)間性能建立倒排索引：863的360萬(wàn)條短語(yǔ)，用時(shí)5分6秒CWMT08漢英新聞4014句翻譯，用時(shí)14分16秒測(cè)試環(huán)境：CPU主頻1.8GHz, 內(nèi)存1GB問(wèn)題高頻詞引

6、起性能下降倒排索引建在詞語(yǔ)上，依賴(lài)中文詞切分：短語(yǔ)對(duì)齊到詞語(yǔ)，翻譯時(shí)必須保證正確切分成同一個(gè)詞語(yǔ)。評(píng)測(cè)的實(shí)驗(yàn)過(guò)程從測(cè)試數(shù)據(jù)XML文件中抽取原文句子利用機(jī)器翻譯系統(tǒng)逐個(gè)句子翻譯人工干預(yù)：向系統(tǒng)提供人名、地名和機(jī)構(gòu)名等專(zhuān)名約2000多個(gè)，例如翻譯結(jié)果轉(zhuǎn)編碼，填入測(cè)試結(jié)果格式的XML中人名地名機(jī)構(gòu)名Carl,卡爾Cha Liangyong,查良鏞Chen Aiyu,陳愛(ài)玉Chen Changzhi,陳昌智Chen Deming,陳德銘Chen Jiulin,陳久霖Carolina,卡羅來(lái)那Changchun,長(zhǎng)春市Chaoyang District,朝陽(yáng)區(qū)Chendu,成都市Canada,加拿大Darfur,達(dá)爾富爾Beijing-Tianjin inter-city,京津城際CCTV,中央電視臺(tái)Commission for Discipline Inspection,紀(jì)委Committee of Politics and Law,政法委DONSEN,東森Democratic Alliance,民主聯(lián)盟評(píng)測(cè)結(jié)果分析評(píng)測(cè)結(jié)果成績(jī)最差的原因最重要的原因是解碼器的設(shè)計(jì)和實(shí)現(xiàn)還不完善抽取的單詞和短語(yǔ)規(guī)模小沒(méi)考慮目標(biāo)語(yǔ)言英語(yǔ)的特性處理：性、數(shù)、格、時(shí)態(tài)、語(yǔ)態(tài)、