文本結(jié)構(gòu)化技術(shù)的初步實現(xiàn)與中文縮略語還原技術(shù)初探課件

文本結(jié)構(gòu)化技術(shù)的初步實現(xiàn)

與

中文縮略語還原技術(shù)初探指導教師：俞士汶教授學生：支流

Tuesday,September19,2023文本結(jié)構(gòu)化技術(shù)的初步實現(xiàn)

與

中文縮略語還原技術(shù)初探指1內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)內(nèi)容提要文本結(jié)構(gòu)化技術(shù)2內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)內(nèi)容提要文本結(jié)構(gòu)化技術(shù)3綜合型語言知識庫簡介語法詞典標注語料庫句法知識語義詞典概念詞典語義知識詞庫短語規(guī)則庫日常用語術(shù)語庫－專業(yè)用語單語平行語料庫－雙語現(xiàn)代漢語古詩－古代漢語語法詞典標注語料庫綜合型語言知識庫簡介語法詞典標注語料庫句法知識語義詞典概念詞4語法信息詞典與語料庫之間的縫隙詞語詞類同形拼音頻次例句注抄vAchao1

照原稿寫抄vBchao1

走近道此類/r編著/v內(nèi)容/n是/v抄/v自/p別人/r的/u

炮兵/n學院/n原來/d圍墻/n殘缺/v，/w周邊/n群眾/n進城/v，/w習慣/v抄/v近道/n。/w

文本文件與數(shù)據(jù)庫文件的對應(yīng)較麻煩“詞語＋詞類＋同形”為主關(guān)鍵項的數(shù)據(jù)庫文件進行了詞語切分和詞類標注的文本文件語法信息詞典與語料庫之間的縫隙詞語詞類同形拼音頻次例句注抄v5結(jié)構(gòu)化語料庫的格式切分單位長年月日版篇段句位19981201-01-002-001/m211998120101020010100圓滿/ad071998120101020010101結(jié)束/v061998120101020010102對/p041998120101020010103俄羅斯/ns091998120101020010104和/c041998120101020010105日本/ns071998120101020010106的/u041998120101020010107訪問/vn07199812010102001010819981201-01-002-002/m211998120101020020100江/nr051998120101020020101澤民/nr071998120101020020102……

結(jié)構(gòu)化語料庫可以方便地進行語料庫上的各項數(shù)據(jù)統(tǒng)計。例如統(tǒng)計某個時間段某個詞出現(xiàn)的頻度。結(jié)構(gòu)化語料庫的格式切分單位長年月日版篇段句位199812016內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)內(nèi)容提要文本結(jié)構(gòu)化技術(shù)7結(jié)構(gòu)化文本技術(shù)的實現(xiàn)結(jié)構(gòu)化文本技術(shù)的實現(xiàn)幾大特點

可以讓用戶自主選擇需要的屬性項有兩種輸出文件格式供用戶選擇結(jié)構(gòu)化文本技術(shù)的實現(xiàn)結(jié)構(gòu)化文本技術(shù)的實現(xiàn)幾大特點可以讓用戶自8結(jié)構(gòu)化文本技術(shù)的實現(xiàn)結(jié)構(gòu)化文本技術(shù)的實現(xiàn)9結(jié)構(gòu)化文本技術(shù)的實現(xiàn)結(jié)構(gòu)化文本技術(shù)的實現(xiàn)10內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國計算語言學聯(lián)合學術(shù)會議”錄用內(nèi)容提要文本結(jié)構(gòu)化技術(shù)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆11中文縮略語的研究意義縮略語是自然語言的重要組成部分，縮略語規(guī)律的探索和縮略語還原是973項目“文本內(nèi)容理解的數(shù)據(jù)基礎(chǔ)”的重要組成部分與香港大學合作項目，為多語言縮略語共同規(guī)律研究提供數(shù)據(jù)基礎(chǔ)和技術(shù)借鑒中文縮略語的研究意義12中文縮略語的研究意義（二）研究達到的最終目標的縮略語的還原和生成，即為縮略語的解碼和編碼近期目標是切分標注好的語料中的縮略語還原中文縮略語的研究意義（二）13內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國計算語言學聯(lián)合學術(shù)會議”錄用內(nèi)容提要文本結(jié)構(gòu)化技術(shù)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆14根據(jù)縮略語和全稱的對應(yīng)方式分類一對一：北大北京大學一對多：人大人民大學全國人民代表大會多對一：電扇電風扇風扇多對多：南開南京大學南大南開大學中文縮略語分類框架根據(jù)縮略語和全稱的對應(yīng)方式分類中文縮略語分類框架15中文縮略語分類框架（二）從縮略語的形成方式分類字面與全稱無關(guān)多為地名型：云南→黔，上?！鷾置媾c全稱有關(guān)在簡稱中間有（）出現(xiàn)的：鄉(xiāng)（鎮(zhèn)），廳（局）長，寒（暑）假，出國（境）在簡稱中沒有（）出現(xiàn)的中文縮略語分類框架（二）從縮略語的形成方式分類16中文縮略語分類框架（三）縮合：大中小學生，鄉(xiāng)鎮(zhèn)企業(yè)提取北京大學→北大婚姻介紹所→婚介所歐洲中部→中歐（倒序情況）節(jié)略：清華大學→清華，復旦大學→復旦提取和節(jié)略結(jié)合：全國人民代表大會→人大總結(jié)性：三個代表，三好，五好特殊縮略語局部近義詞替代：浮式起重機→浮吊局部上位詞替代：中華人民共和國教育委員會→國家教委中文縮略語分類框架（三）縮合：大中小學生，鄉(xiāng)鎮(zhèn)企業(yè)17內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國計算語言學聯(lián)合學術(shù)會議”錄用內(nèi)容提要文本結(jié)構(gòu)化技術(shù)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆18測試語料：1998年1月1日至3日的《人民日報》切分標注好語料，共有33450個詞語，其中縮略語97個樸素的縮略語還原技術(shù)縮略語數(shù)據(jù)庫《簡稱略語庫》中608條縮略語作為種子。全文索引規(guī)則排序在文件中找到匹配詞組60%在文件中未找到匹配詞組40%測試語料：1998年1月1日至3日的《人民日報》切分標注好語19全文索引僅6個縮略語的匹配結(jié)果唯一52個縮略語都至少有2個匹配結(jié)果其中僅“中”匹配出57個不同的詞組。全文索引僅6個縮略語的匹配結(jié)果唯一20規(guī)則排序是否出現(xiàn)在數(shù)據(jù)庫中距離縮略語的遠近備選全稱的內(nèi)部結(jié)構(gòu)……匹配出31個縮略語，其中正確的30個，正確率51.7%

匹配出45個縮略語，其中正確的42個，正確率72.4%正確匹配出51個縮略語,正確率為87.9%規(guī)則排序是否出現(xiàn)在數(shù)據(jù)庫中距離縮略語的遠近備選全稱的內(nèi)部結(jié)構(gòu)21實驗結(jié)果實驗結(jié)果統(tǒng)計：擴大縮略語數(shù)據(jù)庫的規(guī)模縮略語對應(yīng)的全稱的篩選方式仍不完善。下一步在使用規(guī)則的方法的同時將加入統(tǒng)計的方法，縮略語知識庫的建設(shè)將是下一步工作的重中之重。全國人民代表大會……人大……人民大學實驗結(jié)果實驗結(jié)果統(tǒng)計：擴大縮略語數(shù)據(jù)庫的規(guī)模縮略語對應(yīng)的全稱22內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國計算語言學聯(lián)