《詞語知多少》PPT課件.ppt

詞語知多少,鄭錦全 2001 年4月3日,語言,語言是人一生中習得的符號系統(tǒng) 代代傳承 代代有代溝 - 粵語“你我他” 時有古今，地有南北，音有轉(zhuǎn)移，詞有消長 達爾文觀察物種原始與孳乳，發(fā)覺詞語隨時代消長，新詞產(chǎn)生，舊語消失。他的解釋是因為人的記憶有限，詞語不能無限積累，只能新陳代替(Darwin 1871)。,文字,文字的基礎(chǔ)是語言 - “狗戴帽子” Good morning 文化傳承與文字積累,語言的單位,語音 詞素，字 詞語，語詞 詞組 句 句群 段 篇章,多少？,詞素，字 ：古今字數(shù) 詞語，語詞：報章文字統(tǒng)計 詞組：報章文字統(tǒng)計 句：信息模組 句群：信息模組,初步計量,李莫愁這麼一哭，楊過和程英也自驚覺，歌聲節(jié)拍便即散亂。李莫愁心念一動，突然縱聲而歌，音調(diào)淒婉，歌道： 問世間，情是何物，直教生死相許？天南地北雙飛客，老翅幾回寒暑？歡樂趣，離別苦，就中更有癡兒女。君應(yīng)有語，渺萬里層雲(yún)，千山暮雪，隻影向誰去？ - 金庸神鵰俠侶,情是何物？,直教生死相許,摸魚兒 元好問 泰和五年乙丑歲，赴試并州，道逢捕雁者云：“今日獲一雁，殺之矣。其脫網(wǎng)者悲鳴不能去，竟自投於地而死?！庇枰蛸I得之，葬之汾水之上，纍石為識，號曰雁丘。時同行者多為賦詩，予亦有雁丘詞。 舊所作無宮商，今改定之。,初步計量,1 有 2 3.509 3.509 2 歡 1 1.754 5.263 3 雙 1 1.754 7.018 4 離 1 1.754 8.772 5 應(yīng) 1 1.754 10.526 6 趣 1 1.754 12.281 53 中 1 1.754 94.737 54 山 1 1.754 96.491 55 女 1 1.754 98.246 56 千 1 1.754 100.000,神鵰俠侶字數(shù),1 一 15662 1.933 1.933 2 不 14714 1.816 3.749 3 是 12318 1.520 5.269 4 的 11889 1.467 6.736 5 道 11810 1.457 8.194 6 了 11017 1.360 9.553 7 過 9192 1.134 10.688 8 他 8203 1.012 11.700 9 人 8005 0.988 12.688 10 這 7115 0.878 13.566 4094 巳 1 0.000 100.000,神鵰俠侶字數(shù)統(tǒng)計,4,094 Word types 字種 810,311 Word tokens 字數(shù) In addition, there are 145,213 punctuation marks 標點符號,文字啟蒙,“開學(xué)了” 筆比鋤頭還重 人生憂患識字始 生年不滿百，常懷千歲憂。（古詩十九首）,多少才夠用？,人間百態(tài) 百般咒罵 百感交集 千方百計 千奇百怪 萬感交集 氣象萬千 萬物 包羅萬象,千字文,天地玄黃 宇宙洪荒 日月盈昃 辰宿列張 寒來暑往 秋收冬藏 閏馀成歲 律呂調(diào)陽 云騰致雨 露結(jié)為霜 金生麗水 玉出昆岡 劍號巨闕 珠稱夜光 果珍李柰 菜重芥姜 海咸河淡 鱗潛羽翔 龍師火帝 鳥官人皇 始制文字 乃服衣裳 推位讓國 有虞陶唐 吊民伐罪 周發(fā)殷湯 坐朝問道 垂拱平章 愛育黎首 臣伏戎羌 遐邇一體 率賓歸王 鳴鳳在竹 白駒食場 化被草木 賴及萬方 蓋此身發(fā) 四大五常 恭惟鞠養(yǎng) 豈敢毀傷 女慕貞潔 男效才良 知過必改 得能莫忘 罔談彼短 靡恃己長 信使可復(fù) 器欲難量 墨悲絲染 詩贊羔羊 景行維賢 克念作圣 德建名立 形端表正 空谷傳聲 虛堂習聽 禍因惡積 福緣善慶 尺璧非寶 寸陰是競 資父事君 曰嚴與敬 孝當竭力 忠則盡命 臨深履薄 夙興溫 似蘭斯馨 如松之盛 川流不息 淵澄取映 容止若思 言辭安定,千字文重字,（錄自喻岳衡主編傳統(tǒng)蒙學(xué)叢書：千字文，周藝點校，岳麓書社年月長沙出版 【重字表】千字文實錄九百九十四個漢字，重字凡六，以漢語拼音為序列于下： “發(fā)”：周發(fā)殷湯；蓋此身發(fā) “巨”：劍號巨闕；巨野洞庭 “昆”：玉出昆岡；昆池碣石 “戚”：戚謝歡招；親戚故舊 “云”：云騰致雨；禪主云亭 “資”：資父事君；務(wù)資稼穡,千字文非國標字,【非國標字一覽表】（音義據(jù)現(xiàn)代漢語詞典，商務(wù)印書館一九八三年北京第二版； 釋義未必切合正文） 【冫青】涼。 【石番】“溪”，太公望垂釣處。（孫謙益注） “義”字無“丶”治理，安定。 【宀是】放置；此；又同“實”。,蘇蕙 璇璣圖 鏡花緣,琴清流楚激弦商秦曲發(fā)聲悲摧藏音和詠思惟空堂心憂增慕懷慘傷仁 芳廊東步階西游王姿淑窕窈伯邵南周風興自后妃荒經(jīng)離所懷嘆嗟智 蘭休挑林陰翳桑懷歸思廣河女衛(wèi)鄭楚樊厲節(jié)中闈淫遐曠路傷中情懷 凋翔飛燕巢雙鳩土迤逶路遐志詠歌長嘆不能奮飛妄清幃房君無家德 茂流泉情水激揚眷頎其人碩興齊商雙發(fā)歌我兗衣想華飾容郎鏡明圣 熙長君思悲好仇舊蕤葳粲翠榮曜流華觀冶容為誰感英曜珠光紛葩虞 陽愁嘆發(fā)容摧傷鄉(xiāng)悲情我感傷情徵宮羽同聲相追所多思感誰為榮唐 春方殊離仁君榮身苦惟艱生患多殷憂纏情將如何欽蒼穹誓終篤志貞 墻禽心濱均深身加懷憂是嬰藻文繁虎龍寧自感思岑形熒城榮明庭妙 面伯改漢物日我兼思何漫漫榮曜華雕旗孜孜傷情幽未猶傾茍難闈顯 殊在者之品潤乎愁苦艱是丁麗壯觀飾容側(cè)君在時巖在炎在不受亂華 意誠惑步育浸集悴我生何冤充顏曜繡衣夢想勞形峻慎盛戒義消作重 感故昵飄施愆殃少章時桑詩端無終始詩仁顏貞寒嵯深興后姬源人榮 故遺親飄生思愆精徽盛翳風比平始璇情賢喪物歲峨慮漸孽班禍讒章 新舊聞離天罪辜神恨昭感興作蘇心璣明別改知識深微至嬖女因奸臣 霜廢遠微地積何遐微業(yè)孟鹿麗氏詩圖顯行華終凋淵察大趙婕所佞賢 冰故離隔德怨因幽元傾宣鳴辭理興義怨士容始松重遠伐氏妤恃兇惟 齊君殊喬貴其備曠悼思傷懷日往感年衰念是舊愆涯禍用飛辭恣害圣 潔子我木平根嘗遠嘆永感悲思憂遠勞情誰為獨居經(jīng)在昭燕輦極我配 志惟同誰均難苦離戚戚情哀慕歲殊嘆時賤女懷嘆網(wǎng)防青實漢驕忠英 清新衾陰勻?qū)ば柳P知我者誰世異浮奇傾鄙賤何如羅萌青生成盈貞皇 純貞志一專所當麟沙流頹逝異浮沉華英翳曜潛陽林西昭景薄榆桑倫 望微精感通明神龍馳若然倏逝惟時年殊白日西移光滋愚讒漫頑兇匹 誰云浮寄身輕飛昭虧不盈無倏必盛有衰無日不陂流蒙謙退休孝慈離 思輝光飭粲殊文德離忠體一違心意志殊憤激何施電疑危遠家和雍飄 想群離散妾孤遺懷儀容仰俯榮華麗飾身將與誰為逝容節(jié)敦貞淑思浮 懷悲哀聲殊乖分圣貲何情憂感惟哀志節(jié)上通神祗推持所貞記自恭江 所春傷應(yīng)翔雁歸皇辭成者作體下遺葑菲采者無差生從是敬孝為基湘 親剛?cè)嵊信疄橘v人房幽處己憫微身長路悲曠感生民梁山殊塞隔河津,織錦回文,463 Word types 833 Word tokens 據(jù)說可以得出 3,752 詩句 仁智懷德圣虞唐，貞妙顯華重榮章， 臣賢惟圣配英皇，倫匹離飄浮江湘。 欽岑幽巖峻嵯峨，深淵重涯經(jīng)網(wǎng)羅，林陽潛曜翳英華，沉浮異逝頹流沙。 嗟嘆懷，所離經(jīng)；遐曠路，傷中情；家無君，房幃清； 華飾容，朗鏡明；葩紛光，珠曜英；多思感，誰為榮？,古人用字,總字數(shù) 字種 書目 97,973 3,028 禮記 533,505 5,122 史記 34,431 2,716 風俗通 80,121 3,315 桃花扇 459,357 5,225 日知錄 496,855 4,293 紅樓夢前80回 234,980 3,217 紅樓夢後40回 731,835 4,501 紅樓夢120回,資料來源,禮記的數(shù)目取自劉典爵、陳方正(1992-95) 史記等史書字數(shù)見謝清俊、林晰、許金定、傅武嫦、張翠玲 (1992) 風俗通、桃花扇、日知錄統(tǒng)計由中央研究院資訊科學(xué)研究所提供 紅樓夢字數(shù)從元智大學(xué)的網(wǎng)路電子版計算出來 字書字數(shù)部分取自漢語大字典袖珍本（1999）,經(jīng)典,總字數(shù) 字種 書目 15,935 1,355 論語 35,417 1,913 孟子 28,073 2,026 尚書 37,438 2,989 毛詩 97,973 3,028 禮記 38,597 2,259 大戴禮記,經(jīng)典,56,809 1,529 儀禮 49,540 2,236 周禮 1,800 373 孝經(jīng) 61,753 2,248 春秋繁露 44,379 1,648 公羊傳 40,914 1,604 穀梁傳 51,156 2,614 韓詩外傳 10,379 3,410 爾雅,二十五史,年代 總字數(shù) 字種 書目 93BC 533,505 5,122 史記 83AD 742,298 5,833 漢書 289 377,807 4,388 三國志 445 894,020 6,161 後漢書 488 811,893 5,842 宋書 514 299,257 4,962 南齊書 554 998,329 5,417 魏書 636 294,438 4,973 梁書 636 163,382 4,033 陳書,二十五史,636 212,506 4,032 北齊書 636 262,659 4,161 周書 648 1,158,126 5,997 晉書 656 701,698 5,592 隋書 659 677,624 5,376 南史 659 1,106,543 5,572 北史 945 2,002,600 6,346 舊唐書 974 790,879 5,109 舊五代史 1060 1,694,794 6,771 新唐書,二十五史,1072 291,476 3,909 新五代史 1345 3,980,123 7,389 宋史 1344 296,254 4,071 遼史 1344 931,070 5,264 金史 1370 1,611,849 5,854 元史 1739 2,802,544 7,124 明史 1927 4,514,567 8,080 清史稿,公元5世紀以前,年代 字種 書目 1300BC 3,000 甲骨文 93BC 5,122 史記 5 5,340 訓(xùn)纂篇 83 5,833 漢書 100 9,353 說文解字 289 4,388 三國志 4C 12,824 字林 445 6,161 後漢書 488 5,842 宋書,6-7世紀,514 4,962 南齊書 543 22,726 玉篇 554 5,417 魏書 636 4,973 梁書 636 4,033 陳書 636 4,032 北齊書 636 4,161 周書 648 5,997 晉書 656 5,592 隋書 659 5,376 南史 659 5,572 北史,10-13世紀,945 6,346 舊唐書 974 5,109 舊五代史 997 26,430 龍龕手鑑 1008 26,194 廣韻 1039 31,319 類篇 1060 6,771 新唐書 1067 30,000 集韻 1072 3,909 新五代史 1212 35,189 改併五音聚韻四聲篇海,14-18世紀,1344 4,071 遼史 1344 5,264 金史 1345 7,389 宋史 1370 5,854 元史 1615 33,179 字匯 1671 33,549 正字通 1716 47,035 康熙字典 1739 7,124 明史,現(xiàn)代,1915 48,000 中華大字典 1927 8,080 清史稿 1959 49,965 大漢和辭典 1968 49,905 中文大辭典 1986 54,678 漢語大字典,古人的詞素量,著作總字數(shù)從一千多字到四百多萬字不等 各人所用字種只有幾千，上限是八千 人所能操縱的詞素量有涯邊盡頭 對人類語言認知能力我們提出“詞涯八千” 來解釋古人用字的上限,“詞涯八千”,時有古今地有南北,異體字 古今字 方言字 難字 生僻字 罕見異體字,漢語大字典,語言符號知多少？,4,261字 陳鶴琴 (1928) 語體文應(yīng)用字匯 2,000字 四川省教育科學(xué)院(1946) 常用字選 3,500字 中國大詞典編纂處 (1954) 識字正音3500 字表 3,000字 山東省教育廳 (1958) 普通話常用字表,語言符號知多少？,3,100字 北京市教育局中小學(xué)教材編審處 (1965) 常用字表 4,444字 中國文字改革委員會漢字組 (1975) 4500 字表 4,574字 北京語言學(xué)院語言教學(xué)研究所 (1985) 漢字頻率表 3,500字 國家語言文字工作委員會(1988)現(xiàn)代漢語常用字表,古詩文缺字,宋代蘇軾 太白詞，并敘：其一 岐下頻年大旱，禱於太白輒應(yīng)，故作迎送神辭一篇五章 雷闐闐，山畫晦。 風振野，神將駕。 載雲(yún)（原文作左目右干），從玉虯。 旱既甚，蹶往救，道阻修兮。 (羅鳳珠輯),電子文獻缺字,中央研究院臺灣方志資料庫簡介 本資料庫內(nèi)約有六百多個罕見字，這些字需造字來解決因公共造字檔的剩餘空間有限，只能選擇四十三個在資料庫中出現(xiàn)頻率較高者，上計算中心的公共造字檔,市場經(jīng)濟與電腦文字缺失,市場經(jīng)濟決定產(chǎn)品優(yōu)劣 廠商以賺錢為主要目的 字符已經(jīng)能夠滿足一般需要 因此一萬多字的字符集通行十幾年 我們到底需要多少字？,電腦字符集,電報碼 資策碼 IBM 碼 電訊碼 國標碼 國標擴展碼 大五碼 Unicode 五胡亂華，萬馬奔騰,知識經(jīng)濟,基礎(chǔ)是科技 從工業(yè)經(jīng)濟轉(zhuǎn)到知識經(jīng)濟，操縱的物件從大型機器轉(zhuǎn)到電腦上的微型符號 改變符號並不須要改變整個機器的設(shè)計，因此容易讓人用符號來創(chuàng)新，在這樣的環(huán)境中形成了人們冒險進取的精神 活動全球化 語言是知識建構(gòu)的媒體 語言文字在科技基礎(chǔ)和全球化活動中佔重要地位,符號創(chuàng)新,.COM 公司無本經(jīng)營 搜索引擎提供大量知識信息 網(wǎng)站繁衍，靠廣告發(fā)展，依賴收購致富 形成只要有電腦就能橫行天下的心態(tài) 經(jīng)濟開始不景氣 .COM 變成 .GONE,E-這個 E-那個,網(wǎng)路教育 電子商務(wù) 以語言文字為媒體,漢字需求,5-6 萬字 廣深的知識面,詞語的數(shù)目,單音節(jié) 多音節(jié) 書名 100,000 國語辭典(國大辭典編纂處1937) 10,000 30,000 國語日報字典(何容1976) 6,000 50,000 漢英詞典(北京外國語學(xué)院1978) 56,000 現(xiàn)代漢語詞典 (社科院語言所1980) 3,994 90,000 常用構(gòu)詞字典(傅興嶺陳章煥1982) 2,116 90,000 現(xiàn)代漢語詞表 (劉源 1984) 4,000 58,000 詞林 (張聿忠1986) 31,159 現(xiàn)代漢語頻率詞典 (北京語言學(xué)院 1986),詞語的數(shù)目,9,700 48,000 新編漢語詞典(李國炎等1988) 13,000 80,000 古今漢語實用詞典 (吳昌恒1988) 60,400 漢語拼音詞匯(編寫組1991) 13,000 36,000 朗文中文高級新辭典(葉立群1996) 11,000 28,000 現(xiàn)代漢語用法詞典(閔龍華1997) 10,000 24,000 古代漢語詞典(陳復(fù)華 2000）,衍生詞,“機”，可以和許多詞結(jié)合衍生出 “計算機” “打字機” “縫衣機” “性”可以和其他詞結(jié)合成 “科學(xué)性” “積極性” “商業(yè)性”,詞語計量,斷詞 （明報1995） ， ， 。,報章詞語統(tǒng)計,覆蓋率 新加坡詞數(shù) 香港詞數(shù) 臺灣詞數(shù) 90% 5,043 7,477 5,005 100% 24,967 42,689 42,686+ Tsou, Benjamin K., Hing-Lung Lin, Godfrey Liu, Terence Chan, Jerome Hu, Ching-hai Chew, and John K.P. Tse. 1997. “A Synchronous Chinese Language Corpus from Different Speech Communities: Construction and Applications“. Computational Linguistics and Chinese Language Processing 2.1:91-104.,“詞涯八千”的理論,如果我們假定能覆蓋95%的文本語料的詞語是大多數(shù)人所共有的，覆蓋其他5%的語料的詞語是各人的特殊詞條聚集起來的，那麼，每個人能夠運用的詞語數(shù)目就是七八千左右。從上文討論的漢字和詞語的出現(xiàn)情形再加這個假定，我們對人的詞語認知提出“詞涯八千”的理論。,其他語言,既然“詞涯八千”說的是人的認知能力，我們就要檢驗其他語言的情形。Miller 等人(Miller and Gildea 1991) 認為美國中學(xué)畢業(yè)生所知道的詞語數(shù)目是 80,000。 Crystal (1995) 認為說英語的人的“主動”能運用的詞語介於 31,500 和 56,250 之間，而“被動”能認識的數(shù)目從 38,300 到 76,350 不等。 前人對詞語數(shù)目的調(diào)查大致是隨機翻開字典某頁，讓人自己判定能運用或認得幾個字，然後類推到整本字典的字數(shù)。,英文詞語,字數(shù) 字種 概念字種 32,361 4,727 3,431 Call of the Wild 74,038 7,427 5,316 Tom Sawyer 87,044 8,630 6,046 Beauty and the Beast 161,751 9,281 6,433 Dracula 137,060 8,877 6,218 The American 80,493 8,976 6,377 Paradise Lost,英文詞語,161,974 7,097 4,647 Emma 120,735 6,288 4,199 Sense and Sensibility 123,270 6,288 4,146 Pride and Prejudice 84,128 5,741 3,934 Persuasion 729,792 13,765 8,641 Austens Books,粵語詞語,求其 ： 隨便 乜嘢 ： 什麼 老細 ： 老闆 細蚊仔 ： 小孩子 錫佢一啖 ： 親她一下 打斧頭： 揩油 心機：耐心，心思 好心機：有耐心,捉伊人,詩經(jīng) 蒹葭 蒹葭蒼蒼，白露為霜。所謂伊人，在水一方。 溯洄從之，道阻且長；溯游從之，宛在水中央。 蒹葭萋萋，白露未曦。所謂伊人，在水之湄。 溯洄從之，道阻且躋；溯游從之，宛在水中坻。 蒹葭采采，白露未已。所謂伊人，在水之涘。 溯洄從之，道阻且右；溯游從之，宛在水中沚。,方言詞語計數(shù),粵語詞語約 7,500 條 麥耘 譚步云 1997 實用廣州話分類詞典。 粵語詞語 8,000 餘條 曾子凡