語料庫課程(一)筆記方案

1、語料庫在外語教學研究中語料庫在外語教學研究中的應(yīng)用研修班的應(yīng)用研修班8.1-8.38.1上午上午一、基本概念 真正的研究要用語料庫來驗證結(jié)果 Ts Text (readable) Type 類符 Token 形符 （語料庫容量） Cs concordance 索引 collocation (詞匯層面的搭配) colligation (類聯(lián)接) context （一）梁茂成（一）梁茂成二、為什么要研究語料庫語言學 1）使語言學研究更具科學性 2）可驗證，不是玩具 3）大數(shù)據(jù)，更具說服力 4）enables you to look at a lot of language at once（二）李文

2、中（二）李文中l(wèi)Brown-Raw 語料庫范例 Span 跨距 （KWIC，一般左5右5） 檢索排序(sort)，以necessarily為例，觀 察得出結(jié)論：經(jīng)常與not連用。lWhy concordancing? 上下看強形式搭配，左右看綜合分析用法。l基本概念 type （獨特詞形），token，KW/SW/Node word span (一個span可視作一個mini text) collocates (觀察從collocationcolligationsemantic meaning) cotext, context, co-occurrence(同現(xiàn))，recurrence(復現(xiàn))

3、 8.1上午上午Words cluster as people doe.g. Search: no attempt 用法 Regex: bnobsbattempts?(ed/ing)b 觀察collocation and co-occurrence作業(yè)：hair: 單數(shù)與復數(shù)的隱喻 body metaphor（三）許家金（三）許家金lPowerConc設(shè)計原則設(shè)計原則 most powerful least effort doing more with less8.1上午上午基本操作基本操作lN-gram list：n詞詞表lHits：相當于 Token概念lItems：相當于Type概念lS

4、ize：包括單詞、符號、數(shù)字lFilter mode：過濾掉不需要的 : datamin10, 即過濾掉頻率10的詞 : IS+|CS+表示介詞+連詞 exclude 表排除 不勾選表示選中l(wèi)“Save distribution” 保存分布信息，即按文本單獨保存。（一）李文中（一）李文中1. 標注信息的添加與使用標注信息的添加與使用 e.g. 用PowerConc檢索 dataleanerseccl 問題：男生與女生在口語中使用情態(tài)動詞有無差異 Step1 打開Sub-corpus creator，導入seccel（只能導入 單個文件夾），顯示文本文件，勾選case sensitive（區(qū)分大

5、小寫），file contains “T1=”，獲得男生/女生文本，保存生成子庫。 Step2 用PowerConc對兩個子庫進行比較。8.1下午下午2 趨勢趨勢 small & specific contrastive studies3 建庫準備建庫準備 建庫原則，文本收集，文本分類，文本處理，標記（外部信息），標注（annotating notes,語言學標注） e.g. 1990Male（二）許家金（二）許家金 語料庫采集與整理語料庫采集與整理1. 基本要素基本要素 Text format: . txt Filename: short&alphanumeric(字母數(shù)字組

6、 合，不超過8詞，不用漢字，不出現(xiàn)空格） encoding ANSI：英語，漢語 三種格式： UTF8：平行語料庫 Unicode：其他語言 versions of corpora: RAW, POS, with metadata8.1下午下午2. 批量文件名修改批量文件名修改 insert SuperbBatchRenamer replace e.g.replace：空格1不填，空格2填 ST$，出現(xiàn)從1開始排序的新文件名。3. 文本清理，元信息標記、語言學標記文本清理，元信息標記、語言學標記（三）梁茂成（三）梁茂成 語料庫的標注l標注與干凈文本原則l標注的常見類型l詞性標注l手工標注8.1

7、下午下午標注與干凈文本原則標注與干凈文本原則l標注（annotation）： The process of applying additional information to corpus data.l標記（mark-up）與標注lSinclair和他的clean text policy （Sinclair認為語料庫語言學應(yīng)摒棄舊理論一切重來）l語料庫語言學界對標注的態(tài)度（大部分研究者認為應(yīng)該標注），世界最大的語料庫Bank of English可以進行詞類檢索。l標注的主題標注的主題 1. 人工標注 （Brown語料庫） 2. 機器標注（準確率97-98%）l標注的客體標注的客體 1. 語

8、音與音調(diào)的標注 2. 詞性標注（part-of-speech tagging） 3. 句法標注（parsing，斯坦福大學做的較好） 4. 語義標注（semantic tagging） 5. 錯誤標注（error tagging 學習者語言，人工） 6. 停頓標注等。標注的常見類型標注的常見類型l標注必須基于科學、合理的分類體系 1. 與研究目的相關(guān) 2. 分類的窮盡性 3. 各子類不應(yīng)該相互重疊 4. 關(guān)于“其他”類（應(yīng)該是最小類）標注的常見類型標注的常見類型l標注集/賦碼集（tagset）是標注中所使用的代碼集，是對分類體系的操作化。lTagset: A collection of tag

9、s (or coldes) in a tagging scheme.lCaution: A tagset usually adheres to a particular decriptive 詞性標注詞性標注l常見的詞性標注工具 (POS-tagger) ANSI符號，_, / 1）Brill Tagger, 最早的詞性標注，基于規(guī)則的 2）ClAWS，130多個代碼，準確，但付費， Lancaster大學開發(fā)。 3）TreeTagger, 30多個代碼，準確率高，免費， 能對多語言進行標注。 word_Pos1）自動標注）自動標注 TreeTagger word-Pos_Lemma(原形)

10、2) 手工標注手工標注: BFSU Qualitative Coder8.2上午上午（一）梁茂成一）梁茂成 手工標注手工標注 BFSU Qualitative Coder 1.1 1）根據(jù)codelist，修改制定需要的mycodelist 2）打開BFSU Qualitative Colder 3) 打開需標注的.txt文檔，導入mycodelist，進 行手工標注 4）BFSU中可做統(tǒng)計（點statistics，跳出網(wǎng)頁） 5）保存為.txt文檔后，用powerconc檢索分析，如：檢索 free hand語料庫的手工標注語料庫的手工標注（二）李文中（二）李文中 主題詞分析主題詞分析l 分

11、析文本時注意備份，把需分析的語料放入新建的文件夾中。l 練習：使用語料：04Academic/4Genres_RAW/Four_Genres/01_General_corpora/Data 8.2上午上午1. 創(chuàng)建創(chuàng)建2個對比文件夾，用個對比文件夾，用PowerGREP轉(zhuǎn)換轉(zhuǎn)換格式，并把格式，并把text放入這放入這2個文件夾個文件夾Step1:新建文件夾1：observeText 新建文件夾2：referenceCorpusStep2：安裝PowerGREP Step3: 設(shè)置PowerGREP（preferencegeneral,勾選1、2空格）Step4: 格式轉(zhuǎn)換（格式轉(zhuǎn)換（UTF-8

12、轉(zhuǎn)換成轉(zhuǎn)換成ANSI）：）： 1) 找到04Academic，單擊右鍵單擊右鍵，出現(xiàn)search with PowerGREP(若有子文件，選第search subfolders) 2) Action type collect data, 并勾選Dot matches newlines 3) search：輸入 (A.*?z) ，需在英語狀態(tài)下輸入。 collect：輸入 $1($指向括號，1代表第一個括號) 4) Target file creation 選擇 save one file for each searched file Target file location 選擇剛才新建文件

13、夾referencecorpus Target file text encoding 選擇 Windows936,即ANSI Back file naming style 選擇 no backups5) 點擊 collect6) 回到新建文件夾referencecorpus查看，已有ANSI文檔生成。Step5 主題詞表生成主題詞表生成1) 從referencecorpus中拷貝Text10到observeText文件夾中。 到此為止，人為做成兩個用于練習的對比語料庫。2）生成主題詞表2）生成主題詞表）生成主題詞表 打開PowerConc, 導入referencecorpus進行N-gram統(tǒng)

14、計，結(jié)果save到PowerConc根目錄下，命名為academicOnewordlist. 打開academicOnewordlist, 刪除前4行，保存。 再打開PowerConc，導入observetext，N-gram，count，出結(jié)果后，點擊keyness，出現(xiàn)load Ref.wordlist，導入academicOnewordlist, count自設(shè)主題詞臨界值，如前20詞，按照by value進行比較。理據(jù)理據(jù)l我們對真實世界的理解表達為知識我們對真實世界的理解表達為知識l知識表現(xiàn)為不同的語義場知識表現(xiàn)為不同的語義場l語義場表現(xiàn)為各種詞語場語義場表現(xiàn)為各種詞語場l各種詞語場

15、實現(xiàn)為各個詞群（單詞或短語）各種詞語場實現(xiàn)為各個詞群（單詞或短語）l特定話題觸發(fā)獨特詞群特定話題觸發(fā)獨特詞群l具有特定話題的文本包含獨特詞群，該詞群一具有特定話題的文本包含獨特詞群，該詞群一般不在其它話題中出現(xiàn)般不在其它話題中出現(xiàn)因此因此l某個特定話題的文本包含的獨特詞群具有異常某個特定話題的文本包含的獨特詞群具有異常高頻高頻l參照語料庫代表了某一類型語言運用的常態(tài)參照語料庫代表了某一類型語言運用的常態(tài)l對比兩個詞表，可以提取那些超常高頻的詞群對比兩個詞表，可以提取那些超常高頻的詞群比什么：條件控制比什么：條件控制l控制相似變量控制相似變量l突出差異焦點突出差異焦點描述描述l觀察文本觀察文本

16、具有明確主題的完整文本或一致主題的文本集具有明確主題的完整文本或一致主題的文本集l參照語料庫參照語料庫 具有足夠的代表性具有足夠的代表性 足夠大足夠大 同質(zhì)語料同質(zhì)語料 主題詞表觀察文本 參照語料庫（三）（三） 許家金許家金語料庫三大功能語料庫三大功能 1. concordance 索引 2. N-gram 詞表 3. 主題詞表8.2上午上午Aspects of LT methodologyl語言觀語言觀l語言學習觀語言學習觀l教學實施方案教學實施方案兩大教學法之一：聽說法兩大教學法之一：聽說法l語言觀：語言觀：結(jié)構(gòu)主義結(jié)構(gòu)主義 （音標、詞匯等構(gòu)成的）l語言學習觀：語言學習觀：行為主義行為主義

17、 （行為主義）l教學實施方案：教學實施方案：句型操練句型操練兩大教學法之二：交際法兩大教學法之二：交際法l語言觀：語言觀：功能主義功能主義l語言學習觀：語言學習觀：交際與互動交際與互動l教學實施方案：教學實施方案：任務(wù)教學、小組活動任務(wù)教學、小組活動What and howl教什么教什么l怎么教怎么教詞匯中心教學法詞匯中心教學法lThe Lexical Approachl許家金，2009，詞匯中心教學法的交際觀：理論溯源與反思，中國外語教育（4）：38-45.基本觀點基本觀點l詞匯中心教學法堅持以詞項（詞匯中心教學法堅持以詞項（lexis）單詞短）單詞短語結(jié)構(gòu)為基本單位的語言觀；重視頻率在大缸

18、語結(jié)構(gòu)為基本單位的語言觀；重視頻率在大缸設(shè)計及教學中的作用；詞匯中心教學法本質(zhì)上設(shè)計及教學中的作用；詞匯中心教學法本質(zhì)上采取的是交際法，它強調(diào)將詞項置于真實語言采取的是交際法，它強調(diào)將詞項置于真實語言素材中，并貫穿于真實任務(wù)中加以學習。同時素材中，并貫穿于真實任務(wù)中加以學習。同時提倡學生自主的發(fā)現(xiàn)式學習。提倡學生自主的發(fā)現(xiàn)式學習?；居^點基本觀點l然而，由于過分依賴頻率信息，語言觀和語言然而，由于過分依賴頻率信息，語言觀和語言教學完全基于詞項，將詞匯中心教學法嫁接于教學完全基于詞項，將詞匯中心教學法嫁接于任務(wù)型教學且缺乏創(chuàng)新，歸納式的自主。任務(wù)型教學且缺乏創(chuàng)新，歸納式的自主。實例演示實例演示l

19、新聞英語教學設(shè)計新聞英語教學設(shè)計l以新聞英語常用動詞教學設(shè)計為例以新聞英語常用動詞教學設(shè)計為例lpowerConc with China Daily Political new 2011 得出結(jié)論：得出結(jié)論： reporting verbs： said told added 檢索檢索make，2-gram詞表詞表 make +adj 教學實施要點教學實施要點l真實語言材料，真實語境l頻率優(yōu)先原則（材料的編排與選擇）l歸納式、發(fā)現(xiàn)式學習l常用詞語、常用結(jié)構(gòu)、常用義項（先學先教）答疑答疑l參照語料庫是觀察語料庫的5倍為宜。lTreetagger依據(jù)是傳統(tǒng)語法，不需保存，自動保存。l語義的褒貶，只能

20、手工標注l不要用于詩歌的分析，詩歌追求個性，語料庫強調(diào)頻率。l詞性合并：詞性合并： 將100多詞性合成為8種左右，通過n-gram詞性，排序分析。 具體做法具體做法： PowerConc Pos Categeries load list load“PowerConc/Sys/ClawsTagger Pos-reduction” Data Type選擇Poscategory Count(N-gram list) （一）梁茂成（一）梁茂成l正則表達式正則表達式 1）Treetagger對crobRaw進行標注 2）安裝EditPadPro對1)中的pos文件進行檢索練習，具體做法： * 打開1個文

21、本 * search show search panel * 右下角勾選regular expression (如區(qū)分大小寫，勾選case sensitive) * 練習：w 所有字母，除空格和標點 S+_DTsS+_NNS 檢索”定冠詞+名詞復數(shù)“，檢索可由”常量+變量“組成 3）用PowerGREP檢索剛剛標注過的文本 results選項: matches without context, per unique match, show totals grouped matches 檢索結(jié)果拷貝到EditPadPro進行編輯，刪除無用信息。 做法如下：8.2下午下午EditPadPro對檢索

22、結(jié)果行編輯對檢索結(jié)果行編輯l用search&replace刪除無用信息 D.*?rn+ 替換成 d+t.*?t D.*?Corpus match in.*? (d+)ss(Academic.*?) 替換成 $2t$1returnnew line制表符制表符tab例例1：檢索：檢索 “冠詞冠詞+（adv.）adj.+n”例例2： 檢索檢索所有動詞的完成時所有動詞的完成時Regex：S+_VHS?sS+sVBDHVN 檢索生成結(jié)果，可通過search&replace，用正則表達式清理數(shù)字等，拷貝到Excel制成表格。（二）許家金（二）許家金 類聯(lián)接類聯(lián)接lKey Points *

23、Colligation： From “c”to “g” * BFSU PowerConc * Case studiesColligation: From “cto “g”lBoth collocation and colligation tell about the co-occurrence or co-selection.* collocation L5 L4 L3 decision L1 make R1 decision R3 R4 R5* colligation L5 L4 L3 NN1 L1 VV0 R1 NN1 R3 R4 R5Colligation: From “cto “g”*

24、 英語進行體的對比研究* 情態(tài)序列研究 (語料：02_Learner_corpora)練習：檢索練習：檢索it is adj that句型句型lIt_S+sS+_VBS*sS+_JS+sthat_S+lPowerConc可以簡化正則表達式，方法如下： load corpus 勾選Lemmatize，表示包含所有動詞的原形 勾選 Pos categorise load list (檢索工具02BFSUPowerConc/sys/Claws7Tagset_POS_reduction.txt) (我的理解: 可以根據(jù)Claws7Tagset_POS_reduction.txt改寫成自己想要的redu

25、ction.txt) 這樣，就可以用reduced的正則表達式 e.g. S+_VM可用* VM代替（*代表一個單詞，與VM間有空格） its adj that句型可以表示為 itbe #adj that （三）李文中（三）李文中語料庫用于X教學？X=翻譯，聽力，閱讀，寫作，口語-data-driven learning or learning-driven data語料庫用于文學？- descriptive vs interpretativeTechnophobia or technomaniacobjectiveslTo identify patterns of unusually hig

26、h co-occurrence - co-occurrence: node+ collocateslDifferent co-occurences - culturally or mentally co-occurences: cow-milk, morning-tea - frequency of co-occurrence - range of co-occurenceQuestions to ponderlWhat research hypotheses or questions have I formulated?lWhat observations could I make in a

27、n attempt to test my hypotheses or answer my research questions?lDo I know what I am looking for?Only know part of what I am searchingl-intra-word focus: bw+s|zationbl- inter-word focus: (w+)s$1(重復前面的詞) 如 very very good 作業(yè)作業(yè)正則表達式檢索 1) 所有V：S+_VS+ 所有N：S+_NS+ 過去分詞：S+_VwN 2) 被動語態(tài): long passives short pa

28、ssives 哪些動詞趨向于long, 哪些趨向于short. 3) 虛擬條件句 （一）梁茂成（一）梁茂成 rec.9建庫論證結(jié)合學科，涉及學科本質(zhì)問題采樣標準轉(zhuǎn)寫或文本采集規(guī)模，各部分的比重文本清潔標注集確定標注語料庫軟件建設(shè)與開發(fā)軟件語料庫應(yīng)用外語教學外語研究8.3上午上午工具工具lPowerConc: 詞匯分析，主題詞分析，檢索，類聯(lián)結(jié)，通用工具lTreeTagger： 自動標注lBFSU Qualitative Coder 手工標注lEditpad Pro 練習正則表達式，建議替換記事本lPowerGREP 文本整理和清潔，批量替換。例1：“一個空格”替換“一個/多個空格/tap鍵”，

29、不能選dot matches new line，把s+， t+替換成s例2：碼詞混合顯示的實現(xiàn)：用PG的替換功能（二）（二） 許家金許家金l語料庫驅(qū)動語料庫驅(qū)動（corpus-driven） 從無到有Corpus driven, trust the text, trust the text onlyl基于語料庫基于語料庫（corpus-based） 對已有的認知加以驗證案例案例1l驗證Chinglish narrow down，from vague to concrete find research gapl選題 中國學習者英語口頭敘事中的話語中國學習者英語口頭敘事中的話語評價評價研究研究 用

30、語料庫的方法做二語習得研究Eight conceptual domainslJarvis & Pavlenko(2008)summarises 8 conceptual domains for cross-linguistic influence. i.e.l運動概念 Motionl物體表征 Object l情感模式 Emotionl人稱范疇 Personhoodl性別范疇 Genderl數(shù)的范疇 Numberl時體范疇 Timel空間模式 Space DatalPear Stories (China Pears Corpus) -800 subjects, corpus size c

31、a. 1m words/charactersl60 texts by 30 Applied Linguistics major graduates narratives -30 SP English, 30 SP Chinesel30 native English speakers spoken narragtives 采用的不是常規(guī)意義的語料庫，只是一種語料庫方法采用的不是常規(guī)意義的語料庫，只是一種語料庫方法Pear story film:l30個中國學生，30個英美學生l講述同一個圖片故事中介語綜合對比中介語綜合對比 BFSU手工標注軟件使用補充手工標注軟件使用補充手工標注中的自動標注手工

32、標注中的自動標注Autocode設(shè)置設(shè)置 codelist，autocode后檢查修正。后檢查修正。（三）（三） 李文中李文中l(wèi)Put it all together研究案例研究案例2：研究問題：研究問題：l專業(yè)英語學生口語和筆語中對各個詞類的使用專業(yè)英語學生口語和筆語中對各個詞類的使用是否存在差異？是否存在差異？l如果存在差異，其差異特征有哪些？如果存在差異，其差異特征有哪些？工作流程工作流程1. 準備文本準備文本 建立文件夾，拷貝文件，重命名文件2. 賦碼賦碼 打開treetagger， 賦碼3. 生成詞表生成詞表 PowerConc，賦碼表4. 統(tǒng)計檢驗統(tǒng)計檢驗 打開打開LL.xls（已

33、存（已存log-likelihood統(tǒng)計表格，能自動計算）統(tǒng)計表格，能自動計算） 對比語料庫（同質(zhì)平行比較（size可以一樣大）-各自特點，觀察與參照（5倍）比較-主題詞） Log-likelihood（對數(shù)似然值） 3.84 sig. P0.05，存在顯著性差異5. 解釋結(jié)果解釋結(jié)果6. 討論討論 具體操作具體操作1）準備語料：）準備語料： 把語料放入兩個文件夾 spokendata, writtendata2）賦碼：）賦碼： 用treetagger賦碼3）改文件名）改文件名 Powerconc無法打開.pos文件，所以要用PowerGREP批量改文件名。 選擇文件夾右鍵“search wi

34、th PowerGREP”search type“rename files” search”(S+.txt).pos” replacement “$1”rename 凡是正則表達式中有的符號，需要在之前加（escape），使得后 的符號不具備正則表達式的符號含義。 4）轉(zhuǎn)碼：）轉(zhuǎn)碼： 1）action type: collect 2）勾選dot matches newlines 3）search (A.*?z) 4）collect $1 5）encode file naming style: 9365）生成詞碼表進行）生成詞碼表進行“主題詞主題詞”對比對比（written & spok

35、en兩個詞碼表）PowerConc Data type: POScount保存 1）written語料庫詞碼生成保存，刪去前4行 2）spoken 語料庫生成詞碼，keyness，count, 保存兩個語料庫的對比詞碼表a。 3） 用Excel打開詞碼表a 4）把word, freq1, freq 2三欄拷貝到LL.xls進行計算，觀察log-likelihood和sig.結(jié)果 5）用PowerConc 檢索顯著性差異的詞碼，進行討論分析。 （四）（四） 梁茂成梁茂成 rec.11l詞與多詞單位詞與多詞單位l多詞單位提取方法多詞單位提取方法l案例分析：學習者書面語中的詞塊分析案例分析：學習者書

36、面語中的詞塊分析作業(yè)回顧作業(yè)回顧l被動語態(tài)1）EditPadPro S+_VBS?s(S+_RS+s)*S+_VSNs2) 拷貝到PowerGrep檢索lIf非真實條件句 bif_S+s(|S+_w+s)would_S+詞與詞塊詞與詞塊l詞在傳統(tǒng)語言學中的地位詞在傳統(tǒng)語言學中的地位l意義單位和短語學的興起意義單位和短語學的興起 案例分析案例分析案例分析案例分析案例分析案例分析案例分析：學習者書面語中的詞塊分析案例分析：學習者書面語中的詞塊分析l高分作文（30）的詞塊提取出來l低分作文（90）中用了多少高分作文中的詞塊l即用30篇作為尺子來衡量90篇lHits相當于形符lItem相當于類符lRe

37、sult拷貝到Excel，重新拷貝粘貼到excel新文檔，“選擇性粘貼轉(zhuǎn)置”，獲得豎列數(shù)據(jù)。PowerConc加載加載90篇篇Concordance:batch search 搜出索引行搜出索引行右下角右下角Stats.出現(xiàn)下面結(jié)果，出現(xiàn)下面結(jié)果，保存為保存為result.txt.Editpadpro打開打開result.txt，把不需要的部分刪，把不需要的部分刪除，保存?？截惖匠?，保存?？截惖紼xcel。 excel文檔拷貝粘貼到excel新文檔，“選擇性粘貼轉(zhuǎn)置”，獲得豎列數(shù)據(jù)。從從120篇作文中篇作文中(excel文檔文檔)按照分數(shù)高低取后按照分數(shù)高低取后90篇篇作文，拷貝到剛才的的作文

38、，拷貝到剛才的的excel文檔，確保一一對應(yīng)，文檔，確保一一對應(yīng)，然后用然后用SPSS做分數(shù)與詞串使用頻率的相關(guān)性分析。做分數(shù)與詞串使用頻率的相關(guān)性分析。分數(shù)與頻率的相關(guān)性分析分數(shù)與頻率的相關(guān)性分析 （一）（一） 許家金許家金1.光盤內(nèi)容提示光盤內(nèi)容提示2.圖書和文獻資料圖書和文獻資料3.可利用的網(wǎng)絡(luò)資源可利用的網(wǎng)絡(luò)資源4.老師聯(lián)系方式老師聯(lián)系方式5.iResearch咨詢交流平臺咨詢交流平臺8.3下午下午資源資源l語料庫：庫語料庫：庫 + 一套工具一套工具 1）Generalcorpora 一般在一般在100萬以上萬以上 2）Crown_CLOB與與Torch可以對比研究：可以對比研究： 時間相近，采集樣本方式一致，都包含時間相近，采集樣本方式一致，都包含15 個領(lǐng)域。個領(lǐng)域。 3） 視頻，視頻，subtitles可以下載，多語種可以下載