人工智能數(shù)據(jù)標注實戰(zhàn)教程 課件 4.2文本分類數(shù)據(jù)標注

第四章自然語言處理任務標注任務二

文本分類數(shù)據(jù)標注內(nèi)容概括文本分類數(shù)據(jù)標注概念典型應用場景標注方式標注操作1.文本分類數(shù)據(jù)標注概念文本分類，也稱文檔分類，是自然語言處理任務中最基本的任務。文本分類簡單來講，即將給定文檔分類為既定n個類別中的一個或多個。1.文本分類數(shù)據(jù)標注概念文本分類任務的核心是要找到一個有效的映射函數(shù)，準確地實現(xiàn)文本域到分類的映射，這個映射函數(shù)實際上就是通常所說的分類器。文本分類最早實現(xiàn)是通過專家規(guī)則進行分類，利用知識工程建立專家系統(tǒng)，但覆蓋的范圍和準確率都有限。后來伴隨著統(tǒng)計學習方法的發(fā)展，特別是90年代后互聯(lián)網(wǎng)在線文本數(shù)量增長和機器學習學科的興起，逐漸形成了特征工程為特點的淺層分類模型的做法。1.文本分類數(shù)據(jù)標注概念自2014年，CNN方法開始應用在自然語言處理領域，此后近20年深度學習方式在該任務得到了廣泛采用。前饋神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡是用于文本分類任務的兩種深度學習方法，與淺層學習模型相比，它們可以提高性能。隨著深度學習的不斷發(fā)展，通過改進CNN，RNN和注意力，或模型融合和多任務方法等，文本分類性能不斷得到提高。2.典型應用場景目前，文本分類任務在多種常見應用場景中得到運用，包括情感分析、話題標記、新聞分類、問答系統(tǒng)、對話行為分類、自然語言推理、關系分類和事件預測等。場景典型例子情感分析文本：局長指著衛(wèi)生員說：“你認識我么？”問題：該說話人是否高興？方法：可以設置“高興”和“不高興”兩種標簽，構建模型加以判斷意圖識別文本：教師拿著粉筆，走向講臺。問題：教師想干什么？方法：整理教師的常見意圖，例如"講課"和"準備下課"，構建模型加以判斷問答匹配文本：強敵當前，毛主席發(fā)表《論持久戰(zhàn)》。問題：《論持久戰(zhàn)》作者是誰？方法：采用兩個階段，第一個階段識別文檔中的所有人名，第二個階段建模判斷。2.典型應用場景文心（ERNIE）是依托百度深度學習平臺飛槳打造的語義理解技術與平臺，集先進的預訓練模型、全面的NLP算法集、端到端開發(fā)套件和平臺化服務于一體。文心使用“高精度”文本分類算法可得到90%以上的準確率。3.數(shù)據(jù)標注方式（1）確定任務類型務類型會影響標記標簽的已選擇項數(shù)，所以在開始任務初，需要首先明確分類任務是單標簽任務還是多標簽任務。3.數(shù)據(jù)標注方式【例1】新聞文本分類單標簽標注任務北師大大贊山西生源“綜合素質(zhì)高”，今年大幅增加在晉招生計劃，擬招63人，“山西生源綜合素質(zhì)高，所以我們今年大幅增加了在山西的統(tǒng)招計劃，計劃招生63人，其中文科生為23人，理科生為40人?！薄?月9日，北京師范大學招生辦公室主任虞立紅解釋說，“可能你們覺得63人不多，但北師大今年的統(tǒng)招計劃總共才1600多名，將面向全國31個省市進行招生，所以山西的招生計劃確實已經(jīng)不少了！”。而去年，該校在我省的招生計劃為36人。'娛樂'，'體育'，'教育'，'時政'，'科技'，'房產(chǎn)'，'社會'，'股票'，'財經(jīng)'，'家居'，'游戲'，'時尚'，'彩票'，'星座'3.數(shù)據(jù)標注方式進行標注，并按指定格式輸入標注結果。例如，采用txt文檔，在原文本和標注標簽之間采用TAB制表符進行間隔。北師大大贊山西生源“綜合素質(zhì)高”，今年大幅增加在晉招生計劃，擬招63人，“山西生源綜合素質(zhì)高，所以我們今年大幅增加了在山西的統(tǒng)招計劃，計劃招生63人，其中文科生為23人，理科生為40人?！?。6月9日，北京師范大學招生辦公室主任虞立紅解釋說，“可能你們覺得63人不多，但北師大今年的統(tǒng)招計劃總共才1600多名，將面向全國31個省市進行招生，所以山西的招生計劃確實已經(jīng)不少了！”。而去年，該校在我省的招生計劃為36人。{TAB}教育4.實踐標注操作（1）準備數(shù)據(jù)demo.txt使用“utf-8withoutBOM”編碼錄入北師大大贊山西生源“綜合素質(zhì)高”，今年大幅增加在晉招生計劃，擬招63人，“山西生源綜合素質(zhì)高，所以我們今年大幅增加了在山西的統(tǒng)招計劃，計劃招生63人，其中文科生為23人，理科生為40人?！?。6月9日，北京師范大學招生辦公室主任虞立紅解釋說，“可能你們覺得63人不多，但北師大今年的統(tǒng)招計劃總共才1600多名，將面向全國31個省市進行招生，所以山西的招生計劃確實已經(jīng)不少了！”。而去年，該校在我省的招生計劃為36人。4.實踐標注操作（2）創(chuàng)建項目在彈出頁面中的“ProjectName”標簽頁中，錄入項目名稱為“文本分類Demo”。4.實踐標注操作選擇“DataImport”標簽頁，選擇“UploadFiles”，在彈出框中選擇準備好的數(shù)據(jù)文件demo.txt，然后進行提交導入。4.實踐標注操作在選擇導入文件后，在“UploadMoreFiles”按鈕旁出現(xiàn)“TreatCSV/TSCas”選框，選中“ListofTask”項。4.實踐標注操作切換到“LabelingSetup”標簽頁，指定項目模板類型為“TextClassification”。4.實踐標注操作在選擇項目類型后，進入標簽維護界面。在“Choices”列表中，通過跟在標簽項后的刪除按鈕刪除默認標簽選項。4.實踐標注操作在“Choices”列表中，通過跟在標簽項后的刪除按鈕刪除默認標簽選項。然后通過“Addchoices”進行新增標簽。4.實踐標注操作為了加快標簽維護速度，可以通過單擊“Code”按鈕切換到Code視圖，進行復制操作。標簽維護完成后，單擊“Save”按鈕完成項目保存。4.實踐標注操作（3）開始標注在樣本列表中單擊選則待標注樣本，開始標注。4.實踐標注操作在標注界面的可選標簽中，勾選”教育“標簽，如下圖所示：選擇完成后，單擊”Submit“進行保存提交。4.實踐標注操作（4）導出結果返回列表頁面，已經(jīng)標注的記錄第三列從開始的“0”修改為“1”，表示標簽的數(shù)量。4.實踐標注操作單擊“Expo