問答系統(tǒng)問題分類講義

問答系統(tǒng)問題分類問答系統(tǒng)總體框架問答系統(tǒng)問題分類問答系統(tǒng)總體框架問答系統(tǒng)的簡單流程問題分類查詢擴展文本檢索答案抽取答案排序和選擇問答系統(tǒng)問題分類目前問答的小組成員1.張老師總體指導負責2.文勖問題分類3.王麗娟查詢擴展4.趙世奇答案抽取5.湯云山答案排序和選擇陳儒負責調用googleapi,去掉導航信息，負責幾個模塊的連接和界面設計，調試等等問答系統(tǒng)問題分類具體例子1.系統(tǒng)輸入：用戶輸入問題“第一個進入太空的中國人是誰”2.問題分類：HUM_PERSON3.查詢擴展(王麗娟講解)4.文本檢索：(1)楊利偉是第一個進入太空的中國人，他于2003年10月15日乘神州五號進入太空，開始了21個小時的太空之行……(2)楊利偉是第一個進入太空的

中國人，第431位進入太空的地球人。.當飛船繞地球運行第八圈時……5.答案抽取(世奇講解)6.答案排序和選擇(根據編輯距離進行聚類)7.系統(tǒng)輸出：楊利偉問答系統(tǒng)問題分類問題分類我所用的兩種算法SVM算法(用的是.tw/~cjlin/libsvm/所提供的libsvm-2.6程序包)簡化貝葉斯算法問答系統(tǒng)問題分類利用布爾權值的SVM布爾權重的數學表示：具體操作：類似于文本分類，首先去掉停用詞，把同一類型的所有問題實例都作為一個文本問答系統(tǒng)問題分類Libsvm的輸入格式<label1><index1>:<value1><index2>:<value2>...……<label2><index1>:<value1><index2>:<value2>...…………<labelX><index1>:<value1><index2>:<value2>...問答系統(tǒng)問題分類輸入格式的一個例子HUM_PERSON誰/r發(fā)現/v鐳/nHUM_PERSON誰/r發(fā)現/v美洲/ns誰/r(323)發(fā)現/v(4523)鐳/n(23355)誰/r(323)發(fā)現/v(4523)美洲/ns(132)Libsvm要求的輸入格式為：1323:14523:123355:11323:14523:1132:1問答系統(tǒng)問題分類訓練和測試假設訓練文件為index_file,通過svmtrain.exe進行訓練得到訓練模型index_file.model假設測試文件為test_file,通過svmpredict.exe進行測試得到測試結果存放到result_file問答系統(tǒng)問題分類簡化貝葉斯分類假設詞與詞之間是相互無關的對一個問句Q，首先進行分次和詞性標注，去掉停用詞，得到如下形式：Q1Q2……Qn。qc為問題類型的變量我們的目標：問答系統(tǒng)問題分類簡化貝葉斯分類(續(xù))因為分母相同，只需處理我們假設有下式成立問答系統(tǒng)問題分類簡化貝葉斯分類(續(xù))如何計算權值？N=65類別總數目表示term和qci的共現頻率問答系統(tǒng)問題分類Tf-idf權值處理對P(qc,term)進行降低權值的處理，處理理由如下：1.如果一個詞在某個問題類型中出現的次數越多，那么它與該問題主體的關聯性越強；2.如果一個詞在集合中很多問題類型中都出現多次，那么它對分類的貢獻就小?；诖?，我們采用了tf-idf進行權值處理。問答系統(tǒng)問題分類Tf-idf公式Tf-idf公式參數含義：其中N和上面的一樣，N=65，M表示term在M種問題類型中出現。問答系統(tǒng)問題分類Tf-idf二次處理首先看看不太均勻的語料庫訓練語料中實例最多的幾個類別訓練庫中的實例數HUM_PERSON345OBJ_OTHER235DES_OTHER252LOC_OTHER209DES_REASON164問答系統(tǒng)問題分類Tf-idf二次處理(續(xù))

訓練語料中實例最多的幾個類別實例總數總的實例數目占的比例345+235+252+209+164=12053300>1/3問答系統(tǒng)問題分類Tf-idf二次處理(續(xù))針對我們語料庫分布不太均勻和漢語的特點，對某些特定的詞項再次降低了權值,DES_OTHER中的什么/r，LOC_OTHER中的什么/r，哪個/r，DES_REASON中的什么/r，OBJ_OTHER中的什么/r，TIME_OTHER中的什么/r，我們再次運用tf-idf。問答系統(tǒng)問題分類Tf-idf二次處理(續(xù))例如在考慮DES_OTHER類型中的“什么/r”counter(DES_OTHER,什么/r)=counter(DES_OTHER,什么/r)*logX為語料庫中DES_OTHER的問題實例數目，Y為“什么/r”在DES_OTHER出現的次數，即通過這樣的降低權值以后，性能有了一定的提高。問答系統(tǒng)問題分類確定問題類型找到使取最大值的問題類型qc*問答系統(tǒng)問題分類例子用戶輸入(系統(tǒng)輸入)：中國哪個地區(qū)的氣候最好

預處理后得到：中國/ns哪個/r地區(qū)/nz氣候/n最好/d假設只有兩個問題類型LOC_OTHER(0),DES_OTHER(1)問答系統(tǒng)問題分類進行分類具體為：比較和問答系統(tǒng)問題分類實驗結果及分析分類器訓練集數目測試集數目分類然而SVM的分類結果卻讓人非常遺憾，對很多的測試問題都分到訓練集中問題實例較多的那5個類。實驗結果讓人沮喪。以上的測試集是小百科全書的問題集的一部分，問題分布不太均勻。分類器訓練集數目測試集數目分類正確數準確率簡化貝葉斯329598071072.4%問答系統(tǒng)問題分類實驗結果分析產生分類結果不好的原因主要有以下這些：1.

訓練集實例分布極其不均勻2.由于文本分類和問題分類存在一些差異，所以單純的借用文本分類的思想還有一些缺陷，比如單純的利用布爾權值已經損失了很大一部分信息，這樣勢必會對分類有很大影響。問答系統(tǒng)問題分類實驗結果分析3.分詞和詞性標注的錯誤對分類有一些影響，例如對于“他的大作為什么會出名”這個問題，若分詞分成了“他的大作為什么會出名”或者“他的