CBOW詞向量模型

1、CBOW模型簡(jiǎn)介及若干源碼細(xì)節(jié)目錄 神經(jīng)網(wǎng)絡(luò)語言模型 CBOW模型簡(jiǎn)介 若干源碼細(xì)節(jié)神經(jīng)網(wǎng)絡(luò)語言模型 神經(jīng)網(wǎng)絡(luò)語言模型即是用神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練詞向量，使生成的詞向量能夠捕獲語義信息，如語義相近的詞它們的詞向量也相似。 一種比較常見的模型，其輸入是某個(gè)詞的上下文，輸出為這個(gè)詞的概率，通過使這個(gè)概率最大進(jìn)行參數(shù)的更新，其中參數(shù)包括詞向量。如Bengio提出的模型。Bengio提到的未來工作 他提出可以將條件概率用樹結(jié)構(gòu)進(jìn)行表示，其中樹的每個(gè)節(jié)點(diǎn)表示在當(dāng)前上下文下對(duì)詞進(jìn)行一次分類的概率，葉子節(jié)點(diǎn)表示詞在上下文下的條件概率。CBOW模型輸入層輸入層：包括當(dāng)前詞t前面的c個(gè)詞以及當(dāng)前詞后的c個(gè)詞映射層映射

2、層：將輸入層的若干詞向量相加輸出層輸出層：輸出層是一個(gè)樹結(jié)構(gòu)，以語料庫(kù)中出現(xiàn)的詞作葉子節(jié)點(diǎn)輸出層赫夫曼編碼赫夫曼編碼：左邊記為1，右邊記為0分類分類：分到左邊為負(fù)類，右邊為正類被分為正類的概率用下式表示 對(duì)于“足球”這個(gè)葉子節(jié)點(diǎn)來說，經(jīng)歷了4次二分類赫夫曼編碼為1001 對(duì)于詞典中的任意詞w，赫夫曼樹中必定存在一條從根節(jié)點(diǎn)到其對(duì)應(yīng)的葉子節(jié)點(diǎn)的一條路徑，每個(gè)節(jié)點(diǎn)都有兩個(gè)分支，可以看成是一個(gè)二分類問題，將每一次分類所產(chǎn)生的概率相乘，得到了最終的詞w在上下文中的概率。 因此，條件概率p(w|Context(w)的一般公式為 其中 即 得到的對(duì)數(shù)似然函數(shù)如下 用隨機(jī)梯度下降法可以得到CBOW模型更新參數(shù)的偽代碼若干源碼細(xì)節(jié)詞典的存儲(chǔ) 由于需要根據(jù)詞的內(nèi)容確定其對(duì)應(yīng)的赫夫曼編碼和獲得該詞的詞頻，因此會(huì)有在詞典中查找某個(gè)詞的操作。 為了節(jié)省查找時(shí)間，將詞典用哈希表進(jìn)行存儲(chǔ)。低頻詞和高頻詞 對(duì)于低頻詞就是將詞頻小于某個(gè)值的詞去掉，不參加訓(xùn)練。 對(duì)于高頻詞，以一定的概率確定其是否參與某一次訓(xùn)練。概率的確定如下 其中自適應(yīng)學(xué)習(xí)率 學(xué)習(xí)率的計(jì)算公式如下 其中word_count_actual表示當(dāng)前已訓(xùn)練的詞數(shù)，tra