基于聚類的增量圖書推薦系統(tǒng)的研究與實(shí)現(xiàn).doc

浙江大學(xué)研究生學(xué)位論文獨(dú)創(chuàng)性聲明簽字日期：月學(xué)位論文版權(quán)使用授權(quán)書 浙江大學(xué)碩士學(xué)位論文有相當(dāng)?shù)臏?zhǔn)確度和可解釋性。 浙江大學(xué)碩士學(xué)位論文 第孿喙匱芯孔凼觥諛偷男恕增量式學(xué)習(xí)雋渴窖霸諦酥械撓謾璴第祿誥劾嗟腦雋渴酵萍鏊惴沒(méi)硎盡惴芴褰峁埂劾嗖問(wèn)笆萁峁埂 浙江大學(xué)碩士學(xué)位論文 圖圖圖圖圖算法的命中率比較圖缸對(duì)命中率的影響圖 大學(xué)數(shù)字圖書館國(guó)際合作計(jì)劃稱是浙江大學(xué)聯(lián)合國(guó)內(nèi)外的高等院校、科研機(jī)構(gòu)共同承擔(dān)的教育部“學(xué)科研【。 提出的推薦算法應(yīng)用在上面。最后，設(shè)計(jì)并完成了實(shí)驗(yàn)及用戶測(cè)試，展現(xiàn)了算法 浙江大學(xué)碩士學(xué)位論文目，這使得算法更加高效。有相當(dāng)?shù)臏?zhǔn)確度和可解釋性。 浙江大學(xué)碩士學(xué)位論文關(guān)于“十五”期間加強(qiáng)“ 浙江大學(xué)碩士學(xué)位論文平臺(tái)。這些平臺(tái)立足其特色資源，面向不同興趣和需求的用戶。雖然與其他數(shù)字信息技術(shù)的快速發(fā)展，用戶群體的行為也產(chǎn)生了巨大變化，傳統(tǒng)的被動(dòng)服務(wù)模式不再適應(yīng)潮流，海量數(shù)字資源、用戶資源的挖掘有待深化，通過(guò)主動(dòng)將合適的圖書推送給用戶，個(gè)性化推薦技術(shù)將給為用戶帶來(lái)更好的體驗(yàn)，發(fā)現(xiàn)用戶的愛(ài)好，甚至發(fā)掘并發(fā)展用戶新的興趣。除此以外面對(duì)海量的數(shù)字資源，高效可擴(kuò)展的推薦方法無(wú)論是對(duì)數(shù)字圖書館本身而言，還是對(duì)用戶體驗(yàn)都是很有益處的。但是，效率和可擴(kuò)展性也提出了更高的要求。隨著信息技術(shù)的迅猛發(fā)展和普及，信息量也前所未有地快速增長(zhǎng)著。從過(guò)去 浙江大學(xué)碩士學(xué)位論文薦系統(tǒng)有其重要的理論研究意義和實(shí)際應(yīng)用價(jià)值。自從年代關(guān)于協(xié)同過(guò)濾的第一批文章出現(xiàn)起，推薦系統(tǒng)統(tǒng)為提供了的商品銷售額。根據(jù)統(tǒng)計(jì)，具有推薦系統(tǒng)根據(jù)使用算法的不同，個(gè)性化推薦系統(tǒng)基本可以分為：協(xié)同過(guò)濾 浙江大學(xué)碩士學(xué)位論文協(xié)同過(guò)濾兩種。常見(jiàn)的協(xié)同過(guò)濾推薦算法分類如圖所示：網(wǎng)絡(luò) 浙江大學(xué)碩士學(xué)位論文在基于內(nèi)存的協(xié)同過(guò)濾中，相似度如何進(jìn)行計(jì)算是很重要的一步。余弦相似是目前最常用的相似度計(jì)算方法。蘼 浙江大學(xué)碩士學(xué)位論文、主成分分析 浙江大學(xué)碩士學(xué)位論文集的技術(shù)，具體來(lái)說(shuō)，它主要是將協(xié)方差矩陣進(jìn)行特征分解，然后得出特征向量和特征值，分別對(duì)應(yīng)于數(shù)據(jù)的主成分及其權(quán)值，根據(jù)需要保留對(duì)方差貢獻(xiàn)較大的協(xié)同過(guò)濾推薦算法之所以能得到廣泛而成功的應(yīng)用，主要是受益于以下幾個(gè) 浙江大學(xué)碩士學(xué)位論文剮問(wèn)題。提高推薦系統(tǒng)的效率，設(shè)計(jì)了一種對(duì)基于項(xiàng)目的協(xié)同過(guò)濾算法進(jìn)行增量更新的策生一系列的假設(shè)甴使得僅取決于和當(dāng)前訓(xùn)練樣本，則該學(xué)習(xí)算 浙江大學(xué)碩士學(xué)位論文增量式學(xué)習(xí)有以下幾個(gè)主要特點(diǎn)：學(xué)習(xí)算法更加有適應(yīng)性、擴(kuò)展性和魯棒性。增量學(xué)習(xí)已經(jīng)成功的被應(yīng)用于解決許多實(shí)際問(wèn)題。一般說(shuō)來(lái)，增量式學(xué)習(xí)特別適合于解決以下三類應(yīng)用： 浙江大學(xué)碩士學(xué)位論文 浙江大學(xué)碩士學(xué)位論文了推薦準(zhǔn)確率，也仍然保持了推薦系統(tǒng)的擴(kuò)展性。套圖增量學(xué)習(xí)的學(xué)習(xí)曲線在本章中，首先概述了大學(xué)數(shù)字圖書館國(guó)際合作計(jì)劃其所要解決的問(wèn)題和現(xiàn)實(shí)意義，然后介紹了推薦系統(tǒng)的分類，重點(diǎn)介紹了推薦系 浙江大學(xué)碩士學(xué)位論文 浙江大學(xué)碩士學(xué)位論文在傳統(tǒng)的協(xié)同過(guò)濾算法中，通常的數(shù)據(jù)有兩種形式。一種是如、是某個(gè)范圍里的數(shù)，比如在分之間，分值大小表示用戶的喜好程度，一般說(shuō)來(lái)高分表示很感興趣或者喜歡，低分表示不感興趣或者厭惡。與此同時(shí)，這種評(píng)分信息不僅可以代表用戶對(duì)項(xiàng)目整體上的感覺(jué)，也可以是對(duì)于項(xiàng)目的某一個(gè)特性的感覺(jué)，比如對(duì)電影，用戶可以分別針對(duì)導(dǎo)演、演員、特效、劇情等多方面給電影作品打分。這種評(píng)分信息需要很多用戶來(lái)提供，且用戶重復(fù)訪問(wèn)一個(gè)項(xiàng)目的情況比較少見(jiàn)，同時(shí)用戶也很可能查看了某個(gè)項(xiàng)目卻不愿意主動(dòng)提供任何評(píng)分信息，此時(shí)就較難判斷用戶對(duì)這個(gè)項(xiàng)目的評(píng)價(jià)，通常這樣的訪問(wèn)信息也容易被忽略。此外，評(píng)分信息在很大程度上會(huì)受到用戶個(gè)人評(píng)分習(xí)慣的影響，有的用戶傾向于給高分，而有些用戶傾向于給接近于中值的分?jǐn)?shù)，相同的分值對(duì)不同用戶的意義往往不盡相同。 浙江大學(xué)碩士學(xué)位論文公式戶的預(yù)測(cè)評(píng)分。雖然關(guān)于評(píng)分預(yù)測(cè)是否真的是推薦任務(wù)仍存在一些討論，然而推 浙江大學(xué)碩士學(xué)位論文結(jié)果是項(xiàng)目的一個(gè)集合，而不是列表，所以在結(jié)果中項(xiàng)目的次序是沒(méi)有影響的。 浙江大學(xué)碩士學(xué)位論文所評(píng)分的次數(shù)。其中珥以及蠆分別代表用戶陀沒(méi)謀硎鞠蛄?，I公式 浙江大學(xué)碩士學(xué)位論文贏，公式面一一 零維所指向的維度數(shù)組鏈接到到用戶所屬的簇上。該聚類算法在時(shí)間和空間上都是高效的，因?yàn)椴幌駛鹘y(tǒng)的基于內(nèi)存的協(xié)同過(guò)濾算法，它不需要查找整個(gè)數(shù)據(jù)集，也不需要在每次推薦時(shí)計(jì)算每一個(gè)用戶對(duì)的相似度。該算法增量地產(chǎn)生簇，因此不需要在內(nèi)存中存儲(chǔ)整個(gè)數(shù)據(jù)集，也更適用于實(shí)時(shí)環(huán)境。不僅如此，它只需要計(jì)算用戶和簇之間的相似度，這比起計(jì)算每一個(gè)用戶對(duì)的相似度是更高效的，因?yàn)榇氐臄?shù)目是小于用戶數(shù)目的。最后，由于該算法增量地學(xué)習(xí)用戶偏好，且簇的數(shù)目是由算法自動(dòng)決定而不是固定的，該算法也是可擴(kuò)展的。 掛！：臼：為了能夠產(chǎn)生推薦，我們首先用一些數(shù)據(jù)來(lái)訓(xùn)練模型，獲得一些初始的簇。這個(gè)過(guò)程通常是離線執(zhí)行的。在我們訓(xùn)練了模型并得到一些簇有了聚類結(jié)果后，使用模型來(lái)為用戶產(chǎn)生推薦結(jié)果。在產(chǎn)生推薦結(jié)果的過(guò)程中，模型被不斷地增量更新來(lái)保持與數(shù)據(jù)相符，也就意味著不需要再一次離線更新模型了，這是高效且適用于實(shí)時(shí)環(huán)境的。項(xiàng)目基于某種標(biāo)準(zhǔn)進(jìn)行排序后，向這個(gè)簇中的用戶推薦排序高的項(xiàng)目作為推薦結(jié)雖然排序可以用很多方式進(jìn)行，在本算法中根據(jù)該簇中心的值來(lái)排序該簇鏈 第翪流式處理架構(gòu)設(shè)計(jì)將提高用戶體驗(yàn)，增加用戶粘性。 第翪流式處理架構(gòu)設(shè)計(jì)夠一翌習(xí)酒羅匐前儲(chǔ)。庠喜，名數(shù)；圖這是一個(gè)容錯(cuò)衫溝姆植際絞凳奔撲閬低場(chǎng)笪頤鞘褂肧將用戶行為 第翪流式處理架構(gòu)設(shè)計(jì)信息并且對(duì)推薦結(jié)構(gòu)進(jìn)行反饋的過(guò)程。首先，用戶通過(guò)瀏覽器登陸系統(tǒng)，系統(tǒng)將在魘醬砑芄怪校頤鞘褂肒進(jìn)行日志收集。在站點(diǎn)對(duì)各自的網(wǎng)站情況進(jìn)行報(bào)表統(tǒng)計(jì)時(shí)，活動(dòng)流數(shù)據(jù)是最經(jīng)常要使用到的周期性地統(tǒng)計(jì)及分析。運(yùn)營(yíng)數(shù)據(jù)是指服務(wù)器的性能數(shù)據(jù)包括服務(wù)日志、請(qǐng)求時(shí)間 浙江大學(xué)碩士學(xué)位論文第翪流式處理架構(gòu)設(shè)計(jì)圖 浙江大學(xué)碩士學(xué)位論文息巒。磁盤上收到相對(duì)應(yīng)的消息，會(huì)在笮锏姐兄凳貝唇碌膕來(lái)存儲(chǔ)數(shù)據(jù)。 浙江大學(xué)碩士學(xué)位論文第翪流式處理架構(gòu)設(shè)計(jì)圖存儲(chǔ)策略簡(jiǎn)單且可靠。丫恍磯喙例如俁取嘔應(yīng)用到其業(yè) 第翪流式處理架構(gòu)設(shè)計(jì)浙江大學(xué)碩士學(xué)位論文容錯(cuò)性，工作進(jìn)程及節(jié)點(diǎn)故障都可以被監(jiān)控和管理。全局只有一個(gè)，主要進(jìn)行代碼發(fā)送，工作分配以及狀態(tài)監(jiān)控。會(huì)對(duì)被分配的工作進(jìn)行監(jiān)視，并根據(jù)需求對(duì)工作進(jìn)程進(jìn)行調(diào)整。所有的消息處理邏輯，它的功能主要有訂閱駼齙腡，然后處 浙江大學(xué)碩士學(xué)位論文第翪流式處理架構(gòu)設(shè)計(jì)其中的來(lái)執(zhí)行任務(wù)。每個(gè)執(zhí)行中一個(gè)子集，多個(gè)節(jié)點(diǎn)上 浙江大學(xué)碩士學(xué)位論文第翪流式處理架構(gòu)設(shè)計(jì)在魘醬砑芄怪?，S主要用來(lái)完成用戶行為數(shù)據(jù)收集之后的處理工作，并在數(shù)據(jù)到達(dá)一定的閾值之后啟動(dòng)中推薦數(shù)據(jù)的計(jì)算模塊對(duì)推薦數(shù)據(jù)進(jìn)行更新。推薦數(shù)據(jù)的計(jì)算模塊主要使用基于聚類的增量式推薦算法對(duì)用戶進(jìn)行推薦信息的計(jì)算。當(dāng)收到來(lái)自耐V螅媚？槭紫紉5紺數(shù)據(jù)庫(kù)中將需要的數(shù)據(jù)獲取出來(lái)，然后按照一定的方法進(jìn)行指定用戶推薦信息的果進(jìn)行接收，并提供給用戶。 第翪流式處理架構(gòu)設(shè)計(jì)浙江大學(xué)碩士學(xué)位論文圖魑狢流式處理架構(gòu)中數(shù)據(jù)持久化的數(shù)據(jù)庫(kù)，主要記錄了部分用戶行為數(shù)據(jù)、針對(duì)不同用戶的推薦信息以及用戶聚類之后得到的一些信息。獲取。 浙江大學(xué)碩士學(xué)位論文第翪流式處理架構(gòu)設(shè)計(jì)了第三章提出的基于聚類的增量式算法將如何運(yùn)行在這個(gè)流式處理架構(gòu)上。 浙江大學(xué)碩士學(xué)位論文在本章中，針對(duì)提出的基于聚類的增量式推薦算法設(shè)計(jì)實(shí)驗(yàn)，實(shí)驗(yàn)從推薦準(zhǔn)紹了集成到個(gè)性化服務(wù)平臺(tái)后推薦系統(tǒng)的用戶界面。所示的預(yù)處理。對(duì)每一條評(píng)分，我們用煥幢硎綧數(shù)據(jù)集的原始評(píng)分，。否則。 浙江大學(xué)碩士學(xué)位論文 濾算法的預(yù)測(cè)時(shí)間。比較算法的命中率和加速比。島 浙江大學(xué)碩士學(xué)位論文比起基于用戶的協(xié)同過(guò)濾算法，基于聚類的增量式方法不需要在每次推薦時(shí)都查看整個(gè)數(shù)據(jù)集和計(jì)算每個(gè)用戶對(duì)的相似度，而只需要計(jì)算用戶和少量簇之間的相似度，并增量產(chǎn)生推薦。因此，基于聚類的增量式方法其效率在理論上就比基于用戶的協(xié)同過(guò)濾要高。如表所示，實(shí)驗(yàn)結(jié)果證明了我們提出的算法要比基于用戶的協(xié)同過(guò)濾高效。隨著進(jìn)行推薦的用戶數(shù)目的增長(zhǎng)，基于聚類算法的訓(xùn)練時(shí)間是秒沒(méi)有變化，因?yàn)橛?xùn)練數(shù)據(jù)并沒(méi)有變化，只是預(yù)測(cè)數(shù)據(jù)變化了。隨著用戶數(shù)目增長(zhǎng)而增長(zhǎng)的是兩個(gè)算法做出推薦的時(shí)間，即預(yù)測(cè)時(shí)間，而加速比則是，基本保持不變。可以看到，基于聚類的增量式算法的預(yù)測(cè)時(shí)間總是比基于用戶的協(xié)同過(guò)濾要少很多，當(dāng)需要推薦的用戶數(shù)目大于協(xié)同過(guò)濾要少不少。隨著數(shù)據(jù)的規(guī)模進(jìn)一步增加，用戶數(shù)目和簇?cái)?shù)目間的差值也 浙江大學(xué)碩士學(xué)位論文；慕圖由于合并簇的條件變得更加寬松，簇的數(shù)目減少了，因此計(jì)算每個(gè)用戶和簇的相似度的 浙江大學(xué)碩士學(xué)位論文論。如何減小，第一個(gè)方面的影響也是有極限的。在實(shí)際使用中，我們需要調(diào)節(jié)。圖 浙江大學(xué)碩士學(xué)位論文注。如圖所示，評(píng)注完成以后，在用戶個(gè)人主頁(yè)的“我的評(píng)注”頁(yè)面上，用筮：。一一皇盔連于原始日志有很多噪音，我們暫時(shí)通過(guò)調(diào)查鏈接到簇上的書籍來(lái)做用戶測(cè)試。在 浙江大學(xué)碩士學(xué)位論文臨時(shí)需要，如果看過(guò)這本書的用戶不是很多，由于推薦的排序函數(shù)是基于書籍被多少個(gè)用戶瀏覽而定的，那么這本書就會(huì)在排序中排得比較靠后，而不會(huì)被推薦。因此很好理解的是，這個(gè)簇中被推薦給用戶的書籍仍然是關(guān)于政治和經(jīng)濟(jì)的居多。注意到，簇是關(guān)