電子商務(wù)個(gè)性化推薦系統(tǒng)的研究現(xiàn)狀與展望

1、(2) 基于模型的協(xié)同過(guò)濾算法。該方法先用歷史數(shù)據(jù)得到一個(gè)模型，模型的建立可以使用各種機(jī)器學(xué)習(xí)的方法如貝葉斯網(wǎng)絡(luò)技術(shù)、聚類技術(shù)、人工神經(jīng)網(wǎng)絡(luò)、概率模型等，再用此 .網(wǎng)絡(luò)收集而已，如果有版權(quán)問(wèn)題，請(qǐng)您盡快與我聯(lián)系，我將在第一時(shí)間內(nèi)給您做出答復(fù)電子商務(wù)協(xié)同過(guò)濾推薦系統(tǒng)的研究與進(jìn)展張富國(guó)江西財(cái)經(jīng)大學(xué)信息管理學(xué)院 江西南昌 330013redbird_mail摘要：個(gè)性化推薦系統(tǒng)的出現(xiàn)提供了一個(gè)解決電子商務(wù)網(wǎng)站的商品信息過(guò)載問(wèn)題的強(qiáng)大工具，而協(xié)同過(guò)濾技術(shù)被認(rèn)為是最有前途的個(gè)性化推薦技術(shù)之一。文章從協(xié)同過(guò)濾技術(shù)的基本原理出發(fā)，系統(tǒng)評(píng)述了協(xié)同過(guò)濾各類常用算法的特點(diǎn)，分析了其中存在的數(shù)據(jù)稀疏性、冷啟動(dòng)、“托

2、”攻擊和靈活性等問(wèn)題，最后指出了協(xié)同過(guò)濾技術(shù)將來(lái)的研究方向。關(guān)鍵詞：協(xié)同過(guò)濾，推薦系統(tǒng)，個(gè)性化，信任 1 引言網(wǎng)絡(luò)所帶來(lái)的便捷的信息傳遞和信息服務(wù)推動(dòng)著電子商務(wù)的蓬勃發(fā)展，人們?cè)谥饾u享受由此帶來(lái)的巨大驚喜的同時(shí)，也面臨著從傳統(tǒng)購(gòu)物方式向網(wǎng)絡(luò)虛擬購(gòu)物方式轉(zhuǎn)變的挑戰(zhàn)：面對(duì)Web商家如此眾多的商品，用戶發(fā)覺自己很難通過(guò)一個(gè)小小的計(jì)算機(jī)屏幕方便地發(fā)現(xiàn)自己感興趣的商品。個(gè)性化推薦系統(tǒng)的出現(xiàn)為用戶提供了一個(gè)解決Web商品信息過(guò)載問(wèn)題的強(qiáng)大工具，承擔(dān)了在識(shí)別客戶消費(fèi)偏好的基礎(chǔ)上，模擬商店銷售人員向客戶提供商品信息和建議，幫助客戶完成購(gòu)買過(guò)程，從而使客戶避免信息“超載”所帶來(lái)的麻煩，順利完成購(gòu)買過(guò)程的功能1。

3、在實(shí)際應(yīng)用中，許多電子商務(wù)網(wǎng)站，如Amazon、eBay和CDNow等網(wǎng)站已經(jīng)充分領(lǐng)略到了推薦系統(tǒng)帶來(lái)的好處?；趦?nèi)容的過(guò)濾技術(shù)根據(jù)信息的內(nèi)容和用戶偏好之間的相關(guān)性向用戶推薦信息，它的缺點(diǎn)是不能處理難以進(jìn)行機(jī)器自動(dòng)內(nèi)容分析的信息，比如，藝術(shù)品、電影等，也不能基于一些復(fù)雜的、難以表達(dá)的概念比如質(zhì)量、品位等進(jìn)行過(guò)濾推薦。另外，由于它是一種基于經(jīng)驗(yàn)的方法，只能發(fā)現(xiàn)和用戶已有興趣相似的信息，而不能為用戶發(fā)現(xiàn)新的感興趣的資源2。關(guān)于協(xié)同過(guò)濾技術(shù)的第一個(gè)研究報(bào)告在1994年出版3，從那以后，對(duì)協(xié)同過(guò)濾的研究和商業(yè)運(yùn)用開始出現(xiàn)。鑒于協(xié)同過(guò)濾推薦技術(shù)克服了基于內(nèi)容的過(guò)濾技術(shù)的以上所列缺點(diǎn)，使得對(duì)個(gè)性化推薦系統(tǒng)

4、的研究有了長(zhǎng)足的進(jìn)步，是到目前為止相對(duì)較為成功的一種推薦方法4，已被用于許多站點(diǎn)。被認(rèn)為是最有前途的推薦技術(shù)之一。但協(xié)同過(guò)濾推薦技術(shù)還有很多問(wèn)題需要克服，目前也出現(xiàn)了一些新的發(fā)展趨勢(shì)，本文主要分析和評(píng)述了個(gè)性化推薦技術(shù)取得的研究成果以及存在的問(wèn)題，并對(duì)基于協(xié)同過(guò)濾技術(shù)的推薦系統(tǒng)發(fā)展方向進(jìn)行了展望。2 基本原理分析協(xié)同過(guò)濾技術(shù)的出發(fā)點(diǎn)是任何人的興趣都不是孤立的，應(yīng)處于某個(gè)群體所關(guān)心的興趣當(dāng)中，如果某些用戶對(duì)一些項(xiàng)目的評(píng)分比較相似，則他們對(duì)其他項(xiàng)目的評(píng)分也比較相似。該推薦方法實(shí)現(xiàn)的基本思想是采用某種技術(shù)找到目標(biāo)用戶的若干最近鄰居(與目標(biāo)用戶有相似興趣的用戶)，然后根據(jù)最近鄰居對(duì)目標(biāo)項(xiàng)目的評(píng)分產(chǎn)生推

5、薦，把預(yù)測(cè)評(píng)分值最高的多項(xiàng)商品作為該用戶的推薦列表。協(xié)同過(guò)濾推薦系統(tǒng)可以通過(guò)顯式評(píng)分或隱式評(píng)分兩種方式取得用戶對(duì)項(xiàng)目的興趣程度。顯式評(píng)分是指推薦系統(tǒng)需要用戶直接對(duì)某些項(xiàng)目進(jìn)行評(píng)分；而隱式評(píng)分則是通過(guò)用戶的使用日志來(lái)獲得，比如說(shuō)，如果一個(gè)用戶購(gòu)買了某本書，則說(shuō)明該用戶喜歡該書5。不同的協(xié)同過(guò)濾推薦算法的推薦模型均可歸屬于如圖一所示模型，模型分成用戶層和項(xiàng)目層，兩者用用戶對(duì)項(xiàng)目的評(píng)分聯(lián)系起來(lái)。各個(gè)算法通過(guò)不同程度地利用該兩層模型來(lái)預(yù)測(cè)用戶對(duì)項(xiàng)目的評(píng)分。如基于鄰居用戶的協(xié)同過(guò)濾算法考慮了用戶層中用戶間的相似性，但不考慮項(xiàng)目層的項(xiàng)目相似性，而基于項(xiàng)目的協(xié)同過(guò)濾算法則相反。U4U1U3U2U5用戶層 項(xiàng)

6、目層Document NetworkR1 R 2 R3 R 4I1圖1 協(xié)同過(guò)濾二層推薦模型3 常用協(xié)同過(guò)濾算法經(jīng)過(guò)多年的研究積累，出現(xiàn)了多種協(xié)同過(guò)濾算法，一般把協(xié)同過(guò)濾算法分成兩類：(1) 基于內(nèi)存的協(xié)同過(guò)濾算法。該方法先用統(tǒng)計(jì)的方法得到具有相似興趣愛好的鄰居用戶，再基于鄰居進(jìn)行計(jì)算，所以該方法也稱基于用戶的協(xié)同過(guò)濾或基于鄰居的協(xié)同過(guò)濾。Sarwar等人從協(xié)同過(guò)濾的基本思想的兩個(gè)方面入手，把基于內(nèi)存的協(xié)同過(guò)濾方法分為基于鄰居用戶（User-based）的協(xié)同過(guò)濾算法和基于項(xiàng)目（Item-based）的協(xié)同過(guò)濾算法6。(2) 基于模型的協(xié)同過(guò)濾算法。該方法先用歷史數(shù)據(jù)得到一個(gè)模型，模型的建立可

7、以使用各種機(jī)器學(xué)習(xí)的方法如貝葉斯網(wǎng)絡(luò)技術(shù)、聚類技術(shù)、人工神經(jīng)網(wǎng)絡(luò)、概率模型等，再用此模型進(jìn)行預(yù)測(cè)。就兩類協(xié)同過(guò)濾算法比較而言，基于模型的協(xié)同過(guò)濾由于建模過(guò)程可以離線完成，克服了基于內(nèi)存的協(xié)同過(guò)濾方法基于整個(gè)用戶數(shù)據(jù)庫(kù)進(jìn)行在線實(shí)時(shí)運(yùn)算帶來(lái)的性能問(wèn)題，推薦系統(tǒng)的伸縮性較好，適合于大型電子商務(wù)推薦系統(tǒng)，但建模過(guò)程比較復(fù)雜，本身較耗時(shí)，所以只能周期性對(duì)模型進(jìn)行更新，導(dǎo)致模型相對(duì)于原始用戶數(shù)據(jù)而言具有一定的滯后效應(yīng)?；谟脩舻膮f(xié)同過(guò)濾算法由于在線計(jì)算，隨用戶增加而線性增加，所以伸縮性較基于項(xiàng)目的協(xié)同過(guò)濾算法差。4研究熱點(diǎn)問(wèn)題分析4.1 稀疏性問(wèn)題在許多推薦系統(tǒng)中，每個(gè)用戶涉及的信息量相當(dāng)有限，使得評(píng)分矩

8、陣非常稀疏，如用于研究的Eachmovie和Movielens這兩個(gè)典型數(shù)據(jù)集的評(píng)分矩陣稀疏性分別為97.6%和95.8%，在一些大的系統(tǒng)如www.A網(wǎng)站中，用戶最多不過(guò)就評(píng)估了上百萬(wàn)本書的1%-2%，造成評(píng)分矩陣數(shù)據(jù)相當(dāng)稀疏，難以找到真正的相似用戶集，導(dǎo)致推薦效果大大降低7。稀疏問(wèn)題通常由高維數(shù)據(jù)引起的，在本質(zhì)上屬于模式識(shí)別與人工智能領(lǐng)域的小樣本問(wèn)題。目前，大多采用機(jī)器學(xué)習(xí)中的分類概念來(lái)解決稀疏問(wèn)題，用初始評(píng)價(jià)矩陣的奇異值分解(sirgular value decomposition)維度壓縮技術(shù)去抽取一些本質(zhì)的特征，利用評(píng)價(jià)數(shù)據(jù)陣中的潛在結(jié)構(gòu)可極大地減少維數(shù)，使數(shù)據(jù)變得更為稠密8,9。4.

9、2冷啟動(dòng)問(wèn)題冷啟動(dòng)(cold start)問(wèn)題分為新項(xiàng)目問(wèn)題(new item)和新用戶(new user)問(wèn)題10。(1)新項(xiàng)目問(wèn)題：一個(gè)未獲得足夠評(píng)價(jià)的新項(xiàng)目不易被推薦出去。新項(xiàng)目問(wèn)題常出現(xiàn)在不斷增加新項(xiàng)目、但用戶僅對(duì)其中一小部分做出評(píng)價(jià)的情況下。如果一個(gè)新項(xiàng)目沒有人去評(píng)價(jià)它，或都不去評(píng)價(jià)它，則這個(gè)項(xiàng)目肯定得不到推薦，推薦系統(tǒng)就失去了作用，這在協(xié)同推薦技術(shù)問(wèn)題上最為突出。目前，除了使用激勵(lì)的方法以外，一般采用組合協(xié)同過(guò)濾和基于內(nèi)容的推薦方法。(2)新用戶問(wèn)題：協(xié)同過(guò)濾推薦系統(tǒng)通過(guò)計(jì)算目標(biāo)用戶與其他用戶的相似性來(lái)獲得推薦列表，而這種計(jì)算主要基于不斷累積的用戶對(duì)項(xiàng)目的評(píng)分，如果一個(gè)新用戶從未對(duì)

10、系統(tǒng)中的項(xiàng)目進(jìn)行評(píng)價(jià)，則系統(tǒng)無(wú)法獲知他的興趣點(diǎn)，也就無(wú)法對(duì)他進(jìn)行推薦。目前一般采用新用戶進(jìn)入系統(tǒng)前，首先輸入個(gè)人信息的方法來(lái)解決新用戶問(wèn)題，關(guān)鍵是如果需要輸入的信息過(guò)多，用戶就會(huì)放棄使用推薦系統(tǒng)或不認(rèn)真輸入信息。4.3“托”攻擊問(wèn)題近來(lái)的研究發(fā)現(xiàn)傳統(tǒng)的協(xié)同過(guò)濾推薦系統(tǒng)存在著嚴(yán)重的安全問(wèn)題。從動(dòng)機(jī)上來(lái)說(shuō)，生產(chǎn)商為了使自己生產(chǎn)的商品能夠暢銷，總是希望推薦系統(tǒng)能夠頻繁推薦自己的商品，而減少或不推薦競(jìng)爭(zhēng)對(duì)手的產(chǎn)品。某些不良生產(chǎn)商為了達(dá)到這個(gè)目的，不是想辦法提高自己產(chǎn)品的質(zhì)量，而是采取欺騙手法來(lái)提高推薦系統(tǒng)推薦自己產(chǎn)品的頻率。而從技術(shù)方面來(lái)看，推薦系統(tǒng)是個(gè)需要用戶參與的開放系統(tǒng)，惡意用戶可以把自己編造的

11、用戶概貌輸入到推薦系統(tǒng)的概貌集中，那么在推薦的時(shí)候就很可能把這些編造用戶當(dāng)作相似用戶，然后把編造用戶的偏好當(dāng)作目標(biāo)用戶的偏好1。推薦系統(tǒng)如果不能有效地抵御攻擊，將會(huì)逐漸失去用戶的信任，因此，對(duì)算法的魯棒性的考察也變得越來(lái)越重要。文獻(xiàn)11,12,13,14,15詳細(xì)分析了“托”攻擊的成本、分類、模型和對(duì)不同推薦算法的影響效果。4.4靈活性問(wèn)題目前的推薦系統(tǒng)對(duì)用戶來(lái)說(shuō)是個(gè)黑匣子，用戶既不明白為何產(chǎn)生如此的推薦結(jié)果，更不知如何根據(jù)需要來(lái)定制自己的推薦。Adomavicius等提出能否推出類似于SQL的推薦查詢語(yǔ)言(Recommendation Query Language)4。5研究方向展望基于信任

12、的協(xié)同過(guò)濾推薦對(duì)解決傳統(tǒng)的協(xié)同過(guò)濾系統(tǒng)中的稀疏性、冷啟動(dòng)和“托”攻擊問(wèn)題均有顯著的幫助作用，在近幾年逐漸成為研究的一個(gè)熱點(diǎn)。在現(xiàn)實(shí)社會(huì)中，人們往往是從身邊信任的親友處獲得產(chǎn)品的推薦信息。文獻(xiàn)16的研究也說(shuō)明了用戶之間的相似性與信任存在著正相關(guān)性。最近的研究開始關(guān)注于把社會(huì)網(wǎng)絡(luò)中的信任或信譽(yù)機(jī)制引入到推薦系統(tǒng)中，作為協(xié)同過(guò)濾技術(shù)的補(bǔ)充或者替代方法17,18。Massa等提出了基于信任的協(xié)同過(guò)濾系統(tǒng)框架19，Papagelisd等用信任推理機(jī)制有效改進(jìn)了協(xié)同過(guò)濾的稀疏性20。文獻(xiàn)21基于概貌級(jí)信任的不足，提出了主題級(jí)的信任模型，基于此模型的推薦算法提高了推薦的準(zhǔn)確性。在基于信任的推薦系統(tǒng)研究中，網(wǎng)

13、絡(luò)環(huán)境中的信任度的度量、信任與推薦的結(jié)合等都將是研究的重點(diǎn)。組合推薦方法把協(xié)同過(guò)濾方法與基于內(nèi)容的推薦技術(shù)結(jié)合起來(lái)，旨在克服各自的局限，產(chǎn)生性能更為優(yōu)秀的推薦技術(shù)，該方法多年來(lái)一直是研究的一個(gè)方向。參考文獻(xiàn)1 余力,劉魯. 電子商務(wù)個(gè)性化推薦研究J.計(jì)算機(jī)集成制造系統(tǒng)-CIMS, 2004, (10): 1306-1313.2 孫小華. 協(xié)同過(guò)濾系統(tǒng)的稀疏性和冷啟動(dòng)問(wèn)題研究D. 浙江大學(xué)博士學(xué)位論文, 2005.3 P. Resnick, N. Iacovou, M. Sushak, P. Bergstrom, and J. Riedl. GroupLens: An open architec

14、ture for collaborative filtering of netnewsC. Proceedings of ACM Conference on Computer Supported Cooperative Work, New York, USA: ACM Press, 1994. 175-186.4 Adomavicius G.,Tuzhilin A., Toward the next generation of recommender systems: a survey of the state of the art and possible extensionsJ.

15、 Knowledge and Data Engineering, IEEE Transactions, 2005, 17(6): 734 749.5 Oard, D.W. and Marchionini, G. A Conceptual Framework for Text Filtering, Technical Report CARTR-830, Human Computer Interaction Laboratory, University of Maryland at College Park,1996.6 B. Sarwar, G. Karypis, J. Konstan, and

16、 J. Riedl. Item-based collaborative filtering recommendation algorithmsC. Proceeding of the 10th International World Wide Web Conference, New York, USA: ACM Press, 2001. 285 295.7 趙亮,胡乃靜.個(gè)性化推薦算法設(shè)計(jì)J. 計(jì)算機(jī)研究與發(fā)展，2002,39(8): 986-991.8 Schafer, J. B., Konstan, J., and Riedl, J. Recommender Systems in E-Co

17、mmerce. Proceedings of ACM E-Commerce, 1999.9 B. M. Sarwar, G. Karypis, J. A. Konstan, and J. Riedl. Application of dimensionality reduction in recommender systems-a case study. In ACM WebKDD Web Mining for E-Commerce Workshop, 2000.10 Schein A., Popescnl A., Ungar L., and Pennock D., Methods and me

18、trics for cold-start recommendations, Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval, 2002.11 Chirita P. A., Nejdl W., and Zamfir C., Preventing shilling attacks in online recommender systemsC. Proceedings of ACM International W

19、orkshop on web Information and Data Management, New York, USA: ACM Press, 2005. 67 74.12 Burke R., Mobasher B.,Zabicki R., and Bhaumik R., Identifying attack models for secure recommendationC. In Beyond Personalisation Workshop at the International Conferece on Intelligent User Interfaces, 2005. 347

20、-361.13 Burke R.,Mobasher B.,and Bhaumik R., Limited knowledge shilling attacks in collaborative filtering systemsC. Proceedings of the 3rd IJCAI Workshop in lntelligent Techniques for Personalization, 2005.14 Burke R., Mobasher B., Williams C. and Bbaumik R., Segment-based injection attacks against

21、 collaborative recommender systemsC. Proceedings of the International Conference of Data Mining, 2005. 577-580.15 Burke R., Mobasher B., Williams C., Bhaumik R., Classification features for attack detection in collaborative recommender systemsC. Proceedings of the 12th ACM SIGKDD international confe

22、rence on Knowledge discovery and data mining, New York, USA: ACM Press, 2006. 542 547.16Cai-Nicolas Ziegler, Jennifer Golbeck. Investigating interactions of trust and interest similarity，Decision Support Systems，2007，43(2),460-475.17 P. Massa and B. Bhattacharjee. Using trust in recommender systems: an experimental analysisC. Proceedings of Second International Conference on Trust Management, S