畢業(yè)設(shè)計(jì)數(shù)據(jù)挖掘技術(shù)開(kāi)題報(bào)告.doc

基于數(shù)據(jù)挖掘技術(shù)的www推薦系統(tǒng)設(shè)計(jì)畢業(yè)設(shè)計(jì)（論文）開(kāi)題報(bào)告基于數(shù)據(jù)挖掘技術(shù)的www推薦系統(tǒng)設(shè)計(jì)摘要 在internet飛速發(fā)展的今天，人們已經(jīng)將互聯(lián)網(wǎng)作為一個(gè)日常溝通，生活不可或缺的平臺(tái)。隨之而生的網(wǎng)上購(gòu)物這一電子商務(wù)的具體模式之一，自然而然地便成為一種時(shí)尚、流行的購(gòu)物方式。一個(gè)好的網(wǎng)上購(gòu)物系統(tǒng)除了基本的商品瀏覽、搜索、購(gòu)買(mǎi)和評(píng)價(jià)等功能外，還要具備一些數(shù)據(jù)挖掘的功能，這是在系統(tǒng)后臺(tái)運(yùn)行中實(shí)現(xiàn)的功能，能夠從日常的客戶資料，交易數(shù)據(jù)中得到挖掘分析的結(jié)果，給客戶提供與他們選購(gòu)的商品相關(guān)聯(lián)的商品信息，給購(gòu)物系統(tǒng)的經(jīng)營(yíng)者提供商業(yè)分析的決策支持，從而提高購(gòu)物系統(tǒng)的交易量和客戶的光顧頻率。本文從關(guān)聯(lián)規(guī)則和聚類分析這兩種數(shù)據(jù)挖掘技術(shù)中得到啟示，將商品之間按照一定的規(guī)則進(jìn)行匹配連接，將用戶按照層層條件進(jìn)行分類，從而實(shí)現(xiàn)了商品推薦和目標(biāo)用戶群郵件投遞的功能。在購(gòu)物系統(tǒng)這個(gè)主體功能實(shí)現(xiàn)的基礎(chǔ)上，加以修飾，完善系統(tǒng)功能。數(shù)據(jù)挖掘思路與b/s結(jié)構(gòu)的網(wǎng)頁(yè)設(shè)計(jì)的相結(jié)合，是這個(gè)網(wǎng)上購(gòu)物系統(tǒng)的核心技術(shù)。關(guān)鍵詞：網(wǎng)上購(gòu)物系統(tǒng)；數(shù)據(jù)挖掘；決策支持abstractnowadays, with the rapid development of internet, people have regarded web as an indispensable platform for everyday communication and life. thus, on-line shopping, one concrete pattern of e-business is becoming a fashionable and popular way of shopping naturally. except for searching for, purchasing, evaluating goods, an advanced on-line shopping system should have the function of data mining. data mining is implemented at background, which can produce an analysis result on the basic of the clients information and the data of transaction. it provides clients with the information of goods, which are related to the goods they are purchasing; it supplies decision support to the on-line shopping systems manager. all these are in order to bring up the transaction and increase the frequency of shopping for clients. based on the thought of rule induction and cluster analysis, it makes connection with goods according some rule and divides clients into different clusters in this paper. thus, the functions of recommending goods and sending email come true and the whole systems functions are improved. data mining and b/s structure designing are the two key techniques of this on-line shopping system.key words: on-line shopping system; data mining; decision support學(xué)位論文題目：基于數(shù)據(jù)挖掘技術(shù)的web推薦系統(tǒng)設(shè)計(jì)課 題 來(lái) 源：指導(dǎo)老師協(xié)商分配1、課題意義及國(guó)內(nèi)外研究現(xiàn)狀綜述課題意義近年來(lái)，internet使計(jì)算機(jī)、網(wǎng)絡(luò)、通信合而為一。網(wǎng)絡(luò)經(jīng)濟(jì)、注意力經(jīng)濟(jì)等新概念的出現(xiàn)，以其巨大的社會(huì)效益和極富挑戰(zhàn)與機(jī)遇的內(nèi)涵，成為信息科學(xué)最引人注目的研究課題。然而，網(wǎng)絡(luò)在快捷、方便地帶來(lái)大量信息的同時(shí)，也帶來(lái)了一大堆的問(wèn)題：諸如信息過(guò)量難以消化；信息真假難以辨識(shí)；信息安全難以保證；信息形式不一致，難以統(tǒng)一處理等等。如何快速、準(zhǔn)確地獲得有價(jià)值的網(wǎng)絡(luò)信息，如何理解已有的歷史數(shù)據(jù)并用于預(yù)測(cè)未來(lái)的行為，如何從這些海量數(shù)據(jù)中發(fā)現(xiàn)知識(shí)，導(dǎo)致了知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘領(lǐng)域的出現(xiàn)。知識(shí)發(fā)現(xiàn)(knowledge discovery，簡(jiǎn)稱kd)和數(shù)據(jù)挖掘(data mining，簡(jiǎn)稱dm)是集統(tǒng)計(jì)學(xué)、人工知識(shí)、模式識(shí)別、并行計(jì)算、機(jī)器學(xué)習(xí)、數(shù)據(jù)庫(kù)等技術(shù)的一個(gè)交叉性的研究領(lǐng)域。知識(shí)是當(dāng)今世界一種最重要的財(cái)富。數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)(knowledge discovery in database，即kdd)方法和數(shù)據(jù)挖掘技術(shù)，近幾年受到人們的高度重視，并對(duì)其進(jìn)行了深入的研究，得到了許多有效的方法和技術(shù)。隨著internet技術(shù)的迅猛發(fā)展，web(world wide web)已發(fā)展成為擁有3億頁(yè)面的分布式信息空間，而且這個(gè)數(shù)字仍以每4至6個(gè)月翻一番的速度增加著。面對(duì)這海量的數(shù)據(jù)和信息，人們卻感知識(shí)的匱乏，難怪john naisbett感嘆道：“we are drowning in information， but starving for knowledge”(“信息爆炸但知識(shí)匱乏”)?，F(xiàn)代社會(huì)的競(jìng)爭(zhēng)趨勢(shì)要求必須對(duì)web大量復(fù)雜的信息進(jìn)行實(shí)時(shí)的和深層次的分析，從中找出真正有價(jià)值的信息知識(shí)，用于科學(xué)研究、決策支持、過(guò)程控制、趨勢(shì)預(yù)測(cè)、偏差預(yù)防等，但是，現(xiàn)有的kdd方法和技術(shù)已不能滿足人們從web獲取知識(shí)的需要，這是因?yàn)椋簑eb數(shù)據(jù)是異質(zhì)、異構(gòu)、動(dòng)態(tài)、模糊的半結(jié)構(gòu)化、非結(jié)構(gòu)化或數(shù)據(jù)庫(kù)信息；異質(zhì)、異構(gòu)以及動(dòng)態(tài)性給數(shù)據(jù)倉(cāng)儲(chǔ)帶來(lái)極大困難；語(yǔ)義理解難度加大，造成基于內(nèi)容的信息檢索難以實(shí)現(xiàn)；挖掘算法、信息模型的動(dòng)態(tài)性以及大樣本空間搜索能力要求很高；現(xiàn)有的dm方法和技術(shù)不能直接運(yùn)用于web挖掘。因此，人們迫切感到需要一種新的技術(shù)基于web的數(shù)據(jù)挖掘技術(shù)，以便從web海量的數(shù)據(jù)中自動(dòng)地，智能地抽取隱藏于這些數(shù)據(jù)中的知識(shí)。國(guó)內(nèi)外研究現(xiàn)狀綜述dm是近年來(lái)一個(gè)十分活躍的研究領(lǐng)域。從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)(knowledge discovery in database，簡(jiǎn)稱kdd)一詞首先出現(xiàn)在1989年舉行的第十一屆國(guó)際聯(lián)合人工智能學(xué)術(shù)會(huì)議上。到目前為止，由美國(guó)人工智能協(xié)會(huì)主辦的kdd國(guó)際研討會(huì)已召開(kāi)了8次，規(guī)模由原來(lái)的專題討論會(huì)發(fā)展到國(guó)際學(xué)術(shù)大會(huì)，僅以1999年為例，就有近20個(gè)國(guó)際會(huì)議列有dm專題。這兩年國(guó)內(nèi)也有相當(dāng)多的數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)方面的研究成果，許多學(xué)術(shù)會(huì)議上都設(shè)有專題進(jìn)行學(xué)術(shù)交流。目前， dm的研究重點(diǎn)逐漸從發(fā)現(xiàn)方法的研究轉(zhuǎn)向?qū)嶋H的系統(tǒng)應(yīng)用，國(guó)際上有影響的典型數(shù)據(jù)挖掘系統(tǒng)有sas公司的enterprise miner， ibm公司的intelligent miner， sgi公司的set miner等?，F(xiàn)有的數(shù)據(jù)挖掘技術(shù)分為5類，即預(yù)測(cè)模型化、聚類、數(shù)據(jù)歸納、依賴模型化以及發(fā)現(xiàn)變化和偏差。從國(guó)內(nèi)外目前的研究進(jìn)展來(lái)看，各學(xué)科的研究自成一派，沒(méi)有突破各個(gè)領(lǐng)域的技術(shù)界限；沒(méi)有融合各領(lǐng)域的不同方法；尤其是未將并行優(yōu)化的諸方法集成用于數(shù)據(jù)庫(kù)中的數(shù)據(jù)挖掘，從而提高實(shí)時(shí)性，并解決隨機(jī)的、動(dòng)態(tài)的、不完全的及混沌數(shù)據(jù)的數(shù)據(jù)挖掘，即所謂智能數(shù)據(jù)挖掘。而且以往多數(shù)技術(shù)都是在駐留于內(nèi)存的數(shù)據(jù)之上進(jìn)行挖掘，沒(méi)有把這些技術(shù)與數(shù)據(jù)庫(kù)技術(shù)相集成。近年來(lái)，有些技術(shù)已開(kāi)始定位于大型數(shù)據(jù)庫(kù)上的挖掘，即基于磁盤(pán)存貯進(jìn)行挖掘。從而出現(xiàn)了關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘、面向?qū)ο髷?shù)據(jù)庫(kù)的數(shù)據(jù)挖掘等。由于internet和web的廣泛應(yīng)用，出現(xiàn)了基于異構(gòu)數(shù)據(jù)源的數(shù)據(jù)挖掘，如文檔數(shù)據(jù)挖掘、時(shí)間序列數(shù)據(jù)挖掘、電子商務(wù)系統(tǒng)中的數(shù)據(jù)挖掘。伴隨數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，多媒體數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘、時(shí)態(tài)數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘、空間數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘等也引起了許多人的關(guān)注。預(yù)計(jì)在21世紀(jì)還會(huì)形成更大的高潮,研究焦點(diǎn)可能會(huì)集中到以下幾個(gè)方面:研究專門(mén)用于知識(shí)發(fā)現(xiàn)的數(shù)據(jù)挖掘語(yǔ)言,也許會(huì)像sql語(yǔ)言一樣走向形式化和標(biāo)準(zhǔn)化;尋求數(shù)據(jù)挖掘過(guò)程中的可視化方法,使得知識(shí)發(fā)現(xiàn)的過(guò)程能夠被用戶理解 ,也便于在知識(shí)發(fā)現(xiàn)過(guò)程中的人機(jī)交互;研究在網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)挖掘技術(shù),特別是在internet上建立dm服務(wù)器,與數(shù)據(jù)庫(kù)服務(wù)器配合,實(shí)現(xiàn)數(shù)據(jù)挖掘;加強(qiáng)對(duì)各種非結(jié)構(gòu)化數(shù)據(jù)的挖掘,如文本數(shù)據(jù)、圖形圖像數(shù)據(jù)、多媒體數(shù)據(jù)。但是,無(wú)論怎樣,需求牽引,市場(chǎng)驅(qū)動(dòng)是永恒的,dm將首先滿足信息時(shí)代用戶的急需,大量基于dm的決策支持軟件工具產(chǎn)品將會(huì)問(wèn)世 。2、學(xué)術(shù)構(gòu)想與思路、主要實(shí)現(xiàn)內(nèi)容及擬解決的關(guān)鍵技術(shù)學(xué)術(shù)構(gòu)想與思路研究?jī)?nèi)容主要包括：web上數(shù)據(jù)挖掘的用途、web上數(shù)據(jù)挖掘的分類、web上數(shù)據(jù)挖掘的實(shí)現(xiàn)與工具、web數(shù)據(jù)挖掘的bn實(shí)現(xiàn)方法。最后給出了一個(gè)web數(shù)據(jù)挖掘在電子商務(wù)網(wǎng)站中的應(yīng)用實(shí)例。畢業(yè)設(shè)計(jì)充分的將理論研究和實(shí)際應(yīng)用結(jié)合起來(lái)，做到了理論和實(shí)踐的相結(jié)合。該電子商務(wù)網(wǎng)站是基于jsp/javabean的模式的一個(gè)網(wǎng)絡(luò)購(gòu)物系統(tǒng)，這種模式以其穩(wěn)定性和優(yōu)越的速度，被全球企業(yè)證明公認(rèn)為可以高效穩(wěn)定的進(jìn)行企業(yè)運(yùn)算開(kāi)發(fā)的平臺(tái)。這種平臺(tái)最大的優(yōu)勢(shì)在于可以跨系統(tǒng)，真正的“一次編寫(xiě)、 到處運(yùn)行”的特點(diǎn)，在這種平臺(tái)上開(kāi)發(fā)的產(chǎn)品，可以輕松移植到其他的平臺(tái)，例如：unix、linux、windows系統(tǒng)，這樣，在企業(yè)更換平臺(tái)的時(shí)候可以最大的節(jié)約成本，提高運(yùn)算質(zhì)量。 jsp網(wǎng)絡(luò)購(gòu)物系統(tǒng)基于jsp+javabean+數(shù)據(jù)庫(kù)三層結(jié)構(gòu)的動(dòng)態(tài)購(gòu)物網(wǎng)站。網(wǎng)站用戶接口（即界面）由jsp完成，數(shù)據(jù)和邏輯處理由beans完成，數(shù)據(jù)儲(chǔ)存由數(shù)據(jù)庫(kù)完成。因?yàn)閎eans獨(dú)立負(fù)責(zé)處理整個(gè)網(wǎng)站的全部數(shù)據(jù)邏輯運(yùn)算，所以整個(gè)網(wǎng)站的負(fù)載量和速度都將大大提高，所以基于這種語(yǔ)言和結(jié)構(gòu)開(kāi)發(fā)的購(gòu)物系統(tǒng)的優(yōu)勢(shì)是其它語(yǔ)言無(wú)法比擬的。這就更進(jìn)一步保證了網(wǎng)站的穩(wěn)定性和安全性，而這些，對(duì)于一個(gè)購(gòu)物網(wǎng)站來(lái)說(shuō)是非常重要的！主要實(shí)現(xiàn)內(nèi)容主要功能介紹： （1）網(wǎng)站前臺(tái)功能： 產(chǎn)品列表：詳細(xì)介紹（名稱，圖片，市場(chǎng)價(jià)，會(huì)員價(jià)，是否推薦，功能介紹）等產(chǎn)品搜索：關(guān)鍵字模糊搜索 定購(gòu)產(chǎn)品：選擇商品確認(rèn)定購(gòu)填寫(xiě)收貨人信息選擇付款方式訂單號(hào)自動(dòng)生成（限登錄用戶）用戶管理：修改資料 查看購(gòu)物車(chē)（限登錄用戶） 數(shù)據(jù)挖掘：通過(guò)對(duì)用戶瀏覽商品的情況進(jìn)行分析進(jìn)而向用戶推薦商品（2）網(wǎng)站后臺(tái)功能： 商品管理：添加 刪除 修改 圖片上傳用戶管理：查看修改用戶資料，刪除用戶擬解決的關(guān)鍵技術(shù)web挖掘是數(shù)據(jù)挖掘在web上的應(yīng)用，它利用數(shù)據(jù)挖掘技術(shù)從與web相關(guān)的資源和行為中抽取感興趣的、有用的模式和隱含信息，涉及web技術(shù)、數(shù)據(jù)挖掘、計(jì)算機(jī)語(yǔ)言學(xué)、信息學(xué)等多個(gè)領(lǐng)域，是一項(xiàng)綜合技術(shù)。web內(nèi)容挖掘。web內(nèi)容挖掘是指對(duì)web頁(yè)面內(nèi)容及后臺(tái)交易數(shù)據(jù)庫(kù)進(jìn)行挖掘，從web文檔內(nèi)容及其描述中的內(nèi)容信息中獲取有用知識(shí)的過(guò)程。同時(shí)還可以對(duì)web的組織結(jié)構(gòu)和鏈接關(guān)系進(jìn)行挖掘，從人為的鏈接結(jié)構(gòu)中獲取有用的知識(shí)。由于文檔之間的互連，web能夠提供除文檔內(nèi)容之外的有用信息。利用這些信息，可以對(duì)頁(yè)面進(jìn)行排序，發(fā)現(xiàn)重要的頁(yè)面。web使用記錄挖掘。web使用記錄挖掘是通過(guò)挖掘相應(yīng)站點(diǎn)的日志文件和相關(guān)數(shù)據(jù)來(lái)發(fā)現(xiàn)該站點(diǎn)上的瀏覽者的行為模式，獲取有價(jià)值的信息的過(guò)程。如何實(shí)現(xiàn)web挖掘web挖掘發(fā)展自數(shù)據(jù)挖掘。數(shù)據(jù)挖掘方法通?？梢苑譃閮深悾阂活愂墙⒃诮y(tǒng)計(jì)模型的基礎(chǔ)上，采用的技術(shù)有決策樹(shù)、分類、聚類、關(guān)聯(lián)規(guī)則等；另一類是建立一種以機(jī)器學(xué)習(xí)為主的人工智能模型，采用的方法有神經(jīng)網(wǎng)絡(luò)、自然法則計(jì)算方法等。web內(nèi)容挖掘?qū)崿F(xiàn)技術(shù)web上的內(nèi)容挖掘多為基于文本信息的挖掘，它和通常的平面文本挖掘的功能和方法比較類似。利用web文檔中部分標(biāo)記，如title、head等包含的額外信息，可以提高web文本挖掘的性能。a) 文本總結(jié)。文本總結(jié)是指從文檔中抽取關(guān)鍵信息，用簡(jiǎn)潔的形式對(duì)文檔內(nèi)容進(jìn)行摘要或解釋。其目的是對(duì)文本信息進(jìn)行濃縮，給出它的緊湊描述。這樣，用戶不需要瀏覽全文就可以了解文檔或文檔集合的總體內(nèi)容。b) 文本分類。分類是在已有數(shù)據(jù)的基礎(chǔ)上學(xué)會(huì)一個(gè)分類函數(shù)或構(gòu)造出一個(gè)分類模型，即通常所說(shuō)的分類器。c) 文本聚類。文本聚類把一組文檔按照相似性歸成若干類別。方法大致可分為層次凝聚法和平面劃分法兩種類型。d) 關(guān)聯(lián)規(guī)則。發(fā)現(xiàn)關(guān)聯(lián)規(guī)則的算法通常要經(jīng)過(guò)以下三個(gè)步驟：連接數(shù)據(jù)，作數(shù)據(jù)準(zhǔn)備；給定最小支持度和最小可信度，利用數(shù)據(jù)挖掘工具提供的算法發(fā)現(xiàn)關(guān)聯(lián)規(guī)則；可視化顯示、理解、評(píng)估關(guān)聯(lián)規(guī)則。web使用記錄挖掘?qū)崿F(xiàn)技術(shù)在挖掘web用戶使用記錄時(shí)描述用戶訪問(wèn)的數(shù)據(jù)包括：ip地址、參考頁(yè)面、訪問(wèn)日期和時(shí)間、用戶web站點(diǎn)及配置信息。發(fā)現(xiàn)用戶使用記錄信息的方法有兩種。一種方法是通過(guò)對(duì)日志文件進(jìn)行分析，包含兩種方式：一是先進(jìn)行預(yù)處理，即將日志數(shù)據(jù)映射為關(guān)系表并采用相應(yīng)的數(shù)據(jù)挖掘技術(shù)來(lái)訪問(wèn)日志數(shù)據(jù)；二是直接訪問(wèn)日志數(shù)據(jù)以獲取用戶的導(dǎo)航信息。另一種方法是通過(guò)對(duì)用戶點(diǎn)擊事件的搜集和分析發(fā)現(xiàn)用戶導(dǎo)航行為。能挖到什么獲取競(jìng)爭(zhēng)對(duì)手和客戶信息。web不僅由頁(yè)面組成，而且還包含了從一個(gè)頁(yè)面指向另一個(gè)頁(yè)面的超鏈接。一個(gè)web頁(yè)面的作者建立指向另一個(gè)頁(yè)面的指針，就可以看作是作者對(duì)另一頁(yè)面的認(rèn)可。把另一頁(yè)面的來(lái)自不同作者的注解收集起來(lái)，就可以用來(lái)反映該頁(yè)面的重要性，并可以很自然地用于權(quán)威頁(yè)面的發(fā)現(xiàn)。另外一種重要的web頁(yè)面是一個(gè)或多個(gè)web頁(yè)面，它提供了指向權(quán)威頁(yè)面的鏈接集合，稱為hub。hub頁(yè)面本身可能并不突出，或者說(shuō)可能沒(méi)有幾個(gè)鏈接指向它們，但是 hub頁(yè)面卻提供了指向就某個(gè)話題而言最為突出的站點(diǎn)的鏈接。通過(guò)分析這類信息，企業(yè)可以獲得零售商、中間商、合作商以及競(jìng)爭(zhēng)對(duì)手的信息。發(fā)現(xiàn)用戶訪問(wèn)模式。通過(guò)分析和探究web日志記錄中的規(guī)律，可以識(shí)別電子商務(wù)的潛在客戶，提高對(duì)最終用戶的服務(wù)質(zhì)量，并改進(jìn)web服務(wù)器系統(tǒng)的性能。 web日志記錄數(shù)據(jù)庫(kù)提供了有關(guān)web動(dòng)態(tài)的，基于url、時(shí)間、ip地址和web頁(yè)面內(nèi)容的豐富信息，對(duì)它們進(jìn)行分析，有助于發(fā)現(xiàn)潛在客戶、用戶和市場(chǎng),有助于聚類用戶并將用戶分門(mén)別類，以實(shí)現(xiàn)個(gè)性化的市場(chǎng)服務(wù)。3、所需實(shí)驗(yàn)手段、研究條件和實(shí)驗(yàn)條件硬件環(huán)境要求：計(jì)算機(jī)必須滿足的條件：1 cpu: intel pentium 1ghz或更高的處理器（推薦酷睿2或更高的處理器），或任何運(yùn)行于microsoft windows nt workstation的alpha的處理器。2 操作系統(tǒng)： microsoft windows xp/vista/7或 microsoft windows nt service/workstation 4.0(推薦service pack 5)或更高版本，或者unix,linux操作系統(tǒng)。3監(jiān)視器： microsoft windows支持的vga或分辨率更高的監(jiān)視器。4內(nèi)存：512mb內(nèi)存以上。軟件環(huán)境要求： 本系統(tǒng)適用于microsoft windows xp/vista/7 或者unix,linux 下開(kāi)發(fā)的，所采用的開(kāi)發(fā)工具