大數(shù)據(jù)在選題策劃中的應(yīng)用策劃書

1、大數(shù)據(jù)在選題策劃中的應(yīng)用策劃書據(jù)全球權(quán)威的IT研究與咨詢公司Gartner于20xx年9月發(fā)布的大數(shù)據(jù)分析報告顯示，全球范圍內(nèi)的媒體和通信行業(yè)以及銀行金融業(yè)站在了大數(shù)據(jù)投資的最前沿。相比之下，出版業(yè)作為文化產(chǎn)業(yè)，承載著文化傳播與文化傳承的社會功能，然而在利用大數(shù)據(jù)洞悉讀者需求上表現(xiàn)欠佳，所以，如何借助不斷增長的大數(shù)據(jù)進(jìn)行信息和知識的搜集、組織和傳播，成為出版企業(yè)亟待解決的問題。出版企業(yè)可利用的大數(shù)據(jù)的具體形式對于“大數(shù)據(jù)”（Big Data），研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。舉個

2、例子，1分鐘的時間內(nèi)，新浪發(fā)送2萬條微博，蘋果下載4.7萬次應(yīng)用，淘寶賣出6萬件商品，人人網(wǎng)發(fā)生30萬次訪問，百度產(chǎn)生90萬次搜索查詢。由此可見，數(shù)據(jù)規(guī)模的急劇膨脹，各行業(yè)累積的數(shù)據(jù)量越來越巨大，數(shù)據(jù)類型也越來越多、越來越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個“無窮大”的概念才會應(yīng)運(yùn)而生。大數(shù)據(jù)的特點(diǎn)可以被歸納為：數(shù)量巨大、類型多樣、實(shí)時快速、價值高但密度低。正式基于這樣的特點(diǎn)，出版企業(yè)可以結(jié)合產(chǎn)業(yè)的優(yōu)勢對大數(shù)據(jù)進(jìn)行充分的挖掘和利用。（1）Web文本挖掘。大數(shù)據(jù)的核心是挖掘龐大數(shù)據(jù)庫的獨(dú)有價值。面對因?yàn)榫W(wǎng)絡(luò)的飛速發(fā)展而帶來的信息膨脹，尤其是以半結(jié)構(gòu)化或非結(jié)

3、構(gòu)化為主的文本信息，人們迫切需要研究出方便有效的工具去從中提取符合需要的“簡潔的”“精煉的”“可理解的'”知識，Web文本挖掘技術(shù)由此產(chǎn)生。而利用Web文本挖掘發(fā)現(xiàn)大數(shù)據(jù)的價值也成為可能。文本挖掘是近幾年來數(shù)據(jù)挖掘領(lǐng)域的一個新興分支。文本挖掘也稱為文本數(shù)據(jù)庫中的知識發(fā)現(xiàn)，是從大量文本的集合或語料庫中抽取事先未知的“可理解的”有潛在實(shí)用價值的模式和知識。而隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，特別是Web應(yīng)用的不斷普及，網(wǎng)絡(luò)信息急劇增加，信息類型也越來越復(fù)雜。如何從這些大量自由、非結(jié)構(gòu)化或半結(jié)構(gòu)化的信息中獲得所需求的知識，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已不適用，解決問題的一個途徑就是將傳統(tǒng)的文本挖掘技術(shù)和Web綜

4、合起來，進(jìn)行Web文本挖掘。Web文本挖掘就是以萬維網(wǎng)上的數(shù)據(jù)為分析對象，以抽取有用知識為目標(biāo)，把傳統(tǒng)文本挖掘技術(shù)和萬維網(wǎng)相結(jié)合的研究技術(shù)。（2）出版企業(yè)可利用的Web文本數(shù)據(jù)。網(wǎng)絡(luò)上圖書評論的數(shù)量極為龐大，有些暢銷書可能包含成千上萬的評論，借助Web文本挖掘技術(shù)能自動地對圖書評論進(jìn)行分析和處理，挖掘出有用的信息。通過對圖書在線評論的挖掘管理，出版企業(yè)可以用較低的成本收集、整理讀者對于各類圖書的關(guān)注興趣和欣賞特點(diǎn)，同時也可以獲得暢銷圖書迎合市場需求的關(guān)鍵因素。在此過程中，企業(yè)獲得了知識資源，同時培育了持續(xù)的競爭優(yōu)勢。因此，可以將各大圖書銷售網(wǎng)站的讀者評論作為出版企業(yè)可利用的大數(shù)據(jù)分析的首要來源

5、。在企業(yè)的銷售網(wǎng)站或其借助的其他互聯(lián)網(wǎng)銷售平臺上，通過建立在線評論客戶知識管理系統(tǒng)，收集、整理和分析客戶評論，將客戶評論轉(zhuǎn)化為企業(yè)的知識，從而為企業(yè)價值鏈的各個環(huán)節(jié)提供客戶的信息和知識的共享，并將客戶知識延伸到企業(yè)的決策制定中，為企業(yè)有效開展客戶知識管理提供有效的解決方案。同時，基于評論挖掘構(gòu)建的客戶知識管理系統(tǒng)，具有與用戶需求同步的快速響應(yīng)能力，即具有將用戶需求迅速轉(zhuǎn)向圖書的策劃和印制的能力。這就使得出版企業(yè)以響應(yīng)市場需求為中心，實(shí)時挖掘客戶知識，提高優(yōu)化客戶關(guān)系的決策能力，準(zhǔn)確及時地向客戶提供所需的圖書產(chǎn)品。大數(shù)據(jù)在選題策劃中的應(yīng)用信息收集和預(yù)處理相對于傳統(tǒng)數(shù)據(jù)庫中的完全結(jié)構(gòu)化的數(shù)據(jù)而言，

6、Web數(shù)據(jù)的最大特點(diǎn)就是半結(jié)構(gòu)化。從評論挖掘的角度來看，Web上的網(wǎng)頁包含的信息并不都是有用的，體現(xiàn)網(wǎng)頁的主題信息的是“主題”內(nèi)容；與主題內(nèi)容無關(guān)的導(dǎo)航條、廣告信息等內(nèi)容則是“噪音”內(nèi)容。網(wǎng)頁凈化過程就是去掉包含噪音內(nèi)容的內(nèi)容塊，只保留網(wǎng)頁中包含主題內(nèi)容的內(nèi)容塊。因此在評論挖掘的數(shù)據(jù)預(yù)處理階段，首要任務(wù)就是完成Web網(wǎng)頁凈化過程，去除網(wǎng)頁內(nèi)容中的音頻、視頻、圖片等其他非文本信息，還有各種網(wǎng)頁本身的標(biāo)記語言，最后僅剩下網(wǎng)頁中的文字評論內(nèi)容，從Web頁面中提取出文本評論信息。評論頁面的下載可以采用聚焦爬蟲技術(shù)，所謂聚焦爬蟲，是能實(shí)現(xiàn)自動下載網(wǎng)頁功能的程序，它根據(jù)指定的抓取目標(biāo)，有選擇地獲取萬維網(wǎng)上

7、的網(wǎng)頁及其相關(guān)的鏈接，抓取所需要的信息。通過對Web頁面的語義結(jié)構(gòu)進(jìn)行描述，產(chǎn)生適合計(jì)算機(jī)自動處理的描述文件和指令文件，實(shí)現(xiàn)持續(xù)地、大批量地提取Web信息。圖書特征提取和情感分析評論內(nèi)容是中文語句，要從中提取詞語，進(jìn)而獲得讀者關(guān)注的圖書特征，首先需借助中文分詞技術(shù)。中文分詞技術(shù)屬于自然語言處理技術(shù)領(lǐng)域，它通過詞性標(biāo)注將一個漢字序列切分成相互獨(dú)立的詞，文本挖掘的基礎(chǔ)是中文分詞，一段中文要使得計(jì)算機(jī)自動識別語句語義，必須通過準(zhǔn)確的中文分詞處理。在中文分詞和詞性標(biāo)注的基礎(chǔ)上，使用漢語分詞軟件的關(guān)鍵詞提取功能提取評論內(nèi)容中的關(guān)鍵詞，按照權(quán)重排序找出高頻名詞或名詞性短語作為候選詞匯，通過人工定義和篩選，得到讀者評論中的圖書屬性特征詞集合。挖掘出的圖書的讀者關(guān)注特征，是讀者圖書評論中最集中和最熱點(diǎn)的特征，但每項(xiàng)特征具體的評價傾向性還需進(jìn)一步分析和處理，即通過提取讀者對每項(xiàng)關(guān)注特征所持有的褒貶態(tài)度，分析其評價情感傾向性。情感詞可以細(xì)分為情感特征詞匯和情感強(qiáng)度詞匯?？蛻粼u論中的情感特征詞是客戶表