信息分析與數(shù)據(jù)挖掘理論

1、第節(jié) 課程概述1. 基本內(nèi)容1-1 信息分析理論教材前三章：緒論（信息分析的內(nèi)涵、領(lǐng)域、方法論、信息分析職業(yè)人員的理想素質(zhì)結(jié)構(gòu)、產(chǎn)生與發(fā)展）、信息分析的工作框架（選題與規(guī)劃、信息收集、整理與評價、信息分析的六個步驟）、信息分析建模（模型與模型方法、信息分析建模的一般過程、定性模型、定量模型）。1-2 信息分析方法主要介紹幾種常用的定量方法（相關(guān)分析與回歸分析、時間序列分析、馬爾可夫分析等）、定性方法（德爾菲方法）及定性定量相結(jié)合的方法（數(shù)據(jù)包絡(luò)分析、層次分析法等）。1-3 信息分析技術(shù)對常用的分析軟件做簡單介紹：SPSS軟件、DEA計算軟件等。2. 參考書目2-1 信息分析沙勇忠、牛春華等，信

2、息分析，科學(xué)出版社，2009年第一版。2-2 計量經(jīng)濟學(xué)古扎拉蒂，計量經(jīng)濟學(xué)（第三版），中國人民大學(xué)出版社，2000年林少宮翻譯第一版。2-3 運籌學(xué)魏權(quán)齡、胡顯佑，運籌學(xué)基礎(chǔ)教材，中國人民大學(xué)出版社，2008年第二版。3. 考核要求、方式4-1 期末考試：閉卷，重點考察信息分析方法特別是計量方法、時間序列方法、層次分析方法、DEA方法的理解與應(yīng)用。4-2 平時考核：出勤、作業(yè)（含信息分析全程的課程論文）。平時點名5次，全缺者取消考試資格。4-3 總評成績：期末卷面成績出勤作業(yè)。第一節(jié) 緒論1. 信息分析的內(nèi)涵1-1 信息分析的概念：是情報研究范圍的擴展和社會信息化發(fā)展的結(jié)果，是針對特定的需求

3、，對信息進行深度分析和加工，提供有用的信息與情報。信息分析的本質(zhì)是將信息轉(zhuǎn)換為情報。過程闡述一：事實符號數(shù)據(jù)信息知識情報過程闡述二：信息源信息收集信息整理信息分析信息產(chǎn)品信息利用1-2 信息分析與相關(guān)研究的關(guān)系A(chǔ). 信息分析與科學(xué)研究：信息分析是一種面向應(yīng)用的科學(xué)研究，是科學(xué)研究的前提或基礎(chǔ)；兩者研究對象不同、研究目的不同、研究功用不同、研究性質(zhì)不同。B. 信息分析與軟科學(xué)研究：兩者都涉及到信息的分析和加工，都是為決策和行動提供依據(jù)和參考；軟科學(xué)側(cè)重于對策研究，信息分析的研究范圍更為廣泛，軟科學(xué)研究以信息分析為基礎(chǔ)，信息分析借鑒軟科學(xué)的對策研究方法是一種趨勢。C. 信息分析與咨詢服務(wù)：二者的基

4、礎(chǔ)活動都是信息的采集、加工、傳遞和反饋，都是為客戶決策和行動提供智力支持服務(wù)，都是面向市場的商業(yè)信息活動；咨詢服務(wù)更強調(diào)專業(yè)性，更注重咨詢?nèi)藛T的專業(yè)經(jīng)驗和具體研究以解決客戶實際問題。信息分析正迅速融入咨詢業(yè)而形成信息咨詢業(yè)。D. 信息分析與競爭情報：競爭情報是信息分析的組成部分，是面向企業(yè)的信息研究，競爭情報以市場競爭為內(nèi)容，以競爭對手分析為核心，具有強烈的對抗性與針對性。1-3 信息分析的工作目標(biāo)A. 從混沌的信息中萃取有用信息。實現(xiàn)這一目標(biāo)的常用方法有：比較、鑒別、檢索、相關(guān)分析等。B. 從表層信息中發(fā)現(xiàn)相關(guān)的隱蔽信息，實現(xiàn)這一目標(biāo)的常用方法有：內(nèi)容分析、聚類分析、數(shù)據(jù)挖掘、知識發(fā)現(xiàn)等。C

5、. 從過去和現(xiàn)在的信息中推演未來的信息。實現(xiàn)這一目標(biāo)的常用方法有：特爾菲法、情景分析法、對策法等。D. 從局部信息推知總體信息。實現(xiàn)這一目標(biāo)的常用方法有：統(tǒng)計學(xué)方法、系統(tǒng)辨識、內(nèi)容分析等。E. 運用相關(guān)信息對事物的狀態(tài)、性能和效果進行評價。實現(xiàn)這一目標(biāo)的常用方法有：層次分析法、數(shù)據(jù)包絡(luò)分析法等。2. 信息分析的領(lǐng)域1-1 按功能進行劃分 信息分析跟蹤性信息分析比較性信息分析預(yù)測性信息分析評價性信息分析對策性信息分析綜合性信息分析1-2 按工作領(lǐng)域劃分信息分析科技信息分析經(jīng)濟信息分析社會信息分析3. 信息分析方法論3-1 方法與方法論 A. 方法論是方法的系統(tǒng)知識，它把方法作為直接對象從理論上進

6、行系統(tǒng)研究和梳理，方法論研究方法的性質(zhì)、作用和發(fā)展規(guī)律，研究不同方法之間的差別和聯(lián)系，研究每一種方法在方法系統(tǒng)中的地位以及正確運用各種方法所需要遵循的基本程序和原則等。B. 方法是方法論的原材料，是方法論的基礎(chǔ)；方法論是方法的理論概括和總結(jié)，是系統(tǒng)化了的方法體系，對具體的方法具有指導(dǎo)作用。C. 從方法論的角度來講，研究方法是分層次的，按照其概括的普遍程度和適用范圍的大小，按從高到低的水平，可以分為彼此不同但有緊密聯(lián)系的三個層次：哲學(xué)方法、一般方法、專門方法體現(xiàn)某學(xué)科的特殊規(guī)定性；是該學(xué)科的核心方法，具備獨特的應(yīng)用效能；具體方法一經(jīng)確立，就必然沖出本學(xué)科的范圍，為其他學(xué)科所方法采用。上層的方法作

7、用范圍更大，作用時間更長，但也越不具體；下層的方法作用范圍更小、更專門，操作性更強。方法體系哲學(xué)方法一般方法專門方法矛盾的觀點發(fā)展的觀點聯(lián)系的觀點歸納演繹3-2 信息分析的方法來源A. 邏輯學(xué)的方法B. 系統(tǒng)分析的方法C. 圖書情報學(xué)方法D. 社會學(xué)方法E. 數(shù)學(xué)統(tǒng)計學(xué)的方法F. 經(jīng)濟管理學(xué)的方法3-3 信息分析方法的體系結(jié)構(gòu) 根據(jù)信息分析的理論追求和職業(yè)需要，對信息分析領(lǐng)域所積累的研究方法按照某種標(biāo)準(zhǔn)進行系統(tǒng)化和結(jié)構(gòu)化。另外，從技術(shù)手段來說，計算機輔助信息分析日益普遍。信息分析方法相關(guān)分析方法內(nèi)容分析法、引文分析法、因子分析法、聚類分析法、關(guān)聯(lián)樹法等。預(yù)測分析方法時間序列法、回歸分析法、德爾

8、菲法、情景分析法、馬爾可夫法等。評估分析方法模糊綜合評估法、層次分析法。指數(shù)評估法、數(shù)據(jù)包絡(luò)分析法。其他分析方法問題診斷、對策研究、數(shù)據(jù)庫開發(fā)等功能。仿真法、動態(tài)規(guī)劃法、博弈論方法、神經(jīng)網(wǎng)絡(luò)方法、社會調(diào)查法等。4. 信息分析職業(yè)人員的理想素質(zhì)結(jié)構(gòu)4-1 兩類知識顯性知識與隱性知識：前者通過學(xué)習(xí)獲得，后者通過生活經(jīng)驗獲得。4-2 兩類思維 發(fā)散性思維與收斂性思維：前者具有非習(xí)常性、無規(guī)范性，后者則遵循一定規(guī)則，具有可靠的程序。4-3 兩類方法 定性方法與定量方法：前者強調(diào)對所要研究的對象從整體上進行把握，認為研究應(yīng)當(dāng)是開放和多元的。4-4 必要的張力 在兩類知識、兩種思維、兩類方法之間保持必要的

9、張力，形成不偏倚、非極端的均衡結(jié)構(gòu)。信息分析需要科學(xué)與藝術(shù)相結(jié)合的雙重素質(zhì)。素質(zhì)結(jié)構(gòu)科學(xué)硬功夫藝術(shù)軟功夫顯性知識收斂性思維定量方法隱性知識發(fā)散性思維定性方法5. 信息分析的發(fā)展趨勢5-1 信息分析服務(wù)的市場化、產(chǎn)業(yè)化5-2 信息分析內(nèi)容的專深化5-3 信息分析手段的現(xiàn)代化第二節(jié) 信息分析的工作流程1. 信息分析課題選題與規(guī)劃1-1 課題選題A. 選題就是明確信息分析的對象、內(nèi)容與目的。B選題來源：從現(xiàn)實生活中選題（現(xiàn)實需要、社會熱點難點問題、實踐項目）；從理論研究中選題（彌補研究空白、開拓研究問題、過去研究不足）；從個人經(jīng)歷中選題（個人好奇心、個人興趣）；從不同學(xué)派、觀點的學(xué)術(shù)爭論中選題；從學(xué)

10、科滲透、交叉中選題；從直覺思維、意外發(fā)現(xiàn)中選題；建議或者指派。C選題原則：必要性和可行性；綜合性與針對性；及時性與預(yù)見性；科學(xué)性與創(chuàng)新性。D選題步驟：課題提出；課題分析；初步調(diào)查；課題論證；課題選定；開題報告。1-2 課題規(guī)劃制定相應(yīng)的研究計劃，一般包括如下內(nèi)容：課題目的；調(diào)查大綱；預(yù)計成果形式；組織分工；完成時間與實施步驟；其他。2. 信息收集、整理與評價2-1 信息源根據(jù)信息存在的三種形式，信息源可分為三個方面：文獻信息、口頭和實物信息、網(wǎng)絡(luò)信息。2-2 信息收集信息收集原則：全面系統(tǒng)性、針對適用性、真實可靠性、及時新穎性、計劃預(yù)見性。信息收集方法如下圖所示：信息收集方法文獻信息收集方法口

11、頭實物信息收集方法網(wǎng)絡(luò)信息收集方法信息檢索預(yù)定采購交換索要觀察法問卷調(diào)查訪問交談參觀考察專家評估直接訪問網(wǎng)頁網(wǎng)絡(luò)數(shù)據(jù)庫搜索引擎2-3 信息整理對收集到的繁雜無序的原始信息，經(jīng)篩選、分類、歸納、排序，成為便于研究的形式表達并存儲起來。整理即序化過程，目的是減少信息的混亂程度。基本方法有：A. 分類與篩選B閱讀與摘錄C序化處理D改編與重組2-4 信息評價信息評價三個指標(biāo)：可靠性、先進性、適用性，可分別從多個角度進行評價。針對上述指標(biāo)，可考慮文獻信息、口頭和實物信息、網(wǎng)絡(luò)信息評價的基本出發(fā)點。3. 信息分析3-1 瀏覽、閱讀已搜集和整理的原始資料。3-2 創(chuàng)造最初的假設(shè)。假設(shè)必須具體、明確，最好表達

12、為5W1H的形式：人物、事物、時間、地理位置、操作方法、動機。比如：在一定時間、地點范圍內(nèi)，消費者為追求效用最大化，消費商品總是按照等邊際效用法則進行。3-3 再搜集、整理和評價信息。目的是驗證最初的假設(shè)。3-4 確定前提。3-5 驗證假設(shè)并形成推論。3-6 形成最終的結(jié)論。4. 信息分析產(chǎn)品的制作與傳播4-1 產(chǎn)品類型及制作。三種類型：系統(tǒng)資料類產(chǎn)品；動態(tài)報道類產(chǎn)品；研究報告類（題目、緒言、正文、結(jié)論、參考文獻、附錄）。注意其內(nèi)容及格式。4-2 信息分析產(chǎn)品的評價。評價的必要性及主要評價指標(biāo)（針對性、準(zhǔn)確性、創(chuàng)造性、新穎性、加工度、產(chǎn)品制作水平、效益性等）。4-3 信息產(chǎn)品傳播、利用與反饋。

13、兩種傳播方式（單向被動傳播與單向主動傳播）。影響傳播的因素（產(chǎn)品定價、市場因素、政府調(diào)控等）。第三節(jié) 信息分析建模1. 模型與模型方法的概念1-1 模型就是通過對問題現(xiàn)象的分解，利用我們考察得來的原理，吸收一切主要因素，略去一切不主要的因素所創(chuàng)造出來的一副圖畫。模型是現(xiàn)實原型的一種抽象或模擬。1-2 由于研究對象的復(fù)雜性、不可分解性、不可逆性和難操作性，需要通過模型研究原型。1-3 模型方法就是主體通過構(gòu)建模型來研究客體的方法。2. 模型的分類2-1 模型的第一種分類：按照人們對實際問題的了解程度劃分。模型白箱模型灰箱模型黑箱模型對實際問題的了解程度2-2 模型的第二種分類：按照模型替代原型的

14、方式劃分。 模型物質(zhì)模型理想模型替代原型的方式直觀模型物理模型思維模型符號模型數(shù)學(xué)模型歷史模型2-3 模型的第三種分類：按照建立模型目的劃分。模型描述模型預(yù)報模型優(yōu)化模型建立模型的目的決策模型控制模型2-5 模型的第四種分類：按照模型的應(yīng)用領(lǐng)域或所屬學(xué)科劃分。模型經(jīng)濟學(xué)模型社會學(xué)模型人口學(xué)模型模型應(yīng)用領(lǐng)域交通模型其他3. 模型建立的一般過程3-1 信息分析建模需考慮的主要問題：對實際問題的分析與理解；定量與定性方法的選擇。3-2 信息分析建?；静襟E：準(zhǔn)備；簡化與假設(shè)；模型表述；模型求解；模型的分析、檢驗與修正；模型的應(yīng)用。準(zhǔn)備階段簡化假設(shè)模型表述模型求解分析檢驗?zāi)Ｐ蛻?yīng)用模型修正4. 信息分析典型模型SWOT模型。4-1 由美國舊金山大學(xué)Heinz Weihrich于20世紀(jì)80年代提出。S代表企業(yè)長處或優(yōu)勢，W代表企業(yè)的弱點或劣勢，0表示企業(yè)外部環(huán)境中存在的機會，T表示企業(yè)所面臨的外部環(huán)境威脅。SWOT模型用系統(tǒng)的