基于互聯(lián)網(wǎng)搜索指數(shù)的大宗商品農(nóng)產(chǎn)品價格指數(shù)預(yù)測

1、基于互聯(lián)網(wǎng)搜索指數(shù)的大宗商品農(nóng)產(chǎn)品價格指數(shù)預(yù)測周湘蕾【摘要】本文利用因子模型思想構(gòu)建互聯(lián)網(wǎng)搜索指數(shù)，從與大宗農(nóng)產(chǎn)品價格相關(guān)的11類基準(zhǔn)關(guān)鍵詞中篩選出共計17個關(guān)鍵詞構(gòu)建搜索指數(shù)，并分析其與大宗農(nóng)產(chǎn)品價格之間的關(guān)聯(lián)。實證結(jié)果表明：本文提出的互聯(lián)網(wǎng)搜索指數(shù)與實際大宗商品農(nóng)產(chǎn)品價格指數(shù)的相關(guān)性較高，其長期趨勢體現(xiàn)出較高的一致性，在短期也能擬合絕大部分拐點，能夠反映互聯(lián)網(wǎng)用戶主要是投資者對大宗農(nóng)產(chǎn)品市場動態(tài)變化的關(guān)注程度?！娟P(guān)鍵詞】互聯(lián)網(wǎng)搜索指數(shù) 大宗商品農(nóng)產(chǎn)品價格 因子分析一、引言隨著大數(shù)據(jù)時代的降臨，高效的信息檢索功能是搜索引擎成為網(wǎng)民獲取互聯(lián)網(wǎng)信息的重要入口。用戶信息搜索行為的群體表現(xiàn)在一定程度

2、上體現(xiàn)了用戶心理形態(tài)和外部環(huán)境的變化，與實際經(jīng)濟行為具有較強的相關(guān)性，為經(jīng)濟預(yù)測提供了新的信息資源。故而相對于傳統(tǒng)的數(shù)據(jù)來源，諸如機構(gòu)發(fā)布的統(tǒng)計數(shù)據(jù)及調(diào)察問卷數(shù)據(jù)等，從互聯(lián)網(wǎng)中甄選更具全面和代表性的能夠反應(yīng)用戶關(guān)注的熱度、趨勢且具有較好預(yù)測能力的數(shù)據(jù)，是對傳統(tǒng)數(shù)據(jù)來源數(shù)據(jù)的有效擴充，如何有效應(yīng)用互聯(lián)網(wǎng)數(shù)據(jù)也是目前學(xué)術(shù)界和業(yè)界急需解決的問題。搜索引擎的廣泛使用，在滿足用戶信息需求的同時也記錄了用戶的搜索行為，從而使得基于互聯(lián)網(wǎng)的搜索數(shù)據(jù)中蘊含了用戶的關(guān)注及意圖，能夠映射用戶在現(xiàn)實生活中的行為趨勢和規(guī)律（Lynn Wu 2009）。基于網(wǎng)絡(luò)搜索數(shù)據(jù)的社會經(jīng)濟行為研究大多出現(xiàn)于2008年之后，研究的

3、領(lǐng)域始于流行病監(jiān)測，發(fā)展至今日已逐漸成為一個新的學(xué)術(shù)熱點，并在宏觀經(jīng)濟指標(biāo)、投資市場以及房地產(chǎn)價格等經(jīng)濟領(lǐng)域的研究中取得了一定成果。在經(jīng)濟領(lǐng)域中，搜索指數(shù)可用于消費行為、失業(yè)率、通貨膨脹等指標(biāo)的預(yù)測。McLaren N證明了互聯(lián)網(wǎng)搜索指數(shù)可以用作的經(jīng)濟指標(biāo)的編制，Guzman G 將搜索指數(shù)用于通貨膨脹的預(yù)測。Li X,Shang W,Wang應(yīng)用MIDAS模型結(jié)合谷歌搜索數(shù)據(jù)編制了中國通貨膨脹的預(yù)測指數(shù)。在投資市場中，搜索指數(shù)可用于天然氣、原油價格以及房地產(chǎn)價格Li X,Ma J,Zhang X利用谷歌搜索數(shù)據(jù)研究了公眾注意力如何影響天然氣價格。李新和張珣運用廣義動態(tài)因子模型構(gòu)建了可預(yù)測原油

4、價格的搜索指數(shù)，并使用生物信息學(xué)中因果分析方法對指數(shù)進行評價，證實了所構(gòu)造的搜索指數(shù)與期貨價格和現(xiàn)貨價格均存在顯著的因果關(guān)系，并能準(zhǔn)確探測原油價格的拐點。目前基于互聯(lián)網(wǎng)搜索的預(yù)測研究在實證領(lǐng)域取得了不小的成果，但仍需要不斷改進與完善，本文粗略提出三點：首先，在理論基礎(chǔ)方面，基于網(wǎng)絡(luò)搜索指數(shù)的研究存在一個基本的理論前提，即信息構(gòu)造引起行為變化，行為變化導(dǎo)致現(xiàn)象產(chǎn)生。這種理論前提在不同領(lǐng)域的內(nèi)在機理的作用過程及其普遍適用性有待討論；其次，在預(yù)測方法上，相關(guān)學(xué)者對于如何進行關(guān)鍵詞的選取、數(shù)據(jù)模型處理上都尚未達成共識，其中關(guān)于關(guān)鍵詞的選擇方法，主要分為兩類，其一以研究問題作為關(guān)鍵詞，以該研究方向的理論

5、體系為基礎(chǔ)，選取關(guān)鍵變量進行分類和拓展，這種方法的優(yōu)越性在于所構(gòu)建的指數(shù)能夠反映最相關(guān)信息，但由于主觀性較強且依賴于理論基礎(chǔ)的完備程度，故而存在著代表不完全且難以主動識別新變量的問題；其二，有部分學(xué)者提出將數(shù)據(jù)挖掘算法應(yīng)用到關(guān)鍵詞選擇中，運用決策樹、文本挖掘、向量機等多種數(shù)據(jù)挖掘算法進行特征搜索的選擇，在實證中也取得了較好的效果，這類方法更具有客觀性和嚴(yán)謹性，但所選取的指標(biāo)是否具有經(jīng)濟含義還需要大量的人工判斷，這也使這種方法變得十分繁瑣。最后，關(guān)于互聯(lián)網(wǎng)搜索指數(shù)的研究大多是針對國外市場進行的，該方法是否對中國情境下的研究問題有效尚無確定的結(jié)論。本文正是基于上述文獻的研究結(jié)果，從投資者行為視角建

6、立了互聯(lián)網(wǎng)搜索行為與大宗農(nóng)產(chǎn)品價格之間的映射關(guān)系，如圖1所示，構(gòu)建過程分為3步：第一，市場的重要信息的發(fā)布會影響投資者的心理預(yù)期，相反投資者也會通過主動搜索捕捉重要信息以輔助其進行投資決斷。第二，在新經(jīng)濟的背景下，互聯(lián)網(wǎng)成為投資者獲取大宗商品市場變動信息的最佳途徑，投資者可以通過互聯(lián)網(wǎng)的搜索、瀏覽及論壇等應(yīng)用獲取新信息，其中搜索引擎作為互聯(lián)網(wǎng)的入口，蘊含了無數(shù)投資者對影響農(nóng)產(chǎn)品價格的關(guān)注。投資者對農(nóng)產(chǎn)品價格信息的采集可能主要集中于宏觀形勢、金融市場、行業(yè)特征以及突發(fā)事件等方面。第三，在有效資本市場理論中，新信息是影響股票市場變動的唯一因素，期貨市場作為衍生品市場，其變動在市場充分有效的情形下也

7、可以看作是新信息所引致的，因此及時準(zhǔn)確的捕捉最有效信息對期貨市場、現(xiàn)貨市場的投資者而言至關(guān)重要。二、實證分析本文利用搜索關(guān)鍵詞數(shù)據(jù)對大宗商品農(nóng)產(chǎn)品進行預(yù)測。農(nóng)產(chǎn)品價格選取由中國流通產(chǎn)業(yè)網(wǎng)發(fā)布的大宗商品價格指數(shù)（CCPI）中的農(nóng)產(chǎn)品價格指數(shù)來衡量，時間跨度為2011年1月至2016年5月。由于所預(yù)測的是國內(nèi)大宗商品價格的變動，故而搜索行為的觀察數(shù)據(jù)來源于國內(nèi)所有使用度最高的百度搜索引擎所提供的數(shù)據(jù)，百度指數(shù)與前述眾多文獻中使用的谷歌指數(shù)類似，所提供的搜索量數(shù)據(jù)是一個相對數(shù)據(jù)，而非絕對搜索量，代表的是在某段時期內(nèi)，某個特定關(guān)鍵詞的被關(guān)注程度和熱門程度。本文采集數(shù)據(jù)所使用的軟件可以抓取百度指數(shù)上每個

8、關(guān)鍵詞從2011年1月1日至今的用戶關(guān)注度的天數(shù)據(jù)。用戶關(guān)注度是以數(shù)千萬網(wǎng)民在百度的搜索量為數(shù)據(jù)基礎(chǔ)，以關(guān)鍵詞為統(tǒng)計對象，科學(xué)分析并計算出各個關(guān)鍵詞在百度網(wǎng)頁搜索中搜索頻次的加權(quán)和，并以曲線圖的形式展現(xiàn)可以反映與該關(guān)鍵詞相對應(yīng)的某類事物的熱門程度和被關(guān)注程度該數(shù)據(jù)是絕對值的形式，故已有的數(shù)據(jù)不會隨著時間的推移而變化。（一）初始搜索關(guān)鍵詞集合為了獲取盡可能相關(guān)、完整的關(guān)鍵詞，根據(jù)上文中的理論框架，將關(guān)鍵詞分為宏觀形勢、金融市場、行業(yè)特征以及突發(fā)事件四類，據(jù)此獲取基準(zhǔn)搜索關(guān)鍵詞集合。其中，宏觀形勢因素的基準(zhǔn)關(guān)鍵詞為匯率、利率、通貨膨脹、貨幣供應(yīng)、原油價格；金融市場因素的基準(zhǔn)關(guān)鍵詞為農(nóng)產(chǎn)品期貨、農(nóng)產(chǎn)

9、品現(xiàn)貨；行業(yè)特征因素的基準(zhǔn)關(guān)鍵詞為農(nóng)業(yè)產(chǎn)業(yè)化、農(nóng)業(yè)機械、農(nóng)業(yè)技術(shù)；突發(fā)事件因素的基準(zhǔn)關(guān)鍵詞為自然災(zāi)害。然后利用搜索引擎的關(guān)鍵詞推薦功能，產(chǎn)生這11個基準(zhǔn)關(guān)鍵詞的所有相關(guān)搜索詞，每個類別50個，進而得到550個百度所能提供的搜索詞。通過對每一類別的關(guān)鍵詞進行初步文本分析，篩選出57個有效關(guān)鍵詞。（二）數(shù)據(jù)收集及預(yù)處理對這57個搜索數(shù)據(jù)進行Pearson相關(guān)性檢驗，選取了通過雙邊0.01顯著性檢驗的關(guān)鍵詞序列，以保證進入模型的每個關(guān)鍵詞與大宗商品農(nóng)產(chǎn)品指數(shù)之間的相關(guān)性。對剩余數(shù)據(jù)進行平穩(wěn)性分析，選取通過平穩(wěn)性檢驗的序列用以形成最終關(guān)鍵詞集合，相關(guān)檢驗結(jié)果如表1所示。（三）搜索指數(shù)的合成因為本文旨在

10、研究基于因子分析模型構(gòu)建的搜索指數(shù)與大宗商品農(nóng)產(chǎn)品價格之間的關(guān)聯(lián)，所以首先我們根據(jù)關(guān)鍵詞數(shù)據(jù)和因子分析原理構(gòu)建搜索指數(shù)，然后分析搜索指數(shù)與農(nóng)產(chǎn)品價格之間的匹配關(guān)系。在對數(shù)據(jù)進行標(biāo)準(zhǔn)化處理后，對變量之間的相關(guān)性進行KMO檢驗，得KMO值為0.732,此外Bartlett球形檢驗值為0.000，表示數(shù)據(jù)之間具有一定的相關(guān)性，適合做主成分因子分析。本文采用因子貢獻率標(biāo)準(zhǔn)選取公共因子，一般來講，因子對總體的解釋程度達到80%左右為宜，因此，本文選取特征大于1的5個公共因子和特征值為0.874的1個公共因子，累計對總體的解釋程度達到79.389%。本文采用常用的最大方差法旋轉(zhuǎn)因子載荷矩陣，旋轉(zhuǎn)后的因子載

11、荷矩陣可得每個因子的因素表達式：C1=0.832X10.625X2+0.684X3+0.500X40.127X50.891X6+0.169X7+0.872X80.401X9+0.026X10+0.094X11+0.242X120.026X130.205X14+0.083X150.030X16+0.908X17同理可得C2C6因子的表達式。根據(jù)主成分對總體的解釋程度可得總體的各因子表達式：Y=0.28017C1+0.20585C2+0.11227C3+0.08352C4+0.06067C6將C1C6的表達式代入上式即可得個影響因素的權(quán)重，對各權(quán)重進行歸一化處理，得到各指標(biāo)對總體的綜合評價權(quán)重，再

12、將初始數(shù)據(jù)帶入可得綜合指標(biāo)的序列，這樣的方法提取出了總體輸入數(shù)據(jù)的共同成分，驅(qū)使各個不同關(guān)鍵詞序列去世的共同成分即他們的共性大宗商品農(nóng)產(chǎn)品的價格，由此我們使用綜合評價Y序列作為搜索指數(shù)，圖1為合成的搜索指數(shù)與大宗商品農(nóng)產(chǎn)品價格指數(shù)（ccpi）的兩個序列趨勢信息。如圖1（橫軸為自2011年1月1日起累計周數(shù)，縱軸為價格指數(shù)，系列1為大宗商品農(nóng)產(chǎn)品價格趨勢，系列2為搜索指數(shù)變動趨勢）所示，兩個變量間的走勢表現(xiàn)出較強的一致性。在圖1中45周62周的上行區(qū)間、117周187周的平穩(wěn)震蕩區(qū)間以及23周262周的下行區(qū)間內(nèi)，本文構(gòu)建的搜索指數(shù)與實際農(nóng)產(chǎn)品價格指數(shù)走勢均呈現(xiàn)出較強的一致性。為了突出短期的變化

13、相關(guān)性，圖2截取了2016年1月1日至2016年5月27日的價格指數(shù)和搜索指數(shù)對比圖，在2016年前5周，兩個指數(shù)都呈現(xiàn)出變動較為平緩的態(tài)勢，在第8周和第17周，兩個指數(shù)同時達到一個小峰值從圖中可以看出搜索指數(shù)能夠預(yù)測出大部分大宗商品價格走勢的拐點，說明了搜索指數(shù)內(nèi)包含了能夠極大程度的反映搜索關(guān)鍵詞之間的共性信息，同時表明了關(guān)鍵詞關(guān)注度指數(shù)可以幫助提高大宗商品農(nóng)產(chǎn)品的預(yù)測水平。三、小結(jié)大宗商品農(nóng)產(chǎn)品價格一直都是投資者關(guān)注的重點之一，但由于影響因素龐雜，經(jīng)濟影響因素的滯后性等原因，使農(nóng)產(chǎn)品的價格預(yù)測結(jié)果總是不盡人意，國內(nèi)外研究者一直都在積極尋求更加準(zhǔn)確地預(yù)測方法。近年來，隨著互聯(lián)網(wǎng)技術(shù)及大規(guī)模數(shù)

14、據(jù)分析方法的發(fā)展，海量搜索數(shù)據(jù)及社交媒體數(shù)據(jù)等逐漸在社會、經(jīng)濟、金融和能源預(yù)測中得到廣泛應(yīng)用,這也為大宗商品農(nóng)產(chǎn)品價格的預(yù)測提供了新的思路。本文也在此種背景下針對網(wǎng)絡(luò)搜索數(shù)據(jù)是否能提高農(nóng)產(chǎn)品價格預(yù)測的準(zhǔn)確性和時效性進行了討論。由于目前對于搜索指數(shù)的合成方法還沒有一個公認的方法，本文在經(jīng)過大量模型的嘗試之后選擇使用因子分析方法的思想構(gòu)建互聯(lián)網(wǎng)搜索指數(shù)，為了解決了大量搜索數(shù)據(jù)之間的多重共線性問題，我們從與大宗農(nóng)產(chǎn)品價格相關(guān)的11類基準(zhǔn)關(guān)鍵詞中篩選出共計17個關(guān)鍵詞，合成旨在預(yù)測農(nóng)產(chǎn)品價格的互聯(lián)網(wǎng)搜索指數(shù)，并分別在長期和短期驗證該合成指數(shù)的預(yù)測效果。檢驗結(jié)果顯示，本文提出的互聯(lián)網(wǎng)搜索指數(shù)，與實際大宗

15、商品農(nóng)產(chǎn)品價格指數(shù)的相關(guān)性較高，其長期趨勢體現(xiàn)出較高的一致性，在短期也能擬合絕大部分拐點，能夠反映互聯(lián)網(wǎng)用戶主要是投資者對大宗農(nóng)產(chǎn)品市場動態(tài)變化的關(guān)注程度，提高農(nóng)產(chǎn)品價格的預(yù)測精確度。需要指出的是，由于互聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用在經(jīng)濟學(xué)領(lǐng)域的研究還處于一個初步的探索階段，故還有許多問題需要進一步研究， 如關(guān)鍵詞的關(guān)注度與投資者的投資決策之間的關(guān)系，關(guān)鍵詞關(guān)注度對農(nóng)產(chǎn)品價格的影響方向以及關(guān)鍵詞的選擇等將是下一步研究的重點。參考文獻【1】Ginsberg J，Mohebbi M H，Patel R S，et al.Detecting influenza eqidemics using search eng

16、ine query data.Nature，2009，457(7232):1012-1014.【2】李秀婷，劉凡，董紀(jì)昌，等.基于互聯(lián)網(wǎng)搜索數(shù)據(jù)的中國流感檢測.系統(tǒng)工程理論與實踐，2013，33（12）：3028-3034.【3】Guzman G.Internet and Social behavior as an economic forecasting tool:The case of inflation expectations.Journal of Economic and Social Measurement，2011，36(3):119-167.【4】Goel S，Hofman J

17、 M，Lahaie S，et al.Predicting consumer behavior with Web search.Proceedings of the National Academy of Sciences，2010，107(41):17486-17490.【5】Li X，Shang W，Wang S，et al.A MIDAS modeling framework for Chinese inflation index forecast incorporating Google search data.Electronic Commerce Research and Applications，2015，14(2):112-125.【6】Li Z，Xu W，Zhang L，et al.An ontology-based Web mining method for unemployment rate prediction.Decision Support Systems 2014，66(10):