數(shù)據(jù)處理方法與依據(jù)

第1頁(yè)，共31頁(yè)，2023年，2月20日，星期六1概述近幾年，數(shù)學(xué)建模競(jìng)賽的規(guī)模越來(lái)越大,水平越來(lái)越高；賽題難度也越來(lái)越大，對(duì)學(xué)生數(shù)據(jù)處理能力要求也越來(lái)越高，最困難的有兩個(gè)方面：

（1）無(wú)數(shù)據(jù)建模問(wèn)題；（2）海量數(shù)據(jù)問(wèn)題。第2頁(yè)，共31頁(yè)，2023年，2月20日，星期六無(wú)數(shù)據(jù)建模問(wèn)題例如：（1）2010B：2010年上海世博會(huì)影響力的定量評(píng)估；（2）2008B：高等教育學(xué)費(fèi)標(biāo)準(zhǔn)探討；

往往為綜合評(píng)價(jià)類(lèi)模型，賽題來(lái)自于實(shí)際問(wèn)題，開(kāi)放程度比較高，需要據(jù)相關(guān)多因素信息及收集到數(shù)據(jù)對(duì)實(shí)際對(duì)象進(jìn)行客觀、公正、合理的全面評(píng)價(jià)。第3頁(yè)，共31頁(yè)，2023年，2月20日，星期六無(wú)數(shù)據(jù)建模問(wèn)題數(shù)據(jù)收集手段與方法：（1）權(quán)威機(jī)構(gòu)或相關(guān)部門(mén)發(fā)布；（2）通過(guò)搜索引擎在Internet搜索；（3）通過(guò)問(wèn)卷、實(shí)驗(yàn)等自主采集；例如：公交車(chē)門(mén)的高度是按照成年男子與車(chē)門(mén)頂部碰頭的機(jī)率不超過(guò)1%設(shè)計(jì)的，山西省欲采購(gòu)一批公交車(chē)，請(qǐng)問(wèn)應(yīng)將車(chē)門(mén)高度設(shè)計(jì)成多高比較合適？第4頁(yè)，共31頁(yè)，2023年，2月20日，星期六無(wú)數(shù)據(jù)建模問(wèn)題問(wèn)題的關(guān)鍵在于獲取山西省成年男子的身高情況，我們優(yōu)先考慮的方法是（1）（2），在無(wú)法通過(guò)前兩種方法獲取的情況下，可以通過(guò)（3）獲得。顯然取樣，進(jìn)而可以獲得山西成年男子身高X的樣本均值和樣本方差，剩下的就是求解一個(gè)簡(jiǎn)單的概率問(wèn)題而已：P(X<h)>=99%第5頁(yè)，共31頁(yè)，2023年，2月20日，星期六海量數(shù)據(jù)建模問(wèn)題2000A：DNA序列分類(lèi)；2000B：鋼管訂購(gòu)和運(yùn)輸；2001A：血管的三維重建；2001B：公交車(chē)調(diào)度；2002B：彩票中的數(shù)學(xué)；2003A：SARS的傳播；2004A：奧運(yùn)會(huì)臨時(shí)超市網(wǎng)點(diǎn)設(shè)計(jì)；第6頁(yè)，共31頁(yè)，2023年，2月20日，星期六海量數(shù)據(jù)建模問(wèn)題2004B：電力市場(chǎng)的輸電阻塞管理；2005A：長(zhǎng)江水質(zhì)的評(píng)價(jià)和預(yù)測(cè)；2005B：DVD在線租賃；2006A：出版社的資源配置；2006B：艾滋病療法的評(píng)價(jià)及療效的預(yù)測(cè)……尤其是：2011年夏令營(yíng)：測(cè)井曲線自動(dòng)分層問(wèn)題（10M）第7頁(yè)，共31頁(yè)，2023年，2月20日，星期六海量數(shù)據(jù)建模問(wèn)題

顯然大批量數(shù)據(jù)是很難手工處理的，需要我們借助于計(jì)算機(jī)以及一些數(shù)據(jù)處理軟件來(lái)完成，需要掌握基本的計(jì)算機(jī)使用與編程能力。

實(shí)在無(wú)法完成大批量數(shù)據(jù)處理的情況下，隨機(jī)截取典型性數(shù)據(jù)也不失為一種合理的解決辦法。第8頁(yè)，共31頁(yè)，2023年，2月20日，星期六海量數(shù)據(jù)建模問(wèn)題數(shù)學(xué)建模中常用軟件：World

MATLAB

Mathematica

LindoExecl

SPSS

C&C++

Lingo第9頁(yè)，共31頁(yè)，2023年，2月20日，星期六海量數(shù)據(jù)建模問(wèn)題軟件學(xué)習(xí)的關(guān)鍵：（1）數(shù)據(jù)的讀入；（2）異常數(shù)據(jù)處理；（3）數(shù)據(jù)規(guī)范化與歸一化；（4）常見(jiàn)問(wèn)題與軟件功能的對(duì)應(yīng)。（5）繪圖與可視化輸出。第10頁(yè)，共31頁(yè)，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入數(shù)據(jù)的讀入：a)復(fù)制、粘貼；b)功能函數(shù)。Matlab中textread（）:a=textread('data.txt','%*s%*s%f%*s','headerlines',3,'delimiter','')headerlines是文件頭有多少行delimiter就是詞跟詞之間的分隔符。%s是字符串的意思，%f是浮點(diǎn)數(shù)的意思而在它們中間加上*，表示跳過(guò)這個(gè)詞。%*s%*s的意思就是跳過(guò)前兩個(gè)詞。第11頁(yè)，共31頁(yè)，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入Matlab中imread（）:該函數(shù)用于讀取圖片文件中的數(shù)據(jù)。filename='e.bmp';imgRgb=imread(filename);%讀入一幅彩色圖像imshow(imgRgb);%顯示彩色圖像Matlab中xlsread（）:該函數(shù)用于讀取Execl文件中的數(shù)據(jù)。第12頁(yè)，共31頁(yè)，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入Lingo中@file（）:該函數(shù)用于文本文件的讀入。Lingo中@TEXT（）：該函數(shù)輸出數(shù)據(jù)（文本文件）。Lingo中@OLE（）該函數(shù)與電子表格軟件（如EXCEL）連接；Lingo中@ODBC（）該函數(shù)與數(shù)據(jù)庫(kù)連接。第13頁(yè)，共31頁(yè)，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入@FILE和@TEXT：文本文件輸入輸出MODEL:SETS:MYSET/@FILE(‘myfile.txt’)/:@FILE(‘myfile.txt’);ENDSETSMIN=@SUM(MYSET(I):SHIP(I)*COST(I));@FOR(MYSET(I):[CON1]SHIP(I)>NEED(I);[CON2]SHIP(I)<SUPPLY(I));DATA:COST=@FILE(‘myfile.txt’);NEED=@FILE(‘myfile.txt’);SUPPLY=@FILE(‘myfile.txt’);@TEXT(‘result.txt’)=@STATUS(),SHIP,@DUAL(SHIP),@RANGED(SHIP)@DUAL(CON1),@RANGEU(CON2);ENDDATAENDmyfile.txt文件的內(nèi)容、格式：Seattle,Detroit,Chicago,Denver~COST,NEED,SUPPLY,SHIP~12,28,15,20~1600,1800,1200,1000~1700,1900,1300,1100第14頁(yè)，共31頁(yè)，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入c)計(jì)算機(jī)語(yǔ)言編程文本文檔中寫(xiě)著：1Intel_Pentium_E_214049502AMD_Athlon64_X2_3600+46503Intel_Celeron_4204800......要求將這些讀入C程序中(編號(hào)，名稱(chēng)，價(jià)格，已售出量組成)#include"stdio.h"structHardware_database{intnumber;charname[40];intprice;intsales;}CPU[50];intmain(intargc,char*argv[]){inti;FILE*CPU_record;PU_record=fopen("c:\\CPU_Data.txt","r");for(i=1;feof(CPU_record)==0;i++){fscanf(CPU_record,"%d%s%d%d\n",&CPU[i].number,CPU[i].name,&CPU[i].price,&CPU[i].sales);printf("%d,%s,%d\n",CPU[i].number,CPU[i].name,CPU[i].price);}printf("PressAnyKeytoBack");getchar();fclose(CPU_record);return0;}第15頁(yè)，共31頁(yè)，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理第16頁(yè)，共31頁(yè)，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理a)散點(diǎn)圖。Matlab中可由plot()實(shí)現(xiàn)，在SPSS中可通過(guò)點(diǎn)選菜單的方式實(shí)現(xiàn)。畫(huà)散點(diǎn)圖還可以幫助我們找出數(shù)據(jù)的規(guī)律。第17頁(yè)，共31頁(yè)，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理b）3σ檢測(cè)法第18頁(yè)，共31頁(yè)，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理第19頁(yè)，共31頁(yè)，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理C)聚類(lèi)分析法第20頁(yè)，共31頁(yè)，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理異常數(shù)據(jù)處理：

剔除均值替代回歸替代

異常數(shù)據(jù)的處理由SPSS、SAS、mintab實(shí)現(xiàn)比其他軟件更方便。第21頁(yè)，共31頁(yè)，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化

如果不對(duì)這些指標(biāo)作相應(yīng)的無(wú)量綱處理，則在綜合評(píng)價(jià)過(guò)程中就會(huì)出“大數(shù)吃小數(shù)”的錯(cuò)誤結(jié)果，從而導(dǎo)致最后得到錯(cuò)誤的評(píng)價(jià)結(jié)論。無(wú)量綱化處理又稱(chēng)為指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化,或規(guī)范化處理。常用方法:標(biāo)準(zhǔn)差法、極值差法和功效系數(shù)法等。

第22頁(yè)，共31頁(yè)，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化第23頁(yè)，共31頁(yè)，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化第24頁(yè)，共31頁(yè)，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化

極大型指標(biāo):總是期望指標(biāo)的取值越大越好；

極小型指標(biāo):總是期望指標(biāo)的取值越小越好；

中間型指標(biāo):總是期望指標(biāo)的取值既不要太大，也不要太小為好，即取適當(dāng)?shù)闹虚g值為最好;

區(qū)間型指標(biāo):總是期望指標(biāo)的取值最好是落在某一個(gè)確定的區(qū)間內(nèi)為最好。

在將數(shù)據(jù)無(wú)量綱化之前，在有些問(wèn)題下，特別是綜合評(píng)價(jià)模型中，還需要將數(shù)據(jù)根據(jù)處理目標(biāo)一致化。一般說(shuō)來(lái)，數(shù)據(jù)指標(biāo)一般說(shuō)來(lái)，在評(píng)價(jià)指標(biāo)中可能包含有:第25頁(yè)，共31頁(yè)，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化第26頁(yè)，共31頁(yè)，2