數(shù)量模型與算法基礎(chǔ)：冪律

冪律齊普夫定律Zipf'sLawZipf定律是美國(guó)學(xué)者G.K.齊普夫提出的?？梢员硎鰹椋涸谧匀徽Z(yǔ)言的語(yǔ)料庫(kù)里，一個(gè)單詞出現(xiàn)的次數(shù)與它在頻率表里的排名成反比。上個(gè)世紀(jì)30年代，Zipf對(duì)此作出了研究，并給出了量化的表達(dá)——齊普夫定律（Zipf'sLaw）：一個(gè)詞在一個(gè)有相當(dāng)長(zhǎng)度的語(yǔ)篇中的等級(jí)序號(hào)（該詞在按出現(xiàn)次數(shù)排列的詞表中的位置，他稱(chēng)之為rank，簡(jiǎn)稱(chēng)r）與該詞的出現(xiàn)次數(shù)（他稱(chēng)為frequency，簡(jiǎn)稱(chēng)f）的乘積幾乎是一個(gè)常數(shù)（constant，簡(jiǎn)稱(chēng)C）。就是

r×f=C

Or f=C/r^1Zipf定律是文獻(xiàn)計(jì)量學(xué)的重要定律之一，它和洛特卡定律、布拉德福定律一起被并稱(chēng)為文獻(xiàn)計(jì)量學(xué)的三大定律。漢字使用頻率統(tǒng)計(jì)使用頻率排名前5個(gè)漢字（使用頻率之和為10%）： 的一是了我使用頻率排名第（6~17）個(gè)漢字（使用頻率之和為10%）：

不人在他有這個(gè)上們來(lái)到時(shí)/link?url=SQyragilOETE2Ofcid4lPySETscZildBRh-gcmasz_kFg_PaHdnEfvIyfmt3dC7WDCTA5UJNGwpkyu9j3BhuuonZMVus-NQ0iRkTqtcsNGmZipf模型

模型模擬3000個(gè)城市的人口數(shù)據(jù)clc;clearall%用Zipf模型模擬3000個(gè)城市的人口數(shù)據(jù)，放入gm變量中npm=3000gm1=30000000pwr=1fori=1:npmgm(i)=gm1/i^pwr;endforplot(gm,"ok")figure%建立新圖畫(huà)面loglog([1:npm],gm,“-or”)%畫(huà)雙對(duì)數(shù)點(diǎn)線(xiàn)圖Zipf模型續(xù)：

20%城里居住著80%的人口嗎？%計(jì)算排名前20%的城里居住的人口（某國(guó)）gm20和%排名前20%的城里居住的人口占總?cè)丝诘陌俜直?，即相?duì)規(guī)模，xdgm20zgm=sum(gm)%總規(guī)模pm20=npm/5gm20=0；fori=1:pm20gm20=gm20+gm(i);endforgm20xdgm20=gm20/zgm%百分相對(duì)規(guī)模100個(gè)城市,3000W,plot(gm)1000個(gè)城市,3000W,plot(gm)1000個(gè)城市,3000萬(wàn)loglog（gm）Zipf模型：中國(guó)一線(xiàn)城市人口觸頂？房地產(chǎn)/房?jī)r(jià)預(yù)測(cè)需要：中國(guó)一線(xiàn)城市人口觸頂？中國(guó)1000城市人口數(shù)據(jù)直線(xiàn)擬合大部數(shù)據(jù)Zipf模型觀察，比較Zipf直線(xiàn)從US人口局下載到的資料有

2000至2008年10年間的普查資料寧夏回族自治區(qū)2010年第六次全國(guó)人口普查主要數(shù)據(jù)公報(bào)

區(qū)統(tǒng)計(jì)局2011年5月10日/link?url=FEIb_yYlwNjgA6IR1xnZyJwe-TxbCHzA5h5q7M2gmrAOxfp_MnYC4V4-vUfYmXpjIcc7QIBy-4SxwBk31AfKIa人口數(shù)（人）比重[8]（%）自然增長(zhǎng)率（‰）人口密度[9]練習(xí)題如城市人口服從ZIPF模型，計(jì)算排名前20%城市居住人口的占比是否是80%。clc;clearallnpm=2000rk1=30000000pwr=1%Zipf'slawfori=1:npmrk(i)=rk1/i^pwr;endfor%總?cè)丝趜rk=sum(rk)zrk20p=sum(rk(1:0.2*npm))rkzb20p=zrk20p/zrk%人口占比f(wàn)ori=1:npmrkzb(i)=rk(i)/zrk;endfor%人口累計(jì)占比rkljzb(1)=rkzb(1);fori=2:npmrkljzb(i)=rkljzb(i-1)+rkzb(i);endforfigure1loglog([1:npm],rk,"or")%bar([1:npm],rkzb,"r")%holdon%plot(rkljzb,"-og")%%%%%%%%%%%%%%%%%%%%%城市人口(按排名百分?jǐn)?shù)）xscale=npm/100rkp(1)=sum(rk(1:1*xscale));rkzbp(1)=rkp(1)/zrk;forj=2:100rkp(j)=sum(rk((j-1)*xscale+1:j*xscale));rkzbp(j)=rkp(j)/zrk;endfor%人口累計(jì)占比(按排名百分?jǐn)?shù)）forj=1:100rkljzbp(j)=sum(rkzbp(1:j));endforfigure2ifxscale<1bar([1:npm],rkzb,"r")holdonplot(rkljzb,"-og")xlabel("pm")ylabel("citysize%/cumulativesize")holdoffelsebar([1:100],rkzbp,"r")holdonplot(rkljzbp,"-og")xlabel("pm%")ylabel("citysize%/cumulativesize%")holdoff

endif百分累積占比線(xiàn)詳細(xì)：19%城市聚集了80%的人口Zipf應(yīng)用：20/80原則你一定聽(tīng)過(guò)這樣的說(shuō)法：80%的財(cái)富集中在20%的人手中……80%的用戶(hù)只使用20%的功能……20%的用戶(hù)貢獻(xiàn)了80%的訪(fǎng)問(wèn)量………………“二八原則”或“20/80原則”如果把所有的單詞（字）放在一起看呢？會(huì)不會(huì)20%的詞（字）占了80%的出現(xiàn)次數(shù)？答案是肯定的?！舵溄印贰舵溄印诽岢隽饲逦鸁o(wú)疑的觀點(diǎn)：在互聯(lián)網(wǎng)上我們不是隨機(jī)鏈接在一起?！盎ヂ?lián)網(wǎng)是由少數(shù)高鏈接性的節(jié)點(diǎn)串聯(lián)起來(lái)的，極少數(shù)的幾個(gè)點(diǎn)擁有海量點(diǎn)擊，而絕大多數(shù)網(wǎng)站只有寥寥可數(shù)的人造訪(fǎng)。管理創(chuàng)新：冥律分布管理創(chuàng)新遵循著冥律分布原則：有少量根本改變管理實(shí)踐的突破性想法，也會(huì)有大量?jī)r(jià)值不高、影響力弱的主意。但是，這不能成為不創(chuàng)新的理由。創(chuàng)新就是一項(xiàng)概率游戲，你做得越多，20%就越可能實(shí)現(xiàn)。六個(gè)燒餅和半個(gè)燒餅冥律：《人類(lèi)行為93%是可以預(yù)測(cè)的》

/review/5613867/

真相到底是什么？答案是人類(lèi)行為93%是可被預(yù)測(cè)的，這些行為的發(fā)生則遵循著冥律分布。

冥律本是個(gè)數(shù)學(xué)統(tǒng)計(jì)概念，其典型的例子便是帕累托定律：大部分人都很窮，極少數(shù)人掌握著大部分財(cái)富。也就是說(shuō)，每出現(xiàn)一個(gè)比爾·蓋茨，意味著一大群窮人的誕生。

作者認(rèn)為，冥律分布意味著爆發(fā)點(diǎn)的出現(xiàn)。理由是，短時(shí)間的活躍與長(zhǎng)時(shí)間的耽擱相互交替，這與帕累托定律是一脈相通的。（漢語(yǔ)：三年不鳴，一鳴驚人）冪律分布

冪律分布的示意圖如右圖所示，其通式可寫(xiě)成

y=c*x^(-k)，其中x，y是正的隨機(jī)變量，c，k均為大于零的常數(shù)。這種分布的共性是絕大多數(shù)事件的規(guī)模很小，而只有少數(shù)事件的規(guī)模相當(dāng)大。洛特卡定律洛特卡定律

是由美國(guó)學(xué)者A.J.洛特卡在20世紀(jì)20年代率先提出的描述科學(xué)生產(chǎn)率的經(jīng)驗(yàn)規(guī)律，又稱(chēng)“倒數(shù)平方定律”定義

它描述的是科學(xué)工作者人數(shù)與其所著論文之間的關(guān)系：寫(xiě)兩篇論文的作者數(shù)量約為寫(xiě)一篇論文的作者數(shù)量的1/4;寫(xiě)三篇論文的作者數(shù)量約為寫(xiě)一篇論文作者數(shù)量的1/9;寫(xiě)N篇論文的作者數(shù)量約為寫(xiě)一篇論文作者數(shù)量的1/n2……,而寫(xiě)一篇論文作者的數(shù)量約占所有作者數(shù)量的60%。123456789n1?1/91/n^2洛特卡定律該定律被認(rèn)為是第一次揭示了作者頻率與文獻(xiàn)數(shù)量之間的關(guān)系，描述科學(xué)生產(chǎn)率的頻率分布規(guī)律。1926年，在美國(guó)一家人壽保險(xiǎn)公司供職的統(tǒng)計(jì)學(xué)家洛特卡經(jīng)過(guò)大量統(tǒng)計(jì)和研究，在美國(guó)著名的學(xué)術(shù)刊物《華盛頓科學(xué)院報(bào)》上發(fā)表了一篇題名為“科學(xué)生產(chǎn)率的頻率分布”的論文，旨在通過(guò)對(duì)發(fā)表論著的統(tǒng)計(jì)來(lái)探明科技工作者的生產(chǎn)能力及對(duì)科技進(jìn)步和社會(huì)發(fā)展所作的貢獻(xiàn)。這篇論文發(fā)表后并未引起多大反響，直到1949年這一成果才引起學(xué)術(shù)界關(guān)注，并譽(yù)之為“洛特卡定律”。布拉德福（S.C.Bradford）定律布拉德福定律是由英國(guó)著名文獻(xiàn)學(xué)家S.C.Bradford于1934年率先提出的描述文獻(xiàn)分散規(guī)律的經(jīng)驗(yàn)定律。其文字表述為：如果將科技期刊按其刊載某學(xué)科專(zhuān)業(yè)論文的數(shù)量多少，以遞減順序排列，那么可以把期刊分為專(zhuān)門(mén)面對(duì)這個(gè)學(xué)科的核心區(qū)、相關(guān)區(qū)和非相關(guān)區(qū)。各個(gè)區(qū)的文章數(shù)量相等，此時(shí)核心區(qū)、相關(guān)區(qū)，非相關(guān)區(qū)期刊數(shù)量成1:n:n^2的關(guān)系。布拉德福定律是文獻(xiàn)計(jì)量學(xué)的重要定律之一，它和洛特卡定律、Zipf定律一起被并稱(chēng)為文獻(xiàn)計(jì)量學(xué)的三大定律。帕累托分布（圖）

/wiki/%E5%B8%95%E7%B4%AF%E6%89%98%E5%88%86%E5%B8%83帕累托分布（1）帕累托分布可以歸納為一個(gè)非常簡(jiǎn)潔的表述：通過(guò)市場(chǎng)交易，20%的人將占有80%的社會(huì)財(cái)富，如果交易可以不斷進(jìn)行下去，那么，“在因和果、努力和收獲之間，普遍存在著不平衡關(guān)系，典型的情況是：80%的收獲來(lái)自20%的努力；其他80%的力氣只帶來(lái)20%的結(jié)果”。帕累托分布（續(xù)）19世紀(jì)末期，意大利經(jīng)濟(jì)學(xué)家維弗雷多·帕累托在研究英國(guó)人的收入分配問(wèn)題時(shí)發(fā)現(xiàn)，絕大部分社會(huì)財(cái)富最終總會(huì)流向少數(shù)人群；他還發(fā)現(xiàn)，某一部分人口占總?cè)丝诘谋壤?，與這一部分人所擁有的財(cái)富的份額具有比較確定的計(jì)量經(jīng)濟(jì)關(guān)系；進(jìn)一步的研究證實(shí)，這種不平衡模式可以重復(fù)出現(xiàn)，甚至可以預(yù)測(cè)。經(jīng)濟(jì)學(xué)把這一社會(huì)財(cái)富的分布狀態(tài)，稱(chēng)為“帕累托分布”。帕累托分布（續(xù)）

丹尼爾·貝爾在《帕累托分布與收入最大化》中進(jìn)一步敘述到：“如果待分配的財(cái)富總量是100萬(wàn)元，人數(shù)為100人，那么我們會(huì)有這樣一組對(duì)應(yīng)的分配比例：排在前面的20個(gè)人，分得80萬(wàn)元；同理，這20人中的4個(gè)人，分得64萬(wàn)元；4個(gè)人中的1個(gè)人，分得50萬(wàn)元。”

帕累托分布從經(jīng)濟(jì)學(xué)角度論證出，社會(huì)分配的“絕對(duì)的失衡”必然導(dǎo)致“絕對(duì)的貧困”，甚至導(dǎo)致“宗教末日審判”的來(lái)臨，除非我們可以通過(guò)政治手段，人為地阻止財(cái)富向高端不斷聚集，否則，貧富雙方的利益沖突是不可避免的。大致是帕累托分布的例子在現(xiàn)代工業(yè)資本主義創(chuàng)造了大量中產(chǎn)階級(jí)前后，財(cái)富在個(gè)人之間的分布。人類(lèi)居住區(qū)的規(guī)模接近絕對(duì)零度時(shí)，愛(ài)因斯坦凝聚的團(tuán)簇在互聯(lián)網(wǎng)流量中文件規(guī)模的分布油田的石油儲(chǔ)備數(shù)量龍卷風(fēng)帶來(lái)的災(zāi)難的數(shù)量?jī)缏煞植继卣鳎?/p>

雙對(duì)數(shù)坐標(biāo)下，一條斜率為負(fù)數(shù)k的直線(xiàn)

y=c*x^(-k)，對(duì)上式兩邊取對(duì)數(shù)，log(y)=C-k*log(x)可知logy與logx滿(mǎn)足線(xiàn)性關(guān)系，即在雙對(duì)數(shù)坐標(biāo)下，冪律分布表現(xiàn)為一條斜率為冪指數(shù)的負(fù)數(shù)的直線(xiàn)，這一線(xiàn)性關(guān)系是判斷給定的實(shí)例中隨機(jī)變量是否滿(mǎn)足冪律的依據(jù)。圖2雙對(duì)數(shù)坐標(biāo)下一個(gè)冪律分布冪律分布是自組織臨界系統(tǒng)冪律分布是自組織臨界系統(tǒng)在混沌邊緣，即從穩(wěn)態(tài)過(guò)渡到混沌態(tài)的一個(gè)標(biāo)志，利用它可以預(yù)測(cè)這類(lèi)系統(tǒng)的相位及相變。它認(rèn)為，由大量相互作用的成分組成的系統(tǒng)會(huì)自然地向自組織臨界態(tài)發(fā)展；當(dāng)系統(tǒng)達(dá)到這種狀態(tài)時(shí)，即使是很小的干擾事件也可能引起系統(tǒng)發(fā)生一系列災(zāi)變。著名的“沙堆模型”形象地說(shuō)明了自組織臨界態(tài)的形成和特點(diǎn)（如圖）：沙崩~金融市場(chǎng)中泡沫崩潰設(shè)想在一平臺(tái)上緩緩地添加沙粒，一個(gè)沙堆逐漸形成。開(kāi)始時(shí)，由于沙堆平矮，新添加的沙粒落下后不會(huì)滑得很遠(yuǎn)。但是，隨著沙堆高度的增加，其坡度也不斷增加，沙崩的規(guī)模也相應(yīng)增大，但這些沙崩仍然是局部性的。到一定時(shí)候，沙堆的坡度會(huì)達(dá)到一個(gè)臨界值，這時(shí)，新添加一粒沙子（代表來(lái)自外界的微小干擾）就可能引起小到一?；驍?shù)粒沙子，大到涉及整個(gè)沙堆表面所有沙粒的沙崩。這時(shí)的沙堆系統(tǒng)處于“自組織臨界態(tài)”,有趣的是，臨界態(tài)時(shí)沙崩的大小與其出現(xiàn)的頻率呈冪律關(guān)系。這里所謂的“自組織”是指該狀態(tài)的形成主要是由系統(tǒng)內(nèi)部各組成部分間的相互作用產(chǎn)生，而不是由任何外界因素控制或主導(dǎo)所致，這是一個(gè)減熵有序化的過(guò)程；“臨界態(tài)”是指系統(tǒng)處于一種特殊的敏感狀態(tài)，微小的局部變化可以不斷被放大、進(jìn)而擴(kuò)延至整個(gè)系統(tǒng)。自組織臨界理論可以解釋諸如火山爆發(fā)、山體滑坡、巖層形成、日輝耀斑、物種滅絕、交通阻塞、以及金融市場(chǎng)中泡沫崩潰的現(xiàn)象。帕累托圖/view/5909be88d0d233d4b14e6998.html?re=view帕累托圖/search/detail?ct=503316480&z=0&ipn=d&word=%E5%B8%95%E7%B4%AF%E6%89%98%E5%9B%BE&step_word=&hs=0&pn=32&spn=0&di=93327212330&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=0&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=undefined&cs=1550935768%2C142525475&os=3259913055%2C572163191&simid=3099126859%2C3634882463&adpicid=0&ln=1954&fr=&fmq=1476978987259_R&fm=&ic=undefined&s=undefined&se=&sme=&tab=0&width=&height=&face=undefined&ist=&jit=&cg=&bdtype=0&oriquery=&objurl=http%3A%2F%2F%2FbewIAbdwVfgTOmGfASuBNg%3D%3D%2F867505878224150616.png&fromurl=ippr_z2C%24qAzdH3FAzdH3Fks52_z%26e3B8mn_z%26e3Bv54AzdH3FxylllsfAzdH3Fks52AzdH3FfpwptvAzdH3F809ll8cnnda88d8b8a898abbbAzdH3F&gsm=0&rpstart=0&rpnum=0帕累托圖的作用

顯示每種已識(shí)別的原因分別導(dǎo)致了多少缺陷

相對(duì)少量的原因通常造成多數(shù)的問(wèn)題或缺陷帕累托圖是質(zhì)量管理工具之一。帕累托圖是一種按發(fā)生頻率排序的特殊直方圖。在質(zhì)量管理中，可以通過(guò)帕累托圖顯示每種已識(shí)別的原因分別導(dǎo)致了多少缺陷。排序的目的是為了有重點(diǎn)地采取糾正措施。項(xiàng)目團(tuán)隊(duì)首先要處理那些導(dǎo)致最多缺陷的原因。帕累托圖在概念上與帕累托法則有關(guān)。帕累托法則認(rèn)為，相對(duì)少量的原因通常造成大多數(shù)的問(wèn)題或缺陷。該法則通常稱(chēng)為80/20原則，即80%的問(wèn)題是由20%的原因?qū)е碌?。帕累托圖也用于匯總各種類(lèi)型的數(shù)據(jù)，并進(jìn)行80/20分析。上次課留的課后練習(xí)：用Octave/Matlab

畫(huà)出以下帕累托圖提示：可能用到函數(shù)主要有：sum();cumsum();bar(),plot(),holdon;clc;clearallYuanyin=1:6;tYuanyin=['gcwj''sjbz''lx''xtgz''glzl''qt'];F=[3826175311];totalf=sum(F)F00=F./totalf;CF00=cumsum(F00);bar(Yuanyin,F00,'b');holdonplot(Yuanyin,CF00,'-or');holdoffYuanyintYuanyinFF00CF00用Octave畫(huà)帕累托圖原因：15個(gè)第一原因發(fā)生結(jié)果：0.86（百次）所需學(xué)習(xí)工具：bar（）cumsum()holdonOctave畫(huà)帕累托圖clc;clear%====C=1pm=1:15;F=C./pm.^1.8;%F是原因/發(fā)生頻率/重要性占比，服從帕累托分布X=pm;%====F00=F./sum(F);figure1bar(X,F00,'b');CF00=cumsum(F00);figure2plot(X,CF00,'-or');figure3bar(X,F00,'b');holdonplot(X,CF00,'-or');holdoff三部曲準(zhǔn)備數(shù)據(jù)yuanyin=[1:6]F=[3826175311]加工/處理/模擬/etcTotal=Sum（）F00Cf00=cumsum(F00)顯示結(jié)果bar(F00)plot(CF00)for循環(huán)的簡(jiǎn)化和點(diǎn)操作符Matlab中，變量可以是矩陣，矢量或單個(gè)數(shù)，

X=[12345]

Y=[246810]

Y/X=？點(diǎn)操作=分別算數(shù)運(yùn)算

Z=Y./X