隨機過程課件(第一部分)

隨機過程課件(第一部分)第1頁，共123頁，2023年，2月20日，星期四個

人

簡

介

1963年生，安徽懷寧人，1978年高中一年級提前考入浙江大學(xué)電機工程系，1988年和1996年獲中國科大信號與信息處理學(xué)科碩士/博士學(xué)位，1997-1999年在中國科大分子生物學(xué)學(xué)科做博士后,曾獲中國博士后科學(xué)基金\自然科學(xué)基金等基金項目資助和安徽省科技進步二等獎,是中國神經(jīng)網(wǎng)絡(luò)學(xué)會委員。當(dāng)前主要研究領(lǐng)域：復(fù)雜系統(tǒng)與計算智能智能信息處理業(yè)余愛好：數(shù)學(xué)、文學(xué)、橋牌第2頁，共123頁，2023年，2月20日，星期四第一講

隨機過程概述人類歷史上最輝煌的科學(xué)時代：1.古希臘時期（公元前2世紀(jì)前后）

亞里士多德、畢達(dá)哥拉斯、歐幾里德等中國的春秋戰(zhàn)國時期—孔子、諸子百家

2.牛頓時代—經(jīng)典物理學(xué)3.二十世紀(jì)的三次科學(xué)革命：

愛因斯坦—相對論

普朗克等—量子論

非線性科學(xué)（60年代前后）：

混沌、分形、孤立子、耗散結(jié)構(gòu)（普里高津）…第3頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述當(dāng)代科學(xué)的發(fā)展特點從2到3(一為單,二為雙,三為多)體現(xiàn)了哲學(xué)觀念的重大變革!科技尖端極大極小極復(fù)雜研究手段理論實驗?zāi)M研究對象物質(zhì)能量信息研究方法分析還原系統(tǒng)集成信號系統(tǒng)連續(xù)離散脈動數(shù)學(xué)（函）數(shù)形（幾何）結(jié)構(gòu)第4頁，共123頁，2023年，2月20日，星期四第一講

隨機過程概述這些發(fā)展導(dǎo)致：確定性的喪失！

我們要研究的問題：基本上都是不確定性問題！值得思考：隨機性是如何產(chǎn)生的？（產(chǎn)生機理機制）研究隨機過程的目的？研究隨機性的方法和手段？科學(xué)技術(shù)發(fā)展的源泉----路甬祥

1.生產(chǎn)、生活的需求

2.模擬自然—好奇(推動科技發(fā)展的第一動力)第5頁，共123頁，2023年，2月20日，星期四課程論文/報告：格式：1.標(biāo)題2.姓名、學(xué)號、單位

3.提要

4.關(guān)鍵詞

5.正文

6.參考文獻(xiàn)篇幅：6000字版面科技論文寫法：4wWhat?Why?How?Whom?第6頁，共123頁，2023年，2月20日，星期四第一講

隨機過程概述一些典型的隨機過程：1.炮彈著點問題：

科大與兩彈一星“為什么我們的學(xué)?？偸桥囵B(yǎng)不出杰出人才？”這就是著名的“錢學(xué)森之問”。

錢學(xué)森為中國科大最主要的創(chuàng)建者之一！

教育部“珠峰計劃”據(jù)說就是響應(yīng)“錢學(xué)森之問”的！第7頁，共123頁，2023年，2月20日，星期四郭沫若、錢學(xué)森、華羅庚、嚴(yán)濟慈等銅像【談到科學(xué)與藝術(shù)的交融時，嚴(yán)加安院士認(rèn)為，這首先指的是藝術(shù)的科學(xué)化和科學(xué)的藝術(shù)化。他說：屈原的長詩《天問》是科學(xué)和藝術(shù)的完美結(jié)合，通篇以詩歌的形式用詰問語氣提出了170多個問題，涉及宇宙、自然、社會和人生等未知領(lǐng)域，凸顯了詩人“眾人皆醉我獨醒”。第8頁，共123頁，2023年，2月20日，星期四誠如法國著名文學(xué)家福樓拜所說：“科學(xué)與藝術(shù)在山腳下分手，在山頂匯合?！彪S著人類社會的發(fā)展，科學(xué)與藝術(shù)的交融，越來越受到人們的關(guān)注，并已成為當(dāng)今世界科學(xué)文化發(fā)展的特征之一?！?-嚴(yán)加安院士作客中國科大報告節(jié)選。

第9頁，共123頁，2023年，2月20日，星期四2.拉面問題（面包師變換）確定性隨機：混沌3.蝴蝶效應(yīng)：

北半球的蝴蝶翅膀煽動一下，有可能引發(fā)南太平洋上的一場颶風(fēng)！

(混沌系統(tǒng),復(fù)雜系統(tǒng))第10頁，共123頁，2023年，2月20日，星期四第一講

隨機過程概述拉面問題：將單位長線段拉長一倍，再對折，然后重復(fù)這一過程。設(shè)線段上某點初始坐標(biāo)為:經(jīng)n

次操作后位置為：則:第11頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述為方便計算，用二進制表示于是初始狀態(tài)：記：則：

第12頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述混沌：指一類具有不可預(yù)測(物理上)行為的確定性（數(shù)學(xué)上）運動。特點：對初始狀態(tài)敏感（差之毫厘，失之千里）；

誤差呈指數(shù)級增長。混沌運動的短期行為對初始值敏感；混沌運動的長期行為跟隨機運動無異。第13頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述“天才在于勤奮，聰明在于積累”—華羅庚10%：10年：2.5920年：6.740年：45.360年：304.5業(yè)精于勤，行成于思！謀事在人，成事在天！人生==〉走在混沌軌道上的隨機過程!起跑線上:領(lǐng)先一步,可能領(lǐng)先一輩子!—隨機理論支持這一結(jié)論.第14頁，共123頁，2023年，2月20日，星期四人生==〉走在混沌軌道上的隨機過程!

詩人海子第15頁，共123頁，2023年，2月20日，星期四走在混沌人生軌道上

！1978年3月底，詩人郭沫若發(fā)表最后絕唱：科學(xué)的春天5月1鈤，高河中學(xué)舉行首次作文競賽，題目是【我愛科學(xué)的春天】，査海生獲作文競賽第三名。從此，改學(xué)文科，考入北大法律系。第16頁，共123頁，2023年，2月20日，星期四我把石頭還給石頭

讓勝利的勝利

今夜青稞只屬于她自己

一切都在生長

“姐姐，今夜我不關(guān)心人類，我只想你！”

我把【石頭】還給百科全書式大學(xué)者復(fù)社公子方以智（石公、無道人、宓山子...）了！

海子曾經(jīng)也是個紅迷！第17頁，共123頁，2023年，2月20日，星期四又到清明季節(jié)

--

懷念海子

春風(fēng)吹拂著

小河流淌的詩句

麥苗撫摸著

傾注淚痕的標(biāo)點

在面朝大海的山坡上

詩魂音魄

循著天堂與人間未來的軌道

久久徘徊

……

第18頁，共123頁，2023年，2月20日，星期四2.拉面問題（面包師變換）確定性隨機：混沌3.蝴蝶效應(yīng)：

北半球的蝴蝶翅膀煽動一下，有可能引發(fā)南太平洋上的一場颶風(fēng)！

(混沌系統(tǒng),復(fù)雜系統(tǒng))第19頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述3.蝴蝶效應(yīng)（續(xù)）

牛頓體系：微分方程確定，初始狀態(tài)確定，運動的軌跡就是確定的。（未來時刻的狀態(tài)或位置就是可預(yù)測的）氣象系統(tǒng)是一種嚴(yán)重非線性的復(fù)雜系統(tǒng)。初始狀態(tài)的微弱變化可能引發(fā)預(yù)測結(jié)果的巨大變化(混沌)。所以氣象預(yù)報本質(zhì)上只能作“短期”預(yù)測!三國:孔明借東風(fēng)—演義神化性質(zhì)的,實際上暴露了“智者千慮,必有一失”的軍事運籌上的失誤!結(jié)果:天要亡曹,夫復(fù)何求?!====氣象的隨機性和不可預(yù)測性!第20頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述4.中國農(nóng)民問題—“一畝三分地”

--江綿恒副院長

“一個月過年,三個月種田,八個月賭錢!”

----潛伏著巨大的社會危機!賭錢—打麻將,斗地主等:典型的隨機過程.打橋牌:包含“確定性”和“隨機性”,總體上還是隨機過程.圍棋,象棋:本質(zhì)上可能不是隨機性質(zhì)的.但算法復(fù)雜度極高,人或機器的計算能力有限(算不清),所以實際上還是隨機過程.這些都是娛樂活動!—隨機性常給人類帶來驚喜和高品位的精神享受!第21頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述算法復(fù)雜度極高引起的“現(xiàn)實”隨機過程:NP類計算問題都具有這種性質(zhì)!（NPCOMPLETE

）Non-deterministicPolynomial

例如:貨郎擔(dān)問題,作業(yè)調(diào)度問題,背包問題,大數(shù)因子分解問題等等.----規(guī)模效應(yīng)

引發(fā)的系統(tǒng)復(fù)雜性和隨機性!例如:貨郎擔(dān)問題如果解決20個城市的貨郎擔(dān)問題需要1天時間;21城市:21天22城市:462天23城市:29年24城市:700年25城市:175世紀(jì)……30城市:3000億年----地球可能都?xì)缌?解決這類問題:多采用“隨機化的優(yōu)化方法”第22頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述5.醉漢行走問題

(隨機游動問題)--以概率p向前走一步,以概率q向后退一步.預(yù)測醉漢某時刻行走到什么位置—典型的隨機過程.--馬爾柯夫過程:未來僅與現(xiàn)狀相關(guān),跟歷史無關(guān)!醉漢:短時喪失記憶?----原因與機理何在?第23頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述6.電話總機某段時間接受的呼叫次數(shù)

----復(fù)雜性7.交通事故

----局部信息8.意外事件：驚喜，悲傷，創(chuàng)新，靈感,智能……復(fù)雜隨機過程涌現(xiàn)出的結(jié)果.9.遺傳演化過程：演化動力：自然選擇，基因突變，區(qū)域隔離，隨機瞟變

第24頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述門德爾的“基因遺傳學(xué)說”達(dá)爾文的“生物進化論”木村資生的“中性進化學(xué)說”

–隨機瞟變

----“觀察與思考”是極為重要的科研素質(zhì)!--向自然學(xué)習(xí),向社會學(xué)習(xí),向古今中外學(xué)習(xí),

向一草一木學(xué)習(xí)

.

“一片樹葉”也蘊含著復(fù)雜,自然的計算機制和計算機理.

第25頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述10.信號處理:濾波,編碼,加密,分離,音頻信號處理,視頻信號處理,腦電腦磁信號處理……等11.數(shù)據(jù)挖掘(信息,功能):隨機序列分析.12.經(jīng)濟發(fā)展,金融股市漲跌,自由市場的價位波動.13.自然災(zāi)害:水災(zāi)和火災(zāi)的蔓延,地震,海嘯的形成.14.公共安全:流行病的傳播等15.社會歷史發(fā)展—復(fù)雜的隨機過程.……

第26頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述

隨機過程基本概念1.隨機過程定義1.1:如果對于每個確定的（時刻或位置）

t1∈T,X(t1)

都是一個隨機變量，那么就稱X(t)為一隨機過程。

其中，T稱作參數(shù)集，多為時間和空間參數(shù)

第27頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述隨機過程:StochasticProcess----隨機性概率:Probability---傾向性隨機存取:RandomAccess—隨意訪問數(shù)學(xué)上的一些“猜想”—Guess---推測Bet,Gamble等近義詞隨機化技術(shù):隨機化程序:RandomizeRoutine隨機分組設(shè)計:Randomizedblockdesign

第28頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述2.獨立過程（不同時刻的狀態(tài)之間相互獨立，互不影響）定義1.2:對于時間t的任意n個數(shù)值

t1,t2,t3,……tn,如果隨機變量

X(t1)，X(t2)，……X(tn)

是相互獨立的，或者說隨機過程X(t)的n維聯(lián)合分布函數(shù)可以表示成：第29頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述性質(zhì)：獨立隨機過程的一維分布函數(shù)包含了該過程的全部統(tǒng)計信息。注：連續(xù)參數(shù)的獨立隨機過程從物理觀點來看是不存在的。3.獨立增量過程（增量相互獨立）定義1.3增量相互獨立,則稱該過程為獨立增量過程。獨立增量過程的重要子類是泊松(Poisson)過程和維納（Wiener）過程。

(1918年維納得出了布朗運動的精確數(shù)學(xué)公式)

信息論的先驅(qū)，控制論的奠基人，著名數(shù)學(xué)家，神童第30頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述4.馬爾柯夫（Markov）過程

過程未來的狀態(tài)僅跟當(dāng)前狀態(tài)有關(guān),跟過去狀態(tài)無關(guān).這個特性稱無后效性.1906年俄國數(shù)學(xué)家Markov對這一過程進行了研究，這類過程猶如某些可以用通常的微分方程初值問題所描述的物理過程。特點：當(dāng)過程在時刻t0所處的狀態(tài)為已知的條件下，過程在時刻t(t>t0)的狀態(tài)與過程在時刻t0之前的狀態(tài)無關(guān)，這個特性稱為無后效性，或Markov特性。（具體定義以后會詳細(xì)講。）例：遺傳過程，賭博過程，醉漢行走，等第31頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述5.平穩(wěn)隨機過程過程的主要隨機特性與時間起點無關(guān).例：貝努利實驗，泊松過程,賭博過程等。氣象預(yù)測，股市整體走勢分析，醫(yī)療診斷等--局部,短時的平穩(wěn)性.平穩(wěn)性:可利用過去的經(jīng)驗去預(yù)測未來.第32頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述隨機過程的分類按隨機特性分類：

(1)獨立隨機過程不同時刻的狀態(tài)之間相互獨立，互不影響。

(2)馬爾柯夫（Markov）過程過程未來的狀態(tài)僅跟當(dāng)前狀態(tài)有關(guān),跟過去狀態(tài)無關(guān).這個特性稱無后效性.(3)平穩(wěn)隨機過程過程的主要隨機特性與時間起點無關(guān).(4)獨立增量過程,有限方差過程等

第33頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述按參數(shù)與狀態(tài)空間分類：1.離散參數(shù)離散參數(shù)隨機過程又稱隨機序列。2.連續(xù)參數(shù)3.狀態(tài)空間可列4.狀態(tài)空間連續(xù)5.各種組合本課程教學(xué)內(nèi)容：1.隨機過程理論2.隨機過程模擬3.隨機過程應(yīng)用—隨機信號分析

第34頁，共123頁，2023年，2月20日，星期四第一講隨機過程概述學(xué)習(xí)方法建議:1.多查文獻(xiàn)資料(尤其外文)2.多思考一些隨機問題(物理概念要清晰)3.多動手(多運用計算機及其網(wǎng)絡(luò)編程,多寫一寫文章)4.多討論交流.5.立足前沿,敢于提出問題,敢于創(chuàng)新.

第35頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程§2.1Poisson過程*隨機建模的重要理論基石*廣泛的應(yīng)用背景*增量服從Poisson分布–

故稱Poisson過程歷史：1837年，泊松從二項分布出發(fā)，推導(dǎo)出在理論和應(yīng)用上都非常重要的泊松分布。1896年，VonBortkiewicz

研究了普魯士軍隊中被馬踢死的人數(shù)分布。1909年，Erlang

研究了電話交換臺的呼喚問題。1910年，Bateman研究了α粒子的計數(shù)問題。第36頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

典型Poisson過程主要有:1.電話總機所接到的傳呼次數(shù)（不能飽和）

2.二戰(zhàn)炮彈的彈著點（不是指“導(dǎo)彈”）

3.交通流中的事故數(shù),設(shè)備的故障發(fā)生數(shù)

4.災(zāi)害紀(jì)錄(水災(zāi),火災(zāi),地震,瘟疫等)5.網(wǎng)站網(wǎng)蟲訪問次數(shù)

6.車站碼頭候車候船候機的人數(shù)

7.細(xì)胞中染色體的交換事件等等第37頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程計數(shù)過程定義:

定義2.1

一個隨機過程{N(t),t≥0}稱為計數(shù)過程(countingprocess),如果N(t)表示在(0,t]內(nèi)事件A出現(xiàn)的次數(shù).

顯然:①N(t)≥0;②N(t)

是整數(shù);③如果s<t,則N(s)≤N(t);④對于s<t,N(t)-N(s)

表示時間間隔(s,t]

內(nèi)事件A出現(xiàn)的次數(shù).

第38頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

一個計數(shù)過程稱為獨立增量的,如果不相交疊的時間間隔內(nèi)事件出現(xiàn)的次數(shù)是相互獨立的.

一個計數(shù)過程稱為平穩(wěn)增量的,如果事件出現(xiàn)的次數(shù)的概率分布僅依賴于時間間隔的長度,而與起始時刻無關(guān).第39頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程泊松（Poisson）過程定義：定義2.2一個計數(shù)過程{N(t),t≥0}稱為齊次泊松過程（HomogeneousPoissonprocess），如果滿足下述3個條件：①N(0)=0;②N(t)

是獨立增量過程;③對于任意t>0,s≥0,增量N(s+t)-N(S)

服從參數(shù)為λt

的Poisson分布,即:

第40頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程以上定義中:1.齊次泊松過程簡稱泊松過程

;2.條件①規(guī)定了初始條件,不是實質(zhì)性的限制;3.條件②規(guī)定了泊松過程的增量獨立性,蘊含泊松過程的馬爾柯夫性;4.條件③蘊含了該過程的增量平穩(wěn)性,增量分布特性僅跟時間間隔[(s+t)-s=t]相關(guān),而與世間起始位置無關(guān).5.參數(shù)λ反映了隨機事件發(fā)生的頻繁性,常稱“強度”或“速率”第41頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程偶然事件/稀有事件/罕見事件的概率分布常服從Poisson分布.這是由于當(dāng)試驗次數(shù)很多而每次試驗的成功概率很小時,二項分布可以逼近Poisson分布.

這一性質(zhì)的自然推廣,我們可以得到幾個泊松過程的等價定義.

第42頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程定理2.1

下列四組條件中的任一組都是有限值計數(shù)過程{N(t),t≥0}為齊次泊松過程的充分必要條件:

條件2.1(1)P{N(0)=0}=1;(2)有平穩(wěn)增量;(3)對任意h>0,

當(dāng)h→0時,

P{N(h)≥2}=o(h);(4)有獨立增量.第43頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

條件2.2(1)P{N(0)=0}=1;(2)有平穩(wěn)增量;(3)幾乎處處有序;(4)有獨立增量.

條件2.3(1)P{N(0)=0}=1;(2)對任意h>0和t≥0,

當(dāng)h→0時,P{N(t+h)-N(t)≥2}=o(h),

且

P{N(t+h)-N(t)=1}=λh+o(h);(3)有獨立增量.第44頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程齊次泊松（Poisson）過程的主要特征:平穩(wěn)性(時間齊次性,時齊性)無后效性(馬爾柯夫性)有序性(普通性)第45頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程證明：

Poisson分布：第46頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程（指數(shù)函數(shù)冪級數(shù)展開）[證畢]第47頁，共123頁，2023年，2月20日，星期四指數(shù)函數(shù)泰勒級數(shù)展開第48頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程引理2.1設(shè)實值函數(shù)f(t)

(t≥

0)滿足函數(shù)方程

且它還滿足下列條件中的任一條：（1）f(t)是左或右連續(xù)函數(shù)；（2）f(t)是單調(diào)函數(shù)；（3）f(t)在任意區(qū)間有界；則，f(t)要么恒等于0，要么存在一常數(shù)λ

，使得：第49頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程證明：對任意正整數(shù)

n

和m，據(jù)題設(shè)條件：即對于任意正有理數(shù)t>0

有：（根據(jù)連續(xù)、單調(diào)、有界等條件，可將

t推廣到任意實數(shù)的情形，證略）又因為：所以，如果f(t)

不恒等于零，則必有：f(t)>0.第50頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程對于f(1)>0的情形，令：第51頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程定理2.3若有限值計數(shù)過程{N(t),t≥0}

具有平穩(wěn)增量和獨立增量，則對于所有t≥0

而且強度：第52頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程證明：令

易見對任意有由平穩(wěn)性和獨立性假設(shè)得：由概率性質(zhì)知是單調(diào)的，再根據(jù)引理2.1知，或者，或者存在一常數(shù)，使得：第53頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程最后：[證畢]

說明：理論上不存在這種情況（同學(xué)們可自己思考、證明），無實際意義。第54頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程§2.2Poisson過程與若干分布1.Poisson過程與均勻分布定理2.4設(shè)齊次泊松過程{N(t),t≥0}

的強度為λ，區(qū)間（0，T]內(nèi)恰好發(fā)生1個隨機事件，則這個隨機事件的發(fā)生時間有在（0，T]上的均勻分布。證明：對于任意實數(shù)

第55頁，共123頁，2023年，2月20日，星期四第56頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程推廣到n個隨機事件情形。定理2.5設(shè)齊次泊松過程{N(t),t≥0}

的強度為λ，對任意實數(shù)T>0,區(qū)間（0，T]內(nèi)恰好發(fā)生

n

個隨機事件，則這個過程的前n個隨機事件發(fā)生時間與n

個在（0，T]上均勻分布的相互獨立隨機變量的次序統(tǒng)計量有相同的n維聯(lián)合分布。第57頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程2.Poisson過程與二項分布設(shè)齊次泊松過程{N(t),t≥0}

的強度為λ，區(qū)間（0，T]內(nèi)恰好發(fā)生1個隨機事件，s

為（0，T]的點，據(jù)前面所述定理：

第58頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程定理2.6設(shè)齊次泊松過程{N(t),t≥0}

的強度為λ，對任意0<s≤T,任意正整數(shù)n

和0≤k≤n,有：

這是參數(shù)為

n

和s/T

的二項分布B(n,s/T).第59頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程證明：第60頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程記：則：利用這些記號，定理（2.6）可改寫成：推廣B是任意劃分的情形，得：第61頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程定理2.7設(shè)m是任意大于1的正整數(shù)，是滿足條件的任意非負(fù)整數(shù)，又設(shè)：是互不相交的區(qū)間，的長度是則:第62頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程課后仿效定理2.6自己證明定理2.7.“1837年，泊松從二項分布出發(fā)，推導(dǎo)出在理論和應(yīng)用上都非常重要的泊松分布。”----感興趣的課后調(diào)研研究一下。從物理角度調(diào)研、思考一下泊松過程的各種“等價定義”。第63頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程3.Poisson過程與指數(shù)分布記

為第n-1

次泊松事件與第n

次泊松事件的間隔時間。定理2.8是均值為的獨立同分布的指數(shù)隨機變量。服從參數(shù)為和的分布。（和也是隨機過程常研究的問題。）第64頁，共123頁，2023年，2月20日，星期四課程教學(xué)交互平臺“為什么我們的學(xué)校總是培養(yǎng)不出杰出人才？”這就是著名的“錢學(xué)森之問”。

端陽攜粽問屈原，忽見朱雀叩柵珊。

撲面曉風(fēng)醒醉客，拔茅連茹薦良賢。

QQ群：【復(fù)雜系統(tǒng)與計算智能】QQ號：176456530本人新浪博客：夢園柳鶯_新浪博客/xyz7901第65頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程§2.3齊次Poisson過程的疊加與稀疏1.疊加

設(shè)M={M(t),t>0}和

N={N(t),t>0}是強度分別為λ

和μ的齊次Poisson過程,且這兩過程相互獨立.令:

過程K={K(t),t>0}

稱作過程

M和N的疊加.M

NK第66頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程定理2.8上面定義的過程K是具有強度為的齊次泊松過程.證明:第67頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

這樣,我們就證明了K(B)有參數(shù)為的泊松分布.

需要特別指出的是:兩相互獨立的齊次泊松過程之差未必一定是齊次泊松過程.

(事件發(fā)生數(shù)可能取負(fù)值)第68頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程2.稀疏與分解設(shè)事件E的發(fā)生形成強度為λ齊次泊松過程{N(t),t≥0}.

如果每一發(fā)生的事件只以概率p

被記錄到.用M表示被記錄到的事件序列,并稱過程

M

為過程

N

的一個隨機稀疏.(或隨機選擇).定理2.9上面定義的過程

M是強度為λ

p的齊次泊松過程.第69頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程證明:第70頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

基于這個定理,我們還可導(dǎo)出如下的齊次泊松過程分解定理.定理2.10設(shè)N是強度為λ齊次泊松過程{N(t),t≥0}.

p

為任意0和1之間的常數(shù),則過程

N

可以分解為兩個相互獨立的齊次泊松過程M和M’,他們的強度分別為:

第71頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

證明:

設(shè)想,過程N的事件被以概率p紀(jì)錄,則由前面的定理知,N中被記錄的事件序列M是強度為λ

p的齊次泊松過程.余下的沒有被記錄的事件序列M’

(也是一種記錄)則形成強度為λq

的齊次泊松過程.

推論:設(shè)N是強度為λ齊次泊松過程{N(t),t≥0}.對于任意正整數(shù)r>=2,和任意r個滿足條件:

的正數(shù),可以將N分解為r個強度分別是:

的相互獨立的齊次泊松過程.第72頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

例:設(shè)白天運送乘客到機場的出租車形成一強度為:λ=30(輛/小時)的齊次泊松過程.如果每輛汽車載有1,2,3或4個乘客的概率分別為0.1,0.2,0.4和0.3.求在一小時內(nèi)由出租車送到機場的乘客的平均數(shù).解:由推論知,M1,M2,M3,M4有參數(shù)分別為3,6,12和9的泊松分布.

所以:E(M1+2

M2+3M3+4M4)=3+12+36+36=87

第73頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

§2.4齊次Poisson過程的模擬模擬----1.三大研究手段之一;(理論、實驗、模擬)2.兩大科研動力之一；（需求+模擬）

隨機模擬的基礎(chǔ)：獲得區(qū)間[0,1]上均勻分布的隨機變量的現(xiàn)實。（即通常所說的產(chǎn)生隨機數(shù)）有關(guān)均勻分布的兩個論斷：

第74頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程設(shè)X是一個具有連續(xù)分布函數(shù)F的隨機變量，則：

(i)隨機變量F(X)有在[0,1]上的均勻分布；

(ii)若U是在[0,1]上的均勻分布的隨機變量，則變量F-1(U)有分布函數(shù)F,這里F-1(U)是F的反函數(shù)。證明：(i)由假設(shè)知，分布函數(shù)F是一個單調(diào)不減函數(shù)，F(xiàn)-1必然存在，且與F一樣也是一個單調(diào)不減函數(shù)。由分布函數(shù)性質(zhì)知：且對于任意：第75頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程由分布函數(shù)定義：

第76頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程(ii)對任意實數(shù)x,

即F-1(U)

有分布函數(shù)F.證畢。第77頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程特別情形：當(dāng)F具有單位參數(shù)的指數(shù)分布，

U是在[0,1]上的均勻分布，(1-U)也是在[0,1]上的均勻分布。推知，隨機變量-logU具有單位參數(shù)的指數(shù)分布。

第78頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程進一步：設(shè)分布F有概率密度

f,則分布F的隨機數(shù)xi可由下述方程解出：例如：區(qū)間[a,b]上的均勻隨機數(shù)：

第79頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程再例如，參數(shù)為λ的指數(shù)分布的隨機數(shù)可由如下公式計算：

第80頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程離散隨機變量也可用[0，1]上均勻分布的隨機數(shù)來模擬：K=0,1,2,3,….對于泊松分布：代入（2。15）公式即可。第81頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程齊次Poisson過程的模擬方法1：設(shè)齊次泊松過程{N(t),t≥0}

的強度為λ，則其點間間距Tn(n=1,2,…)是相互獨立同分布的隨機變量，他們有參數(shù)為λ的指數(shù)分布，即：基于這一事實：初始化S(0)=0；t(0)=0;產(chǎn)生n個[0，1]上均勻分布的隨機數(shù)u(i);作變換t(i)=-logu(i)/λ;循環(huán)計算S(i)=S(i-1)+t(i)

第82頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程方法2：依據(jù)定理2.5

設(shè)齊次泊松過程{N(t),t≥0}

的強度為λ，對任意實數(shù)T>0,區(qū)間（0，T]內(nèi)恰好發(fā)生

n

個隨機事件，則這個過程的前n個隨機事件發(fā)生時間與n

個在（0，T]上均勻分布的相互獨立隨機變量的次序統(tǒng)計量有相同的n維聯(lián)合分布。（具體算法這兒不討論）第83頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程隨機數(shù)的產(chǎn)生：1.偽隨機數(shù)產(chǎn)生；2.真隨機數(shù)產(chǎn)生：

1）利用復(fù)雜性機理（人機）

2）混沌現(xiàn)象

3）模擬客觀現(xiàn)實（自然與社會）

4）物理測量（誤差，噪聲）

5）專用隨機數(shù)發(fā)生器件

6）物理特性（量子特性）

7）網(wǎng)絡(luò)（人機社會）3.混合隨機數(shù)產(chǎn)生偽隨機數(shù)+真隨機數(shù)第84頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程課程論文/報告：格式：1.標(biāo)題

2.提要

3.關(guān)鍵詞

4.正文

5.參考文獻(xiàn)科技論文寫法：4wWhat?Why?How?Whom?

第85頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程§2.5齊次Poisson過程的推廣非齊次Poisson過程齊次Poisson過程N(t)中的強度為常數(shù)λ。如果允許依賴于時刻t,所得的過程就是“非齊次Poisson過程”此時，

第86頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程2.復(fù)合Poisson過程每一隨機事件都附帶一個隨機變量。

第87頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程3.空間Poisson過程將參數(shù)集從“時間”（或直線）推廣到“空間”，就構(gòu)成“空間Poisson過程”。

例如：炮彈的彈著點分布可以看成“二維空間Poisson過程”；星星的空間分布可以看成“三維空間Poisson過程”；

第88頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程4.更新過程泊松事件發(fā)生的間隔時間Xi是均值為的獨立同分布的指數(shù)隨機變量。

第89頁，共123頁，2023年，2月20日，星期四第二講泊松（Poisson）過程

將間隔時間Xi服從的指數(shù)分布推廣到一般分布函數(shù)F(w),所得的過程就是更新過程。第90頁，共123頁，2023年，2月20日，星期四第三講Markov過程

1906年，俄國數(shù)學(xué)家Markov對這一過程進行了開創(chuàng)性研究，Markov過程因此而得名。理論完善和發(fā)展：Kolmogorov,Fellor,Doob等數(shù)學(xué)家

（1837年，法國著名數(shù)學(xué)家Poisson從二項分布出發(fā)，通過極限過程首次推導(dǎo)出理論和應(yīng)用上都很重要的Poisson分布。）

粗略而言，Markov特性就是指過程的“未來狀態(tài)”與“過去歷史”無關(guān)。（但跟“現(xiàn)狀”可能有關(guān)系）第91頁，共123頁，2023年，2月20日，星期四第三講Markov過程Markov過程的分類：一般，依據(jù)過程的“參數(shù)空間”和“狀態(tài)空間”特性進行分類。“參數(shù)空間”：連續(xù)時間、離散時間“狀態(tài)空間”：連續(xù)狀態(tài)、離散狀態(tài)（有限狀態(tài)）離散時間Markov鏈，連續(xù)時間Markov鏈，有限狀態(tài)Markov鏈，等等連續(xù)時間+連續(xù)狀態(tài)：Markov過程

本課程主要研究Markov鏈，特別是“有限狀態(tài)離散時間Markov鏈”。

第92頁，共123頁，2023年，2月20日，星期四第三講Markov過程§3.1離散Markov鏈的定義考慮隨機過程{Xn,n=0,1,2,……}n代表離散時間，Xn取值的狀態(tài)空間為“有限集”或“可列集”。定義3.1

如果對任何一列狀態(tài)隨機過程{Xn,n=0,1,2,……}滿足Markov性質(zhì)則稱過程{Xn,n=0,1,2,……}為離散時間Markov鏈。（簡稱“Markov鏈”）第93頁，共123頁，2023年，2月20日，星期四第三講Markov過程

定義3.2設(shè)過程{Xn,n=0,1,2,……}為一離散時間Markov鏈。給定在狀態(tài)i時，處于狀態(tài)j的條件概率，

稱作Markov鏈的一步轉(zhuǎn)移概率，記作：當(dāng)這一概率與時刻n無關(guān)時，稱該Markov鏈有平穩(wěn)轉(zhuǎn)移概率，并記作：。本課程將主要討論有平穩(wěn)轉(zhuǎn)移概率的Markov鏈。顯然：第94頁，共123頁，2023年，2月20日，星期四第三講Markov過程通常把排成一個方陣。記作P.該方陣稱作Markov鏈的轉(zhuǎn)移概率矩陣。一個Markov鏈可由它的初始狀態(tài)（或初始狀態(tài)的概率分布）和轉(zhuǎn)移概率矩陣所完全確定。第95頁，共123頁，2023年，2月20日，星期四第三講Markov過程

記：則：

第96頁，共123頁，2023年，2月20日，星期四第三講Markov過程n步轉(zhuǎn)移概率：以n步轉(zhuǎn)移概率作為矩陣元素的矩陣稱為Markov鏈的n步轉(zhuǎn)移概率矩陣。記作：定理3.1Markov鏈的n步轉(zhuǎn)移概率矩陣滿足：

第97頁，共123頁，2023年，2月20日，星期四第三講Markov過程證明：

第98頁，共123頁，2023年，2月20日，星期四第三講Markov過程

寫成矩陣形式：更一般情形，對于任何

寫成元素形式，得到著名的Chapman-Kolmogorov方程：第99頁，共123頁，2023年，2月20日，星期四第三講Markov過程

例子：賭博基因遺傳退火/模擬退火第100頁，共123頁，2023年，2月20日，星期四復(fù)雜性科學(xué)與智能計算（2）報告人：陳賢富中國科學(xué)技術(shù)大學(xué)電子科學(xué)與技術(shù)系E_mail:xfchen@Tel:3602173(o)3661273(H101頁，共123頁，2023年，2月20日，星期四攻城不怕堅

攻書莫畏難

科學(xué)有險阻

苦戰(zhàn)能過關(guān)

----葉劍英元帥

1977年安徽高考作文題：“從科學(xué)有險阻苦戰(zhàn)能過關(guān)談起”第102頁，共123頁，2023年，2月20日，星期四往哪兒談？演化性==〉非線性==〉復(fù)雜性==〉創(chuàng)造性模式定理==〉混沌現(xiàn)象==〉涌現(xiàn)機制==〉突生演化==〉創(chuàng)新系統(tǒng)模型第103頁，共123頁，2023年，2月20日，星期四報告內(nèi)容1.“復(fù)雜性”的根源2.3.積木塊假設(shè)與混沌現(xiàn)象4.復(fù)雜系統(tǒng)與復(fù)雜性（簡介）5.突生演化==創(chuàng)新過程6.創(chuàng)新:豐富聯(lián)想+隨機碰撞（個人觀點）第104頁，共123頁，2023年，2月20日，星期四1.

Holland的生物進化模擬與復(fù)雜自適應(yīng)系統(tǒng)（1）科學(xué)技術(shù)發(fā)展的源泉----路甬祥院長

1.生產(chǎn)、生活

2.模擬自然1960年前后，Holland企圖運用計算機模擬生物的遺傳演化過程

沒料到：遺傳模擬==〉優(yōu)化算法1975年，Holland出版名著“自然與人工系統(tǒng)的自適應(yīng)”遺傳算法的基本思想：達(dá)爾文進化論+門德爾遺傳學(xué)說遺傳算法的基本構(gòu)架：選擇+交叉+變異遺傳算法的基本理論：Holland模式定理第105頁，共123頁，2023年，2月20日，星期四1.

Holland的生物進化模擬與復(fù)雜自適應(yīng)系統(tǒng)（2）再次出乎所料：精心模擬達(dá)爾文進化論的遺傳算法實際上反映的是非達(dá)爾文主義進化思想。

----由選擇+交叉+變異三個基本GA算子構(gòu)成的遺傳算法卻呈現(xiàn)出獨特的階躍性、探險式搜索方式和學(xué)習(xí)能力，這種階躍性、探險式搜索方式反映了突生演化的主要特征。

80年代中后期，

Holland轉(zhuǎn)入非線性、復(fù)雜性科學(xué)領(lǐng)域智能誕生在混沌邊緣智能==復(fù)雜自適應(yīng)系統(tǒng)第106頁，共123頁，2023年，2月20日，星期四2.關(guān)于Holland模式定理的理論研究

生物進化動力(主流觀點)

自然選擇基因突變區(qū)域隔離與基因流動隨機漂變標(biāo)準(zhǔn)遺傳算法基本算子（Holland）：

選擇（selection）交叉（crossover）變異（mutation）Holland模式定理推導(dǎo)思路：交叉操作破壞模式（Schema）變異操作破壞模式（Schema）

第107頁，共123頁，2023年，2月20日，星期四2.關(guān)于Holland模式定理的理論研究(2)Holland的模式定理 在選擇、交叉和變異操作的作用下，低模階、短模長、高適應(yīng)度的優(yōu)模式在連續(xù)后代中呈指數(shù)級增長。Holland模式定理的缺陷

1.模式增長的下限估計過低

2.不能解釋遺傳算法的收斂過程第108頁，共123頁，2023年，2月20日，星期四2.關(guān)于Holland模式定理的理論研究(3)Holland忽略的模式增長因素

1.隱含模式H的個體之間進行交叉對模式H的保護作用。2.模式H與非H模式相交叉時，模式H的生存機會。

a)交叉位點在模式H之外；

b)個體間模式相似度極高。3.非模式H的個體在交叉和變異過程中，創(chuàng)造模式H第109頁，共123頁，2023年，2月20日，星期四2.關(guān)于Holland模式定理的理論研究(3)同模式（具有共同特征）個體之間的交叉對模式H的保護作用：

1）優(yōu)模式在遺傳演化過程中呈指數(shù)級增長；

2）人以群聚，物一類分。

同類交配是自然遺傳的主要方式；第110頁，共123頁，2023年，2月20日，星期四

2.關(guān)于Holland模式定理的理論研究(4)修正的模式定理：

經(jīng)標(biāo)準(zhǔn)GA遺傳操作后，種群中模式H數(shù)目的數(shù)學(xué)期望值可用下式進行估計：修正的模式定理的下界始終是大于Holland模式定理的下界的。Holland模式定理并未涉及模式數(shù)量這一因素，但修正的模式定理明確的表明：模式的增長不僅僅跟模式的平均適應(yīng)度有關(guān)，而且還與模式的相對數(shù)量有關(guān)。第111頁，共123頁，2023年，2月20日，星期四2.關(guān)于Holland模式定理的理論研究(5)結(jié)論：1.提高了模式估計的下限；2.揭示了低階模式主要靠適應(yīng)度占優(yōu)不斷發(fā)展，高階模式主要靠數(shù)量占優(yōu)維持生存的GA模式演變特性。第112頁，共123頁，2023年，2月20日，星期四3.

積木塊假設(shè)與混沌現(xiàn)象積木塊假設(shè)：在選擇、交叉和變異操作的作用下，低模階、短模長、高適應(yīng)度的優(yōu)模式（積木塊）在連續(xù)后代中呈指數(shù)級增長?；煦纾赫`差隨時間呈指數(shù)級增長。問題：可否用遺傳算法模擬混沌現(xiàn)象？指數(shù)級增長==〉純隨機==〉不可預(yù)測==〉復(fù)雜涌現(xiàn)第113頁，共123頁，2023年，2月20日，星期四4.

復(fù)雜系統(tǒng)與復(fù)雜性（簡介）l

當(dāng)代科學(xué)的發(fā)展特