算法效率基礎

2-算法效率分析基礎陸偉CollegeofSoftwareandMicroelectronics算法設計與分析IntroductiontotheDesignandAnalysisofAlgorithms

19January2023NorthwesternPolytechnicalUniversityLectureOverview1.算法效率的度量

2.函數(shù)的漸進的界3.算法的基本復雜性類型4.

算法復雜性分析的基本方法5.非遞歸算法的復雜性分析6.遞歸算法的復雜性分析7.遞歸算法與非遞歸算法比較8.經(jīng)驗分析方法9.算法可視化2算法效率的度量算法效率的高低體現(xiàn)在運行該算法所需要耗費資源的多少，對于計算機來講，最重要的資源是時間和空間，因此，算法效率又可分為時間效率和空間效率。分別用N，I和A表示要解決問題的規(guī)模、算法的輸入和算法本身，用C表示復雜性，那么，應該有C=F(N,I,A)。如果吧時間復雜性與空間復雜性分開，分別用T和S表示，則T=F(N,I,A)，S=F(N,I,A)。T=T(N,I)，S=S(N,I)。3算法效率的度量計算機存儲容量的發(fā)展使得算法空間復雜性已經(jīng)不再是關注的重點，但時間復雜性仍然十分重要。因此，我們后續(xù)也將主要討論算法的時間復雜性，但是所討論的方法對于空間復雜性分析也是適用的。根據(jù)T=T(N,I)的概念，它應該是算法在一臺“抽象的計算機”上運行所需要的時間。4算法效率的度量設該“抽象的計算機”所提供的元運算有k種，分別記為O1,O2,…,Ok，又設每執(zhí)行一次這些元運算所耗費的時間分別為t1,t2,…,tk。對于給定算法A，統(tǒng)計其執(zhí)行過程中用到的元運算Oi的次數(shù)，記為ei，i=1,2,…,k。ei=ei(N,I)。其中，ti是與N和I無關的常數(shù)。5算法效率的度量我們不可能對規(guī)模為N的每一種合法輸入I都去統(tǒng)計ei(N,I)，i=1,2,…,k。關于攤銷效率6函數(shù)的漸進的界函數(shù)的漸進的界設f和g是定義域為自然數(shù)集N上的函數(shù)(1)f(n)=O(g(n))若存在正數(shù)c和n0使得對一切n≥n0有0≤f(n)≤cg(n)(2)f(n)=Ω(g(n))若存在正數(shù)c和n0使得對一切n≥n0有0≤cg(n)≤f(n)(3)f(n)=o(g(n))對任意正數(shù)c存在n0使得對一切n≥n0有0≤f(n)<cg(n)(4)f(n)=ω(g(n))對任意正數(shù)c存在n0使得對一切n≥n0有0≤cg(n)<f(n)(5)f(n)=Θ(g(n))?f(n)=O(g(n))且f(n)=Ω(g(n))(6)O(1)表示常數(shù)函數(shù)7函數(shù)的漸進的界8函數(shù)的漸進的界函數(shù)漸進的界的基本性質(zhì)（1）設f和g

是定義域為自然數(shù)集N上的函數(shù)：（1）若，c為大于0的常數(shù)，那么

f(n)=Θ(g(n))

（2）若，那么

f(n)=o(g(n))（3）若，那么

f(n)=ω(g(n))9函數(shù)的漸進的界函數(shù)漸進的界的基本性質(zhì)（2）設f,g,h

是定義域為自然數(shù)集N上的函數(shù)：（1）如果f=O(g)且g=O(h)，那么f=O(h).（2）如果f=Ω(g)且g=Ω(h)，那么f=Ω(h).（3）如果f=Θ(g)和g=Θ(h)，那么f=Θ(h).(4)O(f(n))+O(g(n))=

O(max{f(n),g(n)})(5)O(f(n))+O(g(n))=

O(f(n)+g(n))(6)O(f(n))*O(g(n))=

O(f(n)*g(n))10函數(shù)的的漸進進的界界函數(shù)漸漸進的的界的的基本本性質(zhì)質(zhì)（3）設f,g,h是定義義域為為自然然數(shù)集集N上的函函數(shù)，，若對對某個個其它它的函函數(shù)h,我們有有f=O(h)和g=O(h)，那么么f+g=O(假設f和g是定義域為自然數(shù)集合的函數(shù)，且滿足g=O(f)，那么f+g=Θ(f).11函數(shù)的的漸進進的界界例：多項式式函數(shù)數(shù)f(n)=a0+a1n+a2n2+…+adnd，其中中ad≠0，證明明f(n)=Θ(nd)。證明。證明log對于b>1和α>0，logbn=o(nα)，nα=o(bn)。n!=o(nn)，n!=ω(2n)，log(n!)=Θ(nlogn)12算法的的基本本復雜雜性類類型13算法復復雜性性分析析的基基本方方法（1）決定定表示示輸入入規(guī)模模的參參數(shù)。。（2）找出出算法法的基基本操（3）檢查基本操作的執(zhí)行次數(shù)是否只依賴于輸入規(guī)模。如果還依賴于輸入的其它特性，考慮最差、平均以及最優(yōu)情況下的復雜性。（4）對于非遞歸算法，建立算法基本操作執(zhí)行次數(shù)的求和表達式；對于遞歸算法，建立算法基本操作執(zhí)行次數(shù)的遞推關系及其初始條件。。（5）利用求和公式和法則建立一個操作次數(shù)的閉合公式，或者求解遞推關系式，確定增長的階。14非遞歸歸算法法的復復雜性性分析析對于等等差數(shù)數(shù)列{ak}，對于等等比數(shù)數(shù)列{aqk}，對于調(diào)調(diào)和級級數(shù){1/k}，對數(shù)求求和，，15非遞歸歸算法法的復復雜性性分析析例16算法MaxElement(A[0..n-1]//求給定定數(shù)組組中的的最大大元素素//輸入：：實數(shù)數(shù)數(shù)組組A[0..n-1]//輸出：：A中的最最大元元素maxval←A[0]fori←1ton-1doifA[i]>maxvalmaxval←A[i]returnmaxval非遞歸歸算法法的復復雜性性分析析（1）算法法輸入入規(guī)模模：可可以用用數(shù)組組元素素個數(shù)數(shù)n度量（2）基本操作：：比較與賦值值兩種，選擇擇比較（3）比較操作只只與輸入規(guī)模模相關，不用用考慮最壞、、平均、最好好情況（4）建立基本操操作執(zhí)行次數(shù)數(shù)求和表達式式（5）確定增長的的階17非遞歸算法的的復雜性分析析18算法UniqueElements(A[0..n-1]//驗證給定數(shù)組組中的元素是是否全部唯一一//輸入：實數(shù)數(shù)數(shù)組A[0..n-1]//輸出：如果A中的元素全部部唯一，返回回“true”，否則，返回回“false””fori←1ton-2doforj←←i+1ton-1doifA[i]=A[j]returnfalsereturntrue非遞歸算法的的復雜性分析析19template<classType>voidinsertion_sort(Type*a,intn){Typekey;//costtimesfor(inti=1;i<n;i++){//c1nkey=a[i];//c2n-1intj=i-1;//c3n-1while(j>=0&&a[j]>key){//c4sumoftia[j+1]=a[j];//c5sumof(ti-1)j--;//c6sumof(ti-1)}a[j+1]=key;//c7n-1}}非遞歸算法的的復雜性分析析20在最好情況下下，ti=1,for1i<n;在最壞情況下下，tii+1,for1遞歸算法的復復雜性分析21T(n)=an-1T(1)+（1）若取a=2，f(n)=O(1)，漢諾塔問題題T(n)=O(2n-1)（2）若取a=1，f(n)=n-1，插入排序最最壞情況T(n)=O(n2)遞歸算法的復復雜性分析22T(n)=（1）若，ε>0，（2）若，，（3）若，，ε>0，遞歸算法的復復雜性分析當f(n)為常數(shù)時當f(n)=cn時23遞歸算法的復復雜性分析例24inthanoi(intn,inta,intb,intc){if(n=1)move(a,c);else{hanoi(n-1,a,c,b);move(a,c);hanoi(n-1,b,a,c);}}遞歸算法的復復雜性分析T(n)=T(n/3)+T(2n/3)+n25遞歸算法與非非遞歸算法比比較階乘問題26遞歸算法與非非遞歸算法比比較27intfactorial(intn){if(n==0)return1;returnn*factorial(n-1);}intfactorial(intn){intfn=1;for(inti=2;i<=n;i++)fn=fn*i;returnfn;}遞歸算法與非非遞歸算法比比較Fibonacci數(shù)列28邊界條件遞歸方程intfibonacci(intn){if(n<=1)returnn;returnfibonacci(n-1)+fibonacci(n-2);}遞歸算法與非非遞歸算法比比較29遞歸算法與非非遞歸算法比比較30staticintFibonacci2(intn){int[]a=newint[n];a[0]=1;a[1]=1;for(inti=2;i<n;i++){a[i]=a[i-1]+a[i-2];}returna[n-1];}遞歸算法與非非遞歸算法比比較31遞歸算法與非非遞歸算法比比較32并非所有遞歸歸算法都有非非遞歸定義。。Ackerman函數(shù)Ackerman函數(shù)A(n,m)有兩個獨立的的整型變量m≥0和n≥0，定義如下：：當一個函數(shù)及及它的一個變變量是由函數(shù)數(shù)自身定義時時，稱這個函函數(shù)是雙遞歸函數(shù)。遞歸算法與非非遞歸算法比比較Ackerman函數(shù)33A(n，m)的自變量m的每一個值都都定義了一個個單變量函數(shù)數(shù)：m=0時，A(n,0)=n+2m=1時，A(n,1)=A(A(n-1,1),0)=A(n-1,1)+2，A(1,1)=2故A(n,1)=2nm=2時，A(n,2)=A(A(n-1,2),1)=2A(n-1,2)，A(1,2)=A(A(0,2),1)=A(1,1)=2，故A(n,2)=2n。m=3時，類似的可可以推出A(n,3)=經(jīng)驗分析法數(shù)學遠遠不是是萬能的，即即使許多貌似似簡單的算法法，有時也很很難用數(shù)學的的精確性和嚴嚴格性來分析析，尤其是在在做平均效率率分析的時候候。除了可以對算算法的效率做做數(shù)學分析以以外，另一種種主要方法是是對算法的效效率做實驗和和經(jīng)驗分析。。34經(jīng)驗分析法35算法可視化參考36Summary9、靜夜四無無鄰，荒居居舊業(yè)貧。。。1月-231月-23Sunday,January1,202310、雨雨中中黃黃葉葉樹樹，，燈燈下下白白頭頭人人。。。。14:08:2814:08:2814:081/1/20232:08:28PM11、以我我獨沈沈久，，愧君君相見見頻。。。1月-2314:08:2814:08Jan-2301-Jan-2312、故人人江海海別，，幾度度隔山山川。。。14:08:2814:08:2814:08Sunday,January1,202313、乍見翻翻疑夢，，相悲各各問年。。。1月-231月-2314:08:2814:08:28January1,202314、他鄉(xiāng)生白白發(fā)，舊國國見青山。。。01一月月20232:08:28下下午14:08:281月-2315、比不了得得就不比，，得不到的的就不要。。。。一月232:08下下午1月-2314:08January1,202316、行行動動出出成成果果，，工工作作出出財財富富。。。。2023/1/114:08:2914:08:2901January202317、做前，能能夠環(huán)視四四周；做時時，你只能能或者最好好沿著以腳腳為起點的的射線向前前。。2:08:29下午2:08下下午14:08:291月-239、沒沒有有失失敗敗，，只只有有暫暫時時停停止止成成功功?。?。。1月月-231月月-23Sunday,January1,202310、很多事事情努力力了未必必有結果果，但是是不努力力卻什么么改變也也沒有。。。14:08:2914:08:2914:081/1/20232:08:29PM11、成功就就是日復復一日那那一點點點小小努努力的積積累。。。1月-2314:08:2914:08Jan-2301-Jan-2312、世間成事事，不求其其絕對圓滿滿，留一份份不足，可可得無限完完美。。14:08:2914:08:2914:08Sunday,January1,202313、不不知知香香積積寺寺，，數(shù)數(shù)里里入入云云峰峰。。。。1月月-231月月-2314:08:2914:08:29January1,202314、意志志堅強強的人人能把把世界界放在在手中中像泥泥塊一一樣任任意揉揉捏。。01一一月月20232:08:29下下午14:08:291月-2315、楚塞塞三湘湘接，，荊門門九派派通。。。。。一月232:08下下午午1月-2314:08January1,202316、少年十十五二十十時，步步行奪得得胡馬騎騎。。2023/1/114:08:2914:08:2901January202317、空山新雨后后，天氣晚來來秋。。2:08:29下午2:08下下午14:08:291月-239、楊柳散和和風，青山山澹吾慮。。。1月-231月-23Sunday,January1,202310、閱讀一一切好書書如同和和過去最最杰出的的人談話話。14:08:2914:08:2914:08