mit牛人數(shù)學(xué)分支(精)

1、過(guò)去的一年中，我一直在數(shù)學(xué)的海洋中游蕩，research 進(jìn)展不多，對(duì)于數(shù)學(xué)世界的閱歷算是有了一些長(zhǎng)進(jìn)。為什么要深入數(shù)學(xué)的世界作為計(jì)算機(jī)的學(xué)生，我沒(méi)有任何企圖要成為一個(gè)數(shù)學(xué)家。我學(xué)習(xí)數(shù)學(xué)的目的，是一些。說(shuō)起來(lái)，我在剛來(lái)這個(gè)學(xué)校的時(shí)候，并沒(méi)有預(yù)料到我將會(huì)有一個(gè)深入數(shù)學(xué)appearance motion 建立一個(gè)unified modelComputer Vision 中百花齊放的世界中并沒(méi)有任Graphical Model 把各種東西聯(lián)合在一起framework，在近年的論文中并不少見(jiàn)。Graphical Model panacea，并不能取代對(duì)于所研究的問(wèn)題的深入的鉆研。如果統(tǒng)計(jì)“下游”的學(xué)科

2、也就沒(méi)有存在的必要了。事實(shí)上，開(kāi)始的Vision Graphical Model我的導(dǎo)師指出，這樣的做法只是重復(fù)一些標(biāo)準(zhǔn)的流程，并沒(méi)有很大的價(jià)值。經(jīng)過(guò)很長(zhǎng)時(shí)間的反復(fù)，另外一個(gè)路徑慢慢被確立下來(lái)“原子”的某種空間分布構(gòu)成的，原子群的運(yùn)動(dòng)形成了動(dòng)態(tài)的可視過(guò)程。微觀(guān)意義要我們?nèi)グl(fā)掘。在深入探索這個(gè)題目的過(guò)程中，遇到了很多很多的問(wèn)題，如何描述一個(gè)一般的運(yùn)動(dòng)過(guò)程，如何建立一個(gè)穩(wěn)定并且廣泛適用的原子表達(dá)，如何刻畫(huà)微觀(guān)運(yùn)動(dòng)和宏觀(guān)分布變換的聯(lián)系，還有很多。在這個(gè)過(guò)程中，我發(fā)現(xiàn)了兩個(gè)事情：我原有的數(shù)學(xué)基礎(chǔ)已經(jīng)遠(yuǎn)遠(yuǎn)不能適應(yīng)我對(duì)這些問(wèn)題的深入研究。在數(shù)學(xué)中，有很多思想和工具，是非常適合解決這些問(wèn)題的，只是沒(méi)有被很多

3、的應(yīng)用科學(xué)的研究者重視。有了更強(qiáng)大的武器去面對(duì)這些問(wèn)題的挑戰(zhàn)。我的游歷并沒(méi)有結(jié)束，我的視野相比于這個(gè)博大精深的世界的依舊顯得非常狹 高級(jí)別的數(shù)學(xué)對(duì)于具體應(yīng)用究竟有何好處。集合論：現(xiàn)代數(shù)學(xué)的共同基礎(chǔ)現(xiàn)代數(shù)學(xué)有數(shù)不清的分支，但是，它們都有一個(gè)共同的基礎(chǔ)集合論因?yàn)樗?，?shù)學(xué)這個(gè)龐大的家族有個(gè)共同的語(yǔ)言。集合論中有一些最基本的概念：集合(set)，關(guān)系(relation)，函數(shù)(function)(equivalence)言中幾乎必然存在的。對(duì)于這些簡(jiǎn)單概念的理解，是進(jìn)一步學(xué)些別的數(shù)學(xué)的基礎(chǔ)。我相信，理工科大學(xué)生對(duì)于 這些都不會(huì)陌生。不過(guò)，有一個(gè)很重要的東西就不見(jiàn)得那么家喻戶(hù)曉了那就是“選擇公理” (A

4、xiom of Choice)。這個(gè)公理的意思是“合中各拿出一個(gè)元素?！彼坪跏秋@然得不能再顯然的命題。不過(guò)，這個(gè)貌似-塔斯基分球定理 “一個(gè)球，能分成五個(gè)部分，對(duì)它們進(jìn)行一系列剛性變換（平移旋轉(zhuǎn)）后，能組合成兩個(gè)一樣大小的球”。正因?yàn)檫@些完全有悖常識(shí)的結(jié)論，導(dǎo)致數(shù)學(xué)界曾經(jīng)在相當(dāng)長(zhǎng)時(shí)間里對(duì)于是否接受它有著激烈爭(zhēng)論。現(xiàn)在，主流數(shù)學(xué)家對(duì)于它應(yīng)該是基本接受的，因?yàn)楹芏鄶?shù)學(xué)分支的重要定理都依賴(lài)于它。在我們后面要回說(shuō)到的學(xué)科里面，下面的定理依賴(lài)于選擇公理：拓?fù)鋵W(xué)：Baire Category Theorem實(shí)分析（測(cè)度理論）：Lebesgue 不可測(cè)集的存在性泛函分析四個(gè)主要定理：Hahn-Banach

5、Extension Theorem, Banach-Steinhaus Theorem (Uniform boundedness principle), Open Mapping Theorem, Closed Graph Theorem在集合論的基礎(chǔ)上，現(xiàn)代數(shù)學(xué)有兩大家族：分析(Analysis)和代數(shù)(Algebra)。至于其它的，比如幾何和概率論，在古典數(shù)學(xué)時(shí)代，它們是和代數(shù)并列的，但是它們的現(xiàn)代版本則基本是建立在分析或者代數(shù)的基礎(chǔ)上，因此從現(xiàn)代意義說(shuō)，它們和分析與代數(shù)并不是平行的關(guān)系。分析：在極限基礎(chǔ)上建立的宏偉大廈微積分：分析的古典時(shí)代從牛頓到柯西先說(shuō)說(shuō)分析(Analysis)吧，它

6、是從微積分(Caculus)分教材名字叫“數(shù)學(xué)分析”的原因。不過(guò)，分析的范疇遠(yuǎn)不只是這些，我們?cè)诖髮W(xué)(integral)，微分方程(differential equation)，還有級(jí)數(shù)(infinite series)這些基本的概念，在初等的微積分里面都有介紹。如果說(shuō)有一個(gè)思想貫穿其中，那就是極限這是整個(gè)分析（不僅僅是微積分）的靈魂。一個(gè)很多人都聽(tīng)說(shuō)過(guò)的故事，就是牛頓(Newton)和萊布尼茨 (Leibniz)關(guān)于微積分發(fā)明權(quán)的爭(zhēng)論。事實(shí)上，在他們的時(shí)代，很多微積分的工具開(kāi)始運(yùn)用在科學(xué)和工程之中，但是，微積分的基礎(chǔ)并沒(méi)有真正建立。那個(gè) 長(zhǎng)時(shí)間一直解釋不清楚的“無(wú)窮小量”的幽靈，困擾了數(shù)學(xué)界

7、一百多年的時(shí)間這就是“第二次數(shù)學(xué)危機(jī)”。直到柯西用數(shù)列極限的觀(guān)點(diǎn)重新建立了微積分的基本 概念，這門(mén)學(xué)科才開(kāi)始有了一個(gè)比較堅(jiān)實(shí)的基礎(chǔ)。直到今天，整個(gè)分析的大廈還是建立在極限的基石之上?？挛?Cauchy)19 世紀(jì)的時(shí)候，分析的世界仍然有著一些揮之不去的烏云。而其中最重要的一個(gè)沒(méi)有解決的是“函數(shù)是否可積的問(wèn)題”“無(wú)限分割區(qū)間，取矩陣面積和的極限”1850 年由黎曼(Riemann)提出的， （黎曼可積）？證明了，定義在閉區(qū)間內(nèi)的連續(xù)函數(shù)是黎曼可積的?？墒?，這樣的結(jié)果并不令人實(shí)分析：在實(shí)數(shù)理論和測(cè)度理論上建立起現(xiàn)代分析19世紀(jì)中后期，不連續(xù)函數(shù)的可積性問(wèn)題一直是分析的重要課題。對(duì)于定義“不連續(xù)的點(diǎn)

8、足夠少”。只有有限處不連續(xù)的函數(shù)是可積的，可是很多有數(shù)學(xué)家們構(gòu)造出很多在無(wú)限處不連準(zhǔn)。在探討“點(diǎn)集大小”這個(gè)問(wèn)題的過(guò)程中，數(shù)學(xué)家發(fā)現(xiàn)實(shí)數(shù)軸這個(gè)他們?cè)?jīng)下，實(shí)數(shù)理論在這個(gè)時(shí)候被建立起來(lái)，它的標(biāo)志是對(duì)實(shí)數(shù)完備性進(jìn)行刻畫(huà)的幾條（確界定理，區(qū)間套定理，柯西收斂定理，Bolzano-Weierstrass TheoremHeine-Borel Theorem等等）這些定理明確表達(dá)出實(shí)數(shù)和有理數(shù)的根本區(qū)別：完備性（很不嚴(yán)格的說(shuō)，就是對(duì)極限運(yùn)算封閉）。隨著對(duì)實(shí)數(shù)認(rèn)識(shí)的深入，如何測(cè)量“”的問(wèn)題也取得了突破，勒貝格創(chuàng)造性地把關(guān)于集合的Outercontent（就是“外測(cè)度”的一個(gè)雛形）的概念結(jié)合起來(lái)，建立了測(cè)度

9、理論(MeasureTheory)，并且進(jìn)一步建立了以測(cè)度為基礎(chǔ)的積分勒貝格(LebesgueIntegral)。在這個(gè)新的積分概念的支持下，可積性問(wèn)題變得一目了然。上面說(shuō)到的實(shí)數(shù)理論，測(cè)度理論和勒貝格積分，構(gòu)成了我們現(xiàn)在稱(chēng)為實(shí)分析 (RealAnalysis)似乎沒(méi)有古典微積分那么“實(shí)用”戲，它的現(xiàn)實(shí)意義在于為許多現(xiàn)代的應(yīng)用數(shù)學(xué)分支提供堅(jiān)實(shí)的基礎(chǔ)。下面，我僅僅列舉幾條它的用處：黎曼可積的函數(shù)空間不是完備的，但是勒貝格可積的函數(shù)空間是完備的。簡(jiǎn)單的說(shuō)，一個(gè)黎曼可積的函數(shù)列收斂到的那個(gè)函數(shù)不一定是黎曼可積的，但是勒貝格可積的函數(shù)列必定收斂到一個(gè)勒貝格可積的函數(shù)。在泛函分析，還有逼近理論 “函數(shù)的

10、極限”，或者“函數(shù)的級(jí)數(shù)”paperLp貝格積分。勒貝格積分是傅立葉變換（這東西在工程中到處都是）的基礎(chǔ)。很多關(guān)于信號(hào)處理的初等教材，可能繞過(guò)了勒貝格積分，直接講點(diǎn)面對(duì)實(shí)用的東西而不談它的數(shù)學(xué)基礎(chǔ)，但是，對(duì)于深層次的研究問(wèn)題特別是希望在理論中能做一些工作這并不是總能繞過(guò)去。在下面，我們還會(huì)看到，測(cè)度理論是現(xiàn)代概率論的基礎(chǔ)。拓?fù)鋵W(xué)：分析從實(shí)數(shù)軸推廣到一般空間現(xiàn)代分析的抽象基礎(chǔ)隨著實(shí)數(shù)理論的建立，大家開(kāi)始把極限和連續(xù)推廣到更一般的地方的分析。事實(shí)上，很多基于實(shí)數(shù)的概念和定理并不是實(shí)數(shù)特有的。很多特性可以抽象出來(lái)，推廣到更一般的空間里面。對(duì)于實(shí)數(shù)軸的推廣，促成了點(diǎn)集拓?fù)鋵W(xué)(Point- set To

11、pology)的建立。很多原來(lái)只存在于實(shí)數(shù)中的概念，被提取出來(lái)，進(jìn)行一般性的討論。在拓?fù)鋵W(xué)里面，有 4 個(gè) C 構(gòu)成了它的核心：Closed set（閉集合）。在現(xiàn)代的拓?fù)鋵W(xué)的公理化體系中，開(kāi)集和閉集是最基本的概念。一切從此引申。這兩個(gè)概念是開(kāi)區(qū)間和閉區(qū)間的推廣，它們的根本地位， 連續(xù)性的基礎(chǔ)，而閉集對(duì)極限運(yùn)算封閉而極限正是分析的根基。Continuous function （連續(xù)函數(shù)）epsilon-delta 語(yǔ)言給出的定義，在拓?fù)鋵W(xué)中它的定義是“開(kāi)集的原像是開(kāi)集的函數(shù)”。第二個(gè)定義（等價(jià)）定義才從根本上揭示連續(xù)函數(shù)的本質(zhì)“連續(xù)函數(shù)是保持極限運(yùn)算的 函數(shù)” yx1, x2, x3, f f

12、(x1), f(x2), f(x3), 的極限。連續(xù)函數(shù)的重要性，可以從別的分支學(xué)科中進(jìn)行類(lèi)比。比如群論中，基礎(chǔ)的運(yùn)算是“乘法”，對(duì)于群，最重要的映射叫“同態(tài)映 射”保持“乘法”“極限”，因此連續(xù)函數(shù)在分析中的地位，和同態(tài)映射在代數(shù)中的地位是相當(dāng)?shù)?。Connected set （連通集合）。比它略為窄一點(diǎn)的概念叫(Path connected)，就是集合中任意兩點(diǎn)都存在連續(xù)路徑相連可能是一般人理解的概念。一般意義下的一般的中值定理(Intermediate Value Theorem)，還有就是代數(shù)拓?fù)?，拓?fù)淙赫摵屠钊赫撝杏懻摳救?Fundamental Group)的階。Compactse

13、t（緊集）。Compactness似乎在初等微積分里面沒(méi)有專(zhuān)門(mén)出現(xiàn)，不過(guò)有幾條實(shí)數(shù)上的定理和它其實(shí)是有關(guān)系的。比如，“有界數(shù)列必然存在收斂子 列”compactness的語(yǔ)言來(lái)說(shuō)就是“實(shí)數(shù)空間中有界閉集是緊的”拓?fù)鋵W(xué)中的一般定義是一個(gè)聽(tīng)上去比較抽象的東西“有限子覆蓋”。這個(gè)定義在討論拓?fù)鋵W(xué)的定理時(shí)很方便，它在很多時(shí)候能幫助實(shí)現(xiàn)從無(wú)限到有限的轉(zhuǎn)換。對(duì)于分析來(lái)說(shuō)，用得更多的是它的另一種形式 “緊集中的數(shù)列必存在收斂子列”它體現(xiàn)了分析中最重要的“極限”。Compactness 在現(xiàn)代分析中運(yùn)用極廣，無(wú)法盡述。微積分中的兩個(gè)重要定 理：極值定理(Extreme Value Theory)，和一致收斂定

14、理(Uniform Convergence Theorem)就可以借助它推廣到一般的形式。從某種意義上說(shuō)，點(diǎn)集拓?fù)鋵W(xué)可以看成是關(guān)于“極限”的一般理論，它抽象于實(shí)數(shù)理論，它的概念成為幾乎所有現(xiàn)代分析學(xué)科的通用語(yǔ)言，也是整個(gè)現(xiàn)代分析的根基所在。微分幾何：流形上的分析在拓?fù)淇臻g上引入微分結(jié)構(gòu)拓?fù)鋵W(xué)把極限的概念推廣到一般的拓?fù)淇臻g，但這不是故事的結(jié)束，而僅僅是開(kāi)始。在微積分里面，極限之后我們有微分，求導(dǎo)，積分。這些東西也可以推廣到拓?fù)淇臻g，在拓?fù)鋵W(xué)的基礎(chǔ)上建立起來(lái)這就是微分幾何。從教學(xué)上說(shuō)，微分“古典微分幾何”，主要是關(guān)于二維和三維空間中的一些幾何量的計(jì)算，比如曲率。還有 一種是建 立在現(xiàn)代拓?fù)鋵W(xué)的基

15、礎(chǔ)上，這里姑且稱(chēng)為“現(xiàn)代微分幾何”它的核 心概念就是“流形”(manifold)就是在拓?fù)淇臻g的基礎(chǔ)上加了一套可以進(jìn)行微 分運(yùn)算的結(jié)構(gòu)?，F(xiàn)代微分幾何是一門(mén)非常豐富的學(xué)科。比如一般流形上的微分的定義就比傳統(tǒng)的微分豐富，我自己就見(jiàn)過(guò)三種從不同角度給出的等價(jià)定義這tangent space, cotangent space, push forward, pull back, fibre bundle, immersion, submersion 等等。machine learning “創(chuàng)造”一些流形算法，并不需要多少微分幾何的基礎(chǔ)。對(duì)我的研究來(lái)說(shuō)，微分幾何最重要的應(yīng)用就是建立在它之上的另外一個(gè)分支

16、：李群和李代數(shù)代數(shù)：一個(gè)抽象的世界關(guān)于抽象代數(shù)回過(guò)頭來(lái)，再說(shuō)說(shuō)另一個(gè)大家族代數(shù)。如果說(shuō)古典微積分是分析的入門(mén)，那么現(xiàn)代代數(shù)的入門(mén)點(diǎn)則是兩個(gè)部分：線(xiàn)性代數(shù)(linear algebra)和基礎(chǔ)的抽象代數(shù)(abstract algebra)近世代數(shù)。代數(shù)名稱(chēng)上研究的似乎是數(shù)，在我看來(lái)，主要研究的是運(yùn)算規(guī)則。一門(mén)代系，然后在這基礎(chǔ)上進(jìn)行研究。一個(gè)集合再加上一套運(yùn)算規(guī)則，就構(gòu)成一個(gè)代數(shù)(Group)它只有一種符合結(jié)合率的可逆運(yùn)算，通常叫“乘法”。如果，這種運(yùn)算也符合交換率，那么就叫阿貝爾群(Abelian Group)。如果有兩種運(yùn)算，一種叫加法，滿(mǎn)足交換率和結(jié)合率，一種叫乘法，滿(mǎn)足結(jié)合率，它們之間滿(mǎn)

17、足分配率，這種豐富一點(diǎn)的結(jié)構(gòu)叫做環(huán)(Ring)， 如果環(huán)上的乘法滿(mǎn)足交換率，就叫可交換環(huán)(Commutative Ring)加法和乘法具有了所有的良好性質(zhì)，那么就成為一個(gè)域(Field)?；谟?，我們可(Linear algebra)。代數(shù)的好處在于，它只關(guān)心運(yùn)算規(guī)則的演繹，而不管參與運(yùn)算的對(duì)象。只要定義:-)。基于抽象運(yùn)算規(guī)則得到的所有定理完全可以運(yùn)用于上面說(shuō)的貓狗乘法。當(dāng)然，在實(shí)際運(yùn)用中，我們還是希望用這是代數(shù)的威力所在，我們不再需要為每一個(gè)具體領(lǐng)域重新建立這么多的定理。抽象代數(shù)有在一些基礎(chǔ)定理的基礎(chǔ)上，進(jìn)一步的研究往往分為兩個(gè)流派：研究有（比如有限群和有限域），和整數(shù)方程這些地方；另外一

18、個(gè)流派是研究連續(xù)的代數(shù)結(jié)構(gòu)，通常和拓?fù)渑c分析（比如拓?fù)淙海钊海ゝocus 主要是后者。線(xiàn)性代數(shù)：“線(xiàn)性”的基礎(chǔ)地位Learning, vision, optimization 或者statistics 的人來(lái)說(shuō)，接觸最多的莫過(guò)于線(xiàn)性代數(shù)它是保持基礎(chǔ)運(yùn)算（加法和數(shù)乘）的映射。learning 中有這樣的一種傾向kernelization，這兩者都需要在某個(gè)階段回歸線(xiàn)kernerlization則是通過(guò)置換內(nèi)積結(jié)構(gòu)把原線(xiàn)性空間“非線(xiàn)性” 泛函分析：從有限維向無(wú)限維邁進(jìn)在大學(xué)中學(xué)習(xí)的線(xiàn)性代數(shù)，它的簡(jiǎn)單主要因?yàn)樗窃谟邢蘧S空間進(jìn)行的，因?yàn)橛邢?，我們無(wú)須借助于太多的分析手段。但是，有限維空間并不能有效

19、地表達(dá)我們的世界最重要的，函數(shù)構(gòu)成了線(xiàn)性空間，可是它是無(wú)限維的。對(duì)函數(shù)進(jìn)行的了研究函數(shù)（或者說(shuō)連續(xù)信號(hào)），我們需要打破有限維空間的束縛，走入無(wú)限維這里面的第一步，就是泛函分析。泛函分析(Functional Analysis)是研究的是一般的線(xiàn)性空間，包括有限維和無(wú)限維，但是很多東西在有限維下顯得很 trivial，真正的困難往往在無(wú)限維的時(shí)候出現(xiàn)。在 泛函分析中，空間中的元素還是叫向量，但是線(xiàn)性變換通常會(huì)叫作“算子”(operator)。除了加法和數(shù)乘，這里進(jìn)一步加入了一些運(yùn)算，比如加入范數(shù)去表達(dá)“向量的長(zhǎng)度”或者“元素的距離”，這樣的空間叫做“賦范線(xiàn)性空間”(normed space)，再

20、進(jìn)一步的，可以加入內(nèi)積運(yùn)算，這樣的空間叫“內(nèi)積空間”(Inner product space)。大家發(fā)現(xiàn)，當(dāng)進(jìn)入無(wú)限維的時(shí)間時(shí)，很多老的觀(guān)念不再適用了，一切都需要重新審視。所有的有限維空間都是完備的（柯西序列收斂），很多無(wú)限維空間卻是不完備的（比如閉區(qū)間上的連續(xù)函數(shù)）。在這里，完備的空間有特殊的名稱(chēng)：完備的賦范空間叫巴拿赫空間(Banach space)，完備的內(nèi)積空間叫希爾伯特空間(Hilbert space)。在有限維空間中空間和它的對(duì)偶空間的是完全同構(gòu)的，而在無(wú)限維空間中，它們存在微妙的差別。在有限維空間中，所有線(xiàn)性變換（矩陣）都是有界變換，而在無(wú)限維，很多算子是無(wú)界的(unbounde

21、d)，最重要的一個(gè)例子是給函數(shù)求導(dǎo)。在有限維空間中，一切有界閉集都是緊的，比如單位球。而在所有的無(wú)限維空間中，單位球都不是緊的也就是說(shuō)，可以在單位球內(nèi)撒入無(wú)限個(gè)點(diǎn)，而不出現(xiàn)一個(gè)極限點(diǎn)。在有限維空間中，線(xiàn)性變換（矩陣）的譜相當(dāng)于全部的特征值，在無(wú)限維空間 中，算子的譜的結(jié)構(gòu)比這個(gè)復(fù)雜得多，除了特征值組成的點(diǎn)譜(pointspectrum)， approximate point spectrumresidual spectrum趣。由此形成了一個(gè)相當(dāng)豐富的分支算子譜論(Spectrumtheory)。在有限維空間中，任何一點(diǎn)對(duì)任何一個(gè)子空間總存在投影，而在無(wú)限維空間中， 這就不一定了，具有這種良好

22、特性的子空間有個(gè)專(zhuān)門(mén)的名稱(chēng)切比雪夫空間(Chebyshev space)。這個(gè)概念是現(xiàn)代逼近理論的基礎(chǔ)(approximation theory)。函數(shù)Learning 代逼近理論的文章并不多。繼續(xù)往前：巴拿赫代數(shù)，調(diào)和分析，和李代數(shù)(Banach Algebra)，它就是在巴拿赫空間（完備的內(nèi)積空間）的基礎(chǔ)上引入乘法（這不同于數(shù)乘）。比如矩陣它除了加法和數(shù)乘，還能做乘法拿赫代數(shù)。除此以外，值域完備的有界算子，平方可積函數(shù)，都能構(gòu)成巴拿赫代數(shù)。巴拿赫代數(shù)是泛函分析的抽象，很多對(duì)于有界算子導(dǎo)出的結(jié)論，還有算子譜論中的許多定理，它們不僅僅對(duì)算子適用，它們其實(shí)可以從一般的巴拿赫代數(shù)中得到，并且應(yīng)用在算子以外的地方。巴拿赫代數(shù)讓你站在更高的高度看待泛函分思考。(Harmonic Analysis)。我在這里列舉它的兩個(gè)個(gè)子領(lǐng)域，傅立葉分析和小波分析，我想這已一個(gè)函數(shù)。它研究的是函數(shù)