智能科學中的神經(jīng)計算

智能科學中的神經(jīng)計算第1頁，共52頁，2023年，2月20日，星期五內(nèi)容提要一、引言二、神經(jīng)網(wǎng)絡(luò)三、功能柱四、同步問題五、神經(jīng)場六、結(jié)束語第2頁，共52頁，2023年，2月20日，星期五2023/4/10210多年的醞釀，1151人的參與兩次會議：2001-05-11NSF預(yù)備會2001-12-03NSF/DOC(79人)政府及國家實驗室32人大學28人企業(yè)及非政府組織19人2004-03成立ConvergingTechnologiesBarAssociation(CTBA)

科學發(fā)展大趨勢

美國關(guān)于NBIC會聚技術(shù)的戰(zhàn)略研討第3頁，共52頁，2023年，2月20日，星期五2023/4/103InfoCognoBioNanoEnhancingHumanPerformanceNewHumanbeingNewIndustriesNewSocietyNewApplicationsNewSciencesNewEducation

科學發(fā)展大趨勢第4頁，共52頁，2023年，2月20日，星期五2023/4/104第一次浪潮第二次浪潮第三次浪潮第四次浪潮1990

2020

2050

20802100創(chuàng)新步伐數(shù)字網(wǎng)絡(luò)軟件新媒體生物基因（蛋白質(zhì)）納米材料腦科學智能技術(shù)？？？？？？對21世紀技術(shù)創(chuàng)新浪潮長波的猜想第5頁，共52頁，2023年，2月20日，星期五2023/4/105第一次浪潮第二次浪潮第三次浪潮第四次浪潮第五次浪潮1785

1845

1900

195019901999

2020

創(chuàng)新步伐水力紡織鐵蒸汽鐵路鋼電化學品內(nèi)燃機石油化學電子航空數(shù)字網(wǎng)絡(luò)軟件新媒體60年55年50年40年30年技術(shù)創(chuàng)新浪潮的經(jīng)濟長波規(guī)律（康德拉捷夫）機械化鐵路化電氣化電子化數(shù)字化第6頁，共52頁，2023年，2月20日，星期五2023/4/106

科學發(fā)展大趨勢

21世紀:

智能科學

智能科學是一門交叉學科，主要由

F腦科學

F認知科學

F人工智能等學科共同研究智能行為的基本理論和實現(xiàn)技術(shù)。

第7頁，共52頁，2023年，2月20日，星期五2023/4/107神經(jīng)元第8頁，共52頁，2023年，2月20日，星期五2023/4/108McCulloch-Pitts神經(jīng)元現(xiàn)代的神經(jīng)網(wǎng)絡(luò)開始于McCulloch,Pitts（1943）的先驅(qū)工作.在他們的經(jīng)典論文里，McCulloch,Pitts結(jié)合了神經(jīng)生理學和數(shù)理邏輯的研究描述了一個神經(jīng)網(wǎng)絡(luò)的邏輯分析,他們的神經(jīng)元模型假定遵循有-無模型律。如果如此簡單的神經(jīng)元數(shù)目足夠多和適當設(shè)置連接權(quán)值并且同步操作,McCulloch,Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計算任何可計算函數(shù)。這是一個有重大意義的結(jié)果，有了它標志著神經(jīng)網(wǎng)絡(luò)和人工智能的誕生.第9頁，共52頁，2023年，2月20日，星期五2023/4/109McCulloch-Pitts神經(jīng)元第10頁，共52頁，2023年，2月20日，星期五2023/4/1010Hebb學習假說1949年，Hebb的書《行為組織學》,他在里面第一次清楚說明了突觸修正的生理學習規(guī)則。特別的，

Hebb提出大腦的連接隨著生物學會不同功能任務(wù)而連續(xù)地變化的，

神經(jīng)組織就是由這種變化創(chuàng)建起來的.Hebb繼承了

Ramony和

Cajal早期的假設(shè)并引入自己的現(xiàn)在著名的學習假說，兩個神經(jīng)元之間的可變突觸被突觸兩端神經(jīng)元的重復(fù)的激活加強了。Hebb的書在心理學家中有廣泛的影響，但遺憾的是對工程界卻影響很少或沒有。第11頁，共52頁，2023年，2月20日，星期五2023/4/1011感知器

Rosenblatt(1958)在他有關(guān)感知器的研究著作中提出了模式識別問題的新方法，一種新的監(jiān)督學習方法.所為的感知器收斂定理使Rosenblatt的工作取得圓滿的成功。他于1960年提出感知器收斂定理的第一個證明（1960）。Widrow和Hoff介紹了最小平均平方(leastmeansquare,LMS)算法并用它構(gòu)成了Adaline(adaptivelinearelement).感知器和Adaline的區(qū)別在于訓練過程。第12頁，共52頁，2023年，2月20日，星期五2023/4/1012感知器

1969年，Minsky和Papert合作發(fā)表了頗有影響的Perceptron一書，得出了消極悲觀的論點，加上數(shù)字計算機正處于全盛時期并在人工智能領(lǐng)域取得顯著成就，70年代人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。第13頁，共52頁，2023年，2月20日，星期五2023/4/1013Hopfield網(wǎng)絡(luò)

1982年，Hoopfield用能量函數(shù)的思想形成一種具有對稱連接的遞歸網(wǎng)絡(luò)所執(zhí)行的計算的新方法。這類具有反饋的特殊神經(jīng)網(wǎng)絡(luò)在80年代引起了大量的關(guān)注，產(chǎn)生了著名的Hopfield網(wǎng)絡(luò)。盡管Hopfield網(wǎng)絡(luò)不可能是真正的神經(jīng)生物系統(tǒng)模型，他們包涵的原理，即在動態(tài)的穩(wěn)定網(wǎng)絡(luò)中存儲信息原理的，是極深刻的。第14頁，共52頁，2023年，2月20日，星期五2023/4/1014神經(jīng)計算自適應(yīng)共振理論（ART）自組織特征映射理論Hinton等人最近提出了

Helmboltz機

徐雷提出的

Ying-Yang機理論模型

甘利俊一(S.Amari)開創(chuàng)和發(fā)展的基于統(tǒng)計流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究第15頁，共52頁，2023年，2月20日，星期五2023/4/1015模式結(jié)構(gòu)Hinton提出了簡單的有監(jiān)督學習理論只能把神經(jīng)網(wǎng)絡(luò)引向死亡描述,提出了建立通過神經(jīng)網(wǎng)絡(luò)抽取模式結(jié)構(gòu)為目標,形成外界環(huán)境在神經(jīng)網(wǎng)絡(luò)中形成內(nèi)在表示的機理作為發(fā)展人工神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。第16頁，共52頁，2023年，2月20日，星期五2023/4/1016智能科學

智能不僅要功能模擬,而且要機理模擬Actionsfromthoughts(Nature409,2001)

第17頁，共52頁，2023年，2月20日，星期五2023/4/1017神經(jīng)元第18頁，共52頁，2023年，2月20日，星期五2023/4/1018突觸可塑性第19頁，共52頁，2023年，2月20日，星期五2023/4/1019神經(jīng)元模型神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中基本的信息處理單元，他由下列部分組成:一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值W1,W2,…,Wm通過加法器功能，將計算輸入的權(quán)值之和激勵函數(shù)限制神經(jīng)元輸出的幅度第20頁，共52頁，2023年，2月20日，星期五2023/4/1020神經(jīng)元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputyx1x2xmw2wmw1w0x0=+1第21頁，共52頁，2023年，2月20日，星期五2023/4/1021大腦神經(jīng)系統(tǒng)神經(jīng)系統(tǒng)是多層次的。這些不同層次的研究互相啟示，互相推動。在低層次（細胞、分子水平）上的工作為較高層次的觀察提供分析的基礎(chǔ)，而較高層次的觀察又有助于引導低層次工作的方向和體現(xiàn)其功能意義。第22頁，共52頁，2023年，2月20日，星期五2023/4/1022神經(jīng)網(wǎng)絡(luò)第23頁，共52頁，2023年，2月20日，星期五2023/4/1023神經(jīng)網(wǎng)絡(luò)

第24頁，共52頁，2023年，2月20日，星期五2023/4/1024神經(jīng)網(wǎng)絡(luò)第25頁，共52頁，2023年，2月20日，星期五2023/4/1025

功能柱20世紀60年代末，美國科學家發(fā)現(xiàn)，在大腦視覺皮層中，具有相同圖像特征選擇性和相同感受野位置的眾多神經(jīng)細胞，以垂直于大腦表面的方式排列成柱狀結(jié)構(gòu)———功能柱。30多年來，腦研究領(lǐng)域一直將垂直的柱狀結(jié)構(gòu)看作大腦功能組織的一個基本原則。但是，傳統(tǒng)的功能柱研究還不能闡釋視覺系統(tǒng)究竟是如何處理大范圍復(fù)雜圖像信息的。第26頁，共52頁，2023年，2月20日，星期五2023/4/1026功能柱

中科院上海生命科學研究院神經(jīng)科學研究所李朝義實驗室通過對貓的視皮層的研究，發(fā)現(xiàn)在初級視皮層中存在一種與處理大范圍復(fù)雜圖形特征有關(guān)的功能結(jié)構(gòu)。與目前所有已知結(jié)構(gòu)不同，它不是柱狀的，而是形成許許多多直徑約300微米的小球，分散地鑲嵌在已知的垂直功能柱中。這是在簡單特征功能柱基礎(chǔ)上所形成的第二級功能筑構(gòu)，處理各種更復(fù)雜的圖像信息。視覺系統(tǒng)可能正是通過這種神經(jīng)機制，以有限的信息量把目標物從復(fù)雜的背景圖像中分離出來。第27頁，共52頁，2023年，2月20日，星期五2023/4/1027功能柱1972年:Wilson-Cowan方程來描述功能柱;1990年:Shuster等人模擬視皮層中發(fā)現(xiàn)的同步振蕩;1993年:Jansen等人提出了耦合功能柱模型產(chǎn)生了類EEG波形和誘發(fā)電位；1994年:Fukai設(shè)計了功能柱式的網(wǎng)絡(luò)模型來模擬視覺圖樣的獲取;1997年:Hansel等人根據(jù)視皮層朝向柱的結(jié)構(gòu)構(gòu)建了一個超柱模型，研究其中的同步性和混沌特性，并對朝向選擇性的功能柱機理做出解釋;1998年:Fransén等人把傳統(tǒng)網(wǎng)絡(luò)中的單細胞代換成多細胞構(gòu)成的功能柱，來模擬工作記憶

第28頁，共52頁，2023年，2月20日，星期五2023/4/1028功能柱中國科學院生物物理所視覺信息加工重點實驗室中國科學院計算研究所李速①

齊翔林①

胡宏②

汪云九①

功能柱結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型中的同步振蕩現(xiàn)象

功能柱是一個振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

第29頁，共52頁，2023年，2月20日，星期五2023/4/1029功能柱Rose-Hindmarsh方程來描述單神經(jīng)元:

x:代表膜電位，y:表示快速回復(fù)電流，z:描述慢變化的調(diào)整電流，Isyn

表示突觸電流，Istim表示外界輸入第30頁，共52頁，2023年，2月20日，星期五2023/4/1030功能柱模型采用基于電流的突觸模型，在突觸前細胞的每個動作電位都將觸發(fā)突觸后細胞的Isyn

輸入。突觸電流

Isyn

表示為:

gsyn

為膜電導1,2時間常數(shù)Vsyn

表示突觸后電位第31頁，共52頁，2023年，2月20日，星期五2023/4/1031功能柱第32頁，共52頁，2023年，2月20日，星期五2023/4/1032同源功能柱第33頁，共52頁，2023年，2月20日，星期五2023/4/1033異源功能柱第34頁，共52頁，2023年，2月20日，星期五2023/4/1034功能柱

功能柱是一個振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

第35頁，共52頁，2023年，2月20日，星期五2023/4/1035功能柱功能柱是介于單神經(jīng)元和皮層腦區(qū)之間的一種中間層次的單元，理解這種中間層次的單元的活動特點，能夠為腦科學中微觀現(xiàn)象和宏觀現(xiàn)象的研究之間建立一座橋梁

第36頁，共52頁，2023年，2月20日，星期五2023/4/1036信息幾何信息幾何（InformationGeometry）是采用（Riemann流形上的）微分幾何方法來研究統(tǒng)計問題的理論。

Efron首先在統(tǒng)計學中采用微分幾何方法（1975)甘利俊一（S.Amari）引入α-聯(lián)絡(luò),并應(yīng)用到神經(jīng)網(wǎng)絡(luò)的研究中

zhuhaiyu等人研究了貝葉斯信息幾何（BayesInformationGeometry)第37頁，共52頁，2023年，2月20日，星期五2023/4/1037統(tǒng)計流形概率神經(jīng)網(wǎng)絡(luò)模型（統(tǒng)計學習機）：

P(y|x;Θ)=Ф(y–F(x,W))Θ∈Rn指數(shù)簇（Exponentialfamilies）流形人工神經(jīng)網(wǎng)絡(luò)正態(tài)分布Boltzmann機混合專家神經(jīng)網(wǎng)絡(luò)彎曲指數(shù)簇流形人工神經(jīng)網(wǎng)絡(luò)神經(jīng)場理論第38頁，共52頁，2023年，2月20日，星期五2023/4/1038樸素貝葉斯分類器(NBC)

Bayesian網(wǎng)絡(luò)的簡化樸素Bayesian假設(shè)：特征向量的各分量間相對于決策變量是相對獨立降低計算復(fù)雜度更加直觀簡潔可能降低分類、預(yù)測精度第39頁，共52頁，2023年，2月20日，星期五2023/4/1039Fisher分Fisher分：

Fisher信息矩陣I可寫為：Fisher分映射：第40頁，共52頁，2023年，2月20日，星期五2023/4/1040基于Fisher分樸素貝葉斯分類器(NBC)目標：提高NBC的分類精度方向：改進屬性間的條件獨立性關(guān)系途徑：基于Fisher分重構(gòu)屬性集，在此基礎(chǔ)上建立樸素貝葉斯分類器第41頁，共52頁，2023年，2月20日，星期五2023/4/1041神經(jīng)場動力學Wilson-CowanAmariErmentrout-Cowan…….第42頁，共52頁，2023年，2月20日，星期五2023/4/1042神經(jīng)場

神經(jīng)場研究的出發(fā)點是信息處理系統(tǒng)的整體結(jié)構(gòu),一般的系統(tǒng)表示為非歐氏空間(在一定拓撲結(jié)構(gòu)下形成流形)。研究的一個關(guān)鍵就是建立環(huán)境結(jié)構(gòu)流形與神經(jīng)流形的耦合關(guān)系,用流形的思想、拓撲的概念和統(tǒng)計推理來研究整體結(jié)構(gòu)所具有的性質(zhì),利用整體不變性質(zhì),處理和分析表示結(jié)構(gòu)與神經(jīng)流形的優(yōu)化逼近過程。第43頁，共52頁，2023年，2月20日，星期五2023/4/1043一維一層第44頁，共52頁，2023年，2月20日，星期五2023/4/1044自組織神經(jīng)場動力學presynapticfield第45頁，共52頁，2023年，2月20日，星期五2023/4/1045拓撲映射自組織amplificationtopologypatchstructure(colummarstructure)dynamicalinstabilityWillshaw-MalsburgTakeuchi-AmariKohonensignalspaceneuralfield第46頁，共52頁，2023年，2月20日，星期五2023/4/1046神經(jīng)場

............HiddenUnitsInputUnits

OutputUnits

x

yzFieldOrganizationMode