腦啟發(fā)計(jì)算解析

腦啟發(fā)計(jì)算這個(gè)題目的內(nèi)容叫腦啟發(fā)計(jì)算。其實(shí)我覺(jué)得我們中國(guó)的文字很有意思，我們?cè)诜g的時(shí)候，我們說(shuō) 翻譯成計(jì)算機(jī)是很準(zhǔn)確的，其實(shí)這個(gè)詞進(jìn)入中國(guó)的時(shí)候我們就對(duì)它就很強(qiáng)的工作，我們希望它跟腦一樣，通過(guò)腦的工作原理我們從當(dāng)中能提取什么內(nèi)容。那人工智能年，實(shí)際上計(jì)算機(jī)發(fā)展也差不多是這樣的時(shí)候。我們都知道計(jì)算機(jī)的整個(gè)架構(gòu)，計(jì)算機(jī)是怎么工作的？是基于一種很簡(jiǎn)單的架構(gòu)，輸入輸出，但最重要的一點(diǎn)是 和內(nèi)存，這兩點(diǎn)之間數(shù)據(jù)的交換。我們真正在實(shí)現(xiàn)這個(gè)架構(gòu)的時(shí)候會(huì)構(gòu)建很多的總線，比如控制的總線、地址的總線、數(shù)據(jù)的總線，最基本的原理就是希望內(nèi)存和之間有很好的交換。就是由于這樣的構(gòu)成造成了很大的瓶頸，我們知道深度學(xué)習(xí)有很多好的突破，今天早上我們也看到了他們做的顯卡。為什么在深度學(xué)習(xí)里需要 的計(jì)算會(huì)有問(wèn)題呢？就是因?yàn)榭偩€的架構(gòu)會(huì)阻礙內(nèi)存和 之間信息的交流。不管你內(nèi)存加多大，之間就像一個(gè)單路的信息通道。我們?cè)倏茨X的工作方式，腦是一個(gè)很有意思的構(gòu)建。生物體在一開(kāi)始的時(shí)候是沒(méi)有大腦的，然后慢慢在一些神經(jīng)的末端會(huì)有膨大的部分，然后再慢慢形成腦。我們現(xiàn)在對(duì)腦的解剖學(xué)上面已經(jīng)有了很好的認(rèn)識(shí)，這里面有兩張圖，是解剖圖。腦里面最基本的單元就是神經(jīng)元，神經(jīng)元之間通過(guò)突觸聯(lián)接。我們想講的是腦做的推理或者計(jì)算，都基于這樣的構(gòu)造。首先講人的大腦有 億個(gè)神經(jīng)元，也就是說(shuō)我們現(xiàn)在一般的機(jī)器最多核，但是我們的腦子里面是有億個(gè)神經(jīng)元的計(jì)算。第二點(diǎn)就是它是非常強(qiáng)的連接關(guān)系，有萬(wàn)億個(gè)突觸的連接，平均每個(gè)神經(jīng)元之間有 個(gè)連接。這種連接造成了后面會(huì)講的，比如說(shuō)我們發(fā)現(xiàn)腦的頻率或者是主頻并不高，大約是赫茲到 赫茲之間，但它能做很復(fù)雜的運(yùn)算，也就是因?yàn)檫@樣的連接。假定是個(gè)連接的話，兩層就可以做到一兆，三層就可以做到 G腦的H作是非常低頻率的，而且是一個(gè)非常非常充分連接的計(jì)算系統(tǒng)。我們另外看到腦里的信號(hào)，連接的速度也不是很快的。我們有些實(shí)驗(yàn)，大家也可以自己做一下實(shí)驗(yàn)。腦的信號(hào)在神經(jīng)里面的傳輸速度大概是每秒鐘米到米，你怎么來(lái)看呢？比如說(shuō)你彎一下手指頭，你再試一下腳指頭，大概彎手指頭的速度可以達(dá)到腳指頭頻率的兩倍，原因很簡(jiǎn)單，大腦到手的距離是到腳距離的一半。還有一個(gè)特征我們沒(méi)有看到，就是腦是非常非常低功耗的系統(tǒng)，人大概是瓦的功耗，腦是占據(jù)了人三分之一的能耗的銷(xiāo)量，雖然腦的重量沒(méi)有那么大，但是消耗了人體的三分之一的能量。腦也只有瓦的功能，有時(shí)候我們?cè)谥v現(xiàn)在的人機(jī)大戰(zhàn)，他對(duì)面的選手就是早晨起來(lái)喝牛奶，吃個(gè)面包就可以比賽了。這個(gè)角度來(lái)講腦是非常非常有效率的機(jī)構(gòu)。我們總結(jié)起來(lái)看一下，就是說(shuō)實(shí)際上腦的主頻并不快，達(dá)到就是到赫茲，信號(hào)傳輸?shù)乃俣纫膊豢?，但它是高并發(fā)的。另外一點(diǎn)， 的研究院做過(guò)的研究，這是獼猴的大腦，腦里面有很多的分層，但其實(shí)你會(huì)發(fā)現(xiàn)這些腦的各個(gè)功能分區(qū)之間也存在一些長(zhǎng)線連接。舉個(gè)例子說(shuō)，你負(fù)責(zé)視覺(jué)的部分的大腦皮層和你負(fù)責(zé)聽(tīng)覺(jué)的部分也有連接在這邊發(fā)生。我們對(duì)應(yīng)現(xiàn)在的神經(jīng)元網(wǎng)絡(luò)構(gòu)建分層的，早上微軟的同事在介紹他們的工作，構(gòu)建了深度學(xué)習(xí)網(wǎng)絡(luò)跨層之間的反饋，這個(gè)方式其實(shí)跟腦的這種工作機(jī)理是有借鑒，他是非常非常充分連接而且有一些長(zhǎng)線連接的構(gòu)造。總結(jié)下來(lái)，我們?cè)倏纯唇裉熳龅倪@些深度學(xué)習(xí)的算法，其實(shí)本質(zhì)上是用這種神經(jīng)元的方式，我們叫做一個(gè)人工的神經(jīng)元，實(shí)際上對(duì)大腦的神經(jīng)元做了非常非常多的簡(jiǎn)化。剛剛?cè)绻蠹铱茨菑垐D，里面有很多的細(xì)節(jié)，里面做的不是一個(gè)簡(jiǎn)單的運(yùn)算，也不是簡(jiǎn)單的電信號(hào)，在突觸上面實(shí)際上做的是物質(zhì)的傳輸，而且分很多種，有的物質(zhì)傳輸是為它的信號(hào)增強(qiáng)，有的是為它的信號(hào)的抑制的作用。所以腦子里面發(fā)生了很多的化學(xué)或者生物變化，而我們現(xiàn)在這種人工的神經(jīng)元實(shí)際上是很簡(jiǎn)單的物理模型，基本上可以看成說(shuō)一個(gè)電線接個(gè)電燈泡的過(guò)程。即便是這樣的過(guò)程當(dāng)我們把層數(shù)變得很深的時(shí)候，當(dāng)我們用大數(shù)據(jù)的辦法用訓(xùn)練的時(shí)候，它仍然給我們帶來(lái)很好的結(jié)果。過(guò)去幾年在模式識(shí)別的問(wèn)題上，這種深度學(xué)習(xí)的技術(shù)得到了很好的應(yīng)用，仿造大腦構(gòu)建這樣一個(gè)簡(jiǎn)化的物理結(jié)構(gòu)，當(dāng)這個(gè)結(jié)構(gòu)足夠大的時(shí)候，在圖像、視頻，語(yǔ)音中取得了突破性的結(jié)果，我們也看到一些用循環(huán)神經(jīng)元網(wǎng)絡(luò)做一些在自然語(yǔ)言理解上，做機(jī)器翻譯方面都有好的結(jié)果，當(dāng)然還有最近的圍棋。我們把這個(gè)稍微總結(jié)一下，看了一下為什么講現(xiàn)在的計(jì)算機(jī)或者計(jì)算體系架構(gòu)跟腦還有很大的差異呢？計(jì)算機(jī)我們講是摩爾定律，讓計(jì)算機(jī)越來(lái)越強(qiáng)大。事實(shí)上如果你仔細(xì)想摩爾定律并沒(méi)有讓計(jì)算機(jī)的計(jì)算變得越來(lái)越快，是什么讓計(jì)算機(jī)越來(lái)越快呢？是因?yàn)橛?jì)算機(jī)的主頻越來(lái)越高。這個(gè)圖上從 到最早的 ，主頻大概是兆赫，現(xiàn)在可能到，從左上角這張圖來(lái)看，在早期 年開(kāi)始計(jì)算機(jī)的主頻是一個(gè)線性的變化，往上在走，所以越來(lái)越快。但是我們可以看到大概在 年到 年的時(shí)候，計(jì)算機(jī)的主頻出現(xiàn)了停滯，這是什么造成的呢？因?yàn)槟柖缮闲酒絹?lái)越小，那同時(shí)計(jì)算機(jī)的主頻越來(lái)越快。造成了這個(gè)散熱成了很大的問(wèn)題，到 年和 年的時(shí)候，實(shí)際上在每平方厘米的功耗大概已經(jīng)到了 瓦。我記得我們小時(shí)候家里頭烤火的爐子，可能也就是 瓦，面積有幾百平方厘米，比 的功耗密度低一個(gè)數(shù)量級(jí)。有這么大功耗造成你的計(jì)算機(jī)真正在實(shí)現(xiàn)的時(shí)候，沒(méi)法讓主頻越來(lái)越高。所以從那年開(kāi)始以后，計(jì)算機(jī)開(kāi)始在其他方面做得更快，把它變得更多核，所以多核是讓計(jì)算機(jī)變得越來(lái)越多的一種方式。但是我們也有很多做計(jì)算的同事也說(shuō)，不管你有多少核，總是把一個(gè)核累死。很多的計(jì)算和調(diào)度方面都會(huì)有問(wèn)題。所以從整個(gè)的發(fā)展趨勢(shì)來(lái)看，實(shí)際上我們的計(jì)算和腦的結(jié)構(gòu)是完全不一樣的。因?yàn)槲覀內(nèi)绻颜麄€(gè)計(jì)算機(jī)發(fā)展，比如說(shuō)按照主頻，安全功耗畫(huà)一條曲線的話，我們可以看到事實(shí)上整個(gè)計(jì)算機(jī)的芯片上的發(fā)展，實(shí)際上是在往右上角走的。從最早的、的U到和C只是增長(zhǎng)率越走越慢，由于功耗的原因。但是我們反看大腦，大腦是左下角，主頻是到赫茲，主頻是毫瓦的區(qū)間?？梢灾v現(xiàn)有的計(jì)算機(jī)體系架構(gòu)不是很好的能幫助像腦一樣的工作模式。我們總結(jié)一下，可以看到其實(shí)計(jì)算機(jī)基于馮諾伊曼的架構(gòu)，里面計(jì)算的單元、存儲(chǔ)的單元、通信的單元是彼此分離的。在我們的大腦當(dāng)中這幾塊內(nèi)容是集成在一起的，因?yàn)槲覀兒茈y去想象到大腦中哪一部分是存儲(chǔ)器，哪一部分是計(jì)算器，然后哪一部分是做數(shù)據(jù)傳輸?shù)?。另外一點(diǎn)是說(shuō)整個(gè)計(jì)算機(jī)是主頻率很高，功耗非常高。腦是主頻很低，功耗也非常低的。特別有一點(diǎn)，我們每一個(gè)神經(jīng)元或者每一個(gè)計(jì)算單元的連接都是上千個(gè)連接，這跟我們的計(jì)算機(jī)里面很不一樣。如果從這個(gè)角度來(lái)講，從計(jì)算機(jī)體系架構(gòu)最底層來(lái)看，有沒(méi)有什么辦法讓計(jì)算機(jī)能更像腦這種方式工作。所以這邊有一個(gè)項(xiàng)目，取了“突觸”作為項(xiàng)目的名字。一個(gè)很大的目標(biāo)就是說(shuō)希望我們讓計(jì)算機(jī)不再像以前那樣，是一個(gè)高功耗的，希望是一個(gè)很低功耗的，同時(shí)還可以很容易把這種規(guī)模做上去，比如說(shuō) 個(gè)芯片就可以增加 倍的能力。這個(gè)項(xiàng)目的宏大目標(biāo)是希望，因?yàn)槲覀冎廊四X大概是億個(gè)神經(jīng)元，貓的大腦約有億神經(jīng)元，當(dāng)時(shí)有這樣一個(gè)目標(biāo)，人腦的容積那么大，大概是升多。我們希望構(gòu)建一個(gè)計(jì)算系統(tǒng)，可以在升的空間里，人工神經(jīng)元達(dá)到貓腦的數(shù)量級(jí)。這是過(guò)去幾年的進(jìn)展，最近可能大家也看到一些新聞，我們也有一些芯片出來(lái)，專(zhuān)門(mén)做一些跟神經(jīng)元相關(guān)的計(jì)算。 年的時(shí)候是 個(gè)神經(jīng)元，前年我們已經(jīng)能集成到 萬(wàn)個(gè)神經(jīng)元，再一個(gè)單芯片上。但是這個(gè)單芯片上它的功耗只有 毫瓦，下面有一個(gè)圖，用紅外照相機(jī)拍的圖這是芯片真正工作的狀態(tài)。左半邊就是 芯片,毫瓦跟手機(jī)里面的芯片差不多。右邊是一個(gè)附屬的卡，做數(shù)據(jù)的輸出輸入的，紅的發(fā)亮。這樣的一種芯片是可以達(dá)到目標(biāo)。右下角也做了很多的應(yīng)用嘗試，這是模式識(shí)別,多類(lèi)的一個(gè)目標(biāo)檢測(cè)的系統(tǒng)，當(dāng)時(shí)是這種一塊芯片就可以做到實(shí)時(shí)的模式識(shí)別，比如說(shuō)識(shí)別它是車(chē)還是人，是自行車(chē)還是建筑物的構(gòu)思。大家可以想象一下，原來(lái)我們做這種模式的系統(tǒng)，如果做到實(shí)時(shí)的話，單 是不行的，做不到實(shí)時(shí)，在圖像質(zhì)量非常高的情況下， 只需要毫瓦就可以做到實(shí)時(shí)分析，如果我們用做的話是幾百瓦，這是功率上非常大的提升。這個(gè)目標(biāo)做出來(lái)之后也基本實(shí)現(xiàn)了，我們能夠讓一個(gè)貓腦的計(jì)算能力的系統(tǒng)，放再一個(gè)大概升的空間里。因?yàn)樗姆浅５停砸膊恍枰龊芎玫纳?，整個(gè)系統(tǒng)可以很高密集的集成。像這樣的芯片技術(shù)能帶來(lái)什么呢？我們也看比如說(shuō)這種其他公司的同事也在講和，這里面有很多新的應(yīng)用。比如說(shuō)眼鏡上來(lái)說(shuō)，有很多有視覺(jué)障礙的人，如果說(shuō)他弱視或者是看不清楚東西。他戴眼鏡有什么好處呢？這個(gè)眼鏡就會(huì)相當(dāng)于一個(gè)攝像頭，實(shí)時(shí)采集周邊的信息，做目標(biāo)識(shí)別，告訴他前面有條路，左邊有一個(gè)屋子，他耳朵上掛了一個(gè)耳麥，把圖像的信息變成了語(yǔ)音的信息提示她。這樣的一個(gè)技術(shù)是很有用的，因?yàn)樗艿凸摹Ｎ覀冋f(shuō)手機(jī)上也就是幾十毫瓦就到頂了，傳統(tǒng)的模式識(shí)別的算法如果識(shí)別的話，可能是百瓦的功耗級(jí)別。還有一個(gè)場(chǎng)景是說(shuō)我們因?yàn)槭堑凸?，比如我們?cè)谧鲆恍┑膱?chǎng)景，因?yàn)楹芏嗟牡膱?chǎng)景是森林防火，我們沒(méi)有辦法布一個(gè)很復(fù)雜的計(jì)算設(shè)備到遠(yuǎn)端，你的電和網(wǎng)絡(luò)鋪進(jìn)去很難。低功耗的設(shè)備，本身是我這個(gè)設(shè)備有一些終端智能，可以做模式識(shí)別，比如可以識(shí)別周邊溫度的變化，識(shí)別周邊環(huán)境的變化，可能就用一點(diǎn)點(diǎn)的太陽(yáng)能就可以支撐他的工作。平時(shí)也不需要去用網(wǎng)絡(luò)連接，當(dāng)他發(fā)現(xiàn)問(wèn)題的時(shí)候，比如說(shuō)某些地方有異常的溫度變化，或者是有些地方有禁區(qū)，這時(shí)候他做了識(shí)別以后把這個(gè)信號(hào)再傳回他的服務(wù)器端。這樣一個(gè)場(chǎng)景的話低功耗也是非常重要的。其實(shí)在這個(gè)領(lǐng)域里面仍然有非常非常多的事情要做，因?yàn)榇竽X遠(yuǎn)比我們現(xiàn)在的計(jì)算系統(tǒng)要有效率的多。今年是人工智能的周年，事實(shí)上遠(yuǎn)在 多年前古希臘的亞里士多德，他在形式演繹