神經(jīng)網(wǎng)絡硬件方面的調(diào)查研究

1、神經(jīng)網(wǎng)絡硬件方面的調(diào)查研究神經(jīng)網(wǎng)絡硬件方面的調(diào)查研究智能計算作業(yè)姓名：張可新學號：12171020文獻摘要文獻摘要 在過去的十年中，并行人工神經(jīng)網(wǎng)絡模型的硬件開發(fā)設計很多。本文旨在對人工神經(jīng)網(wǎng)絡硬件進行回顧述。介紹硬件規(guī)格、執(zhí)行評價等神經(jīng)網(wǎng)絡的基礎技術(shù)，介紹人工神經(jīng)網(wǎng)絡主要結(jié)構(gòu)類型。詳細描述了cnaps（連接網(wǎng)絡的自適應處理器） 和synapse-1（神經(jīng)算法在并行脈動陣列中的合成 ）兩種神經(jīng)硬件以及一些神經(jīng)網(wǎng)絡硬件的應用。討論了神經(jīng)網(wǎng)絡硬件的未來發(fā)展與挑戰(zhàn)。 一、介紹一、介紹 l在過去十年，神經(jīng)網(wǎng)絡的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡硬件設備被認為在一些領域中上具有發(fā)展空間，如圖像處理，語音合成分

2、析，模式識別，高能物理等。l神經(jīng)網(wǎng)絡硬件通常被認為是實施神經(jīng)網(wǎng)絡結(jié)構(gòu)和學習算法的設備，特別是那些具有神經(jīng)網(wǎng)絡所固有并列屬性的設備。 一、介紹一、介紹 l在過去十年，神經(jīng)網(wǎng)絡的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡硬件設備被認為在一些領域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。l神經(jīng)網(wǎng)絡硬件通常被認為是實施神經(jīng)網(wǎng)絡結(jié)構(gòu)和學習算法的設備，特別是那些具有神經(jīng)網(wǎng)絡所固有并列屬性的設備。 l本文概述了神經(jīng)網(wǎng)絡硬件結(jié)構(gòu)的發(fā)展現(xiàn)狀，介紹了神經(jīng)網(wǎng)絡的硬件規(guī)格、分類、結(jié)構(gòu)種類、設計方法以及最新的發(fā)展狀況以及實際應用。對神經(jīng)網(wǎng)絡硬件的發(fā)展趨勢進行了討論。 二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡二、人工神經(jīng)元

3、模型和神經(jīng)網(wǎng)絡的結(jié)構(gòu)的結(jié)構(gòu) l人工神經(jīng)元模型輸入輸入權(quán)值權(quán)值判定神經(jīng)元判定神經(jīng)元是否被激發(fā)是否被激發(fā)輸出輸出二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡結(jié)構(gòu)結(jié)構(gòu)l人工神經(jīng)網(wǎng)絡結(jié)構(gòu)圖2：(a)多層饋送神經(jīng)網(wǎng)絡 (b)遞歸神經(jīng)網(wǎng)絡第一層神第一層神經(jīng)元是從經(jīng)元是從前一層得前一層得到的輸入，到的輸入，其輸出會其輸出會作為下一作為下一層的輸入。層的輸入。連接神經(jīng)連接神經(jīng)元到同一元到同一層或前一層或前一層的結(jié)構(gòu)層的結(jié)構(gòu)成為遞歸成為遞歸神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡。三、神經(jīng)網(wǎng)絡的硬件與軟件三、神經(jīng)網(wǎng)絡的硬件與軟件 l神經(jīng)網(wǎng)絡軟件 當所處理的任務不需要非?？斓倪\行速度時，大多數(shù)神經(jīng)網(wǎng)絡設計師的解決方案，是采

4、用軟件應用于電腦或工作站上，而不是尋求特殊附加硬件去解決。 即使是最快的串行處理器也無法提供實時響應和對大量的神經(jīng)元、突觸的網(wǎng)絡學習。 三、神經(jīng)網(wǎng)絡的硬件與軟件三、神經(jīng)網(wǎng)絡的硬件與軟件 l神經(jīng)網(wǎng)絡硬件 多個簡單處理單元并行處理，可以提供巨大加速。當硬件實現(xiàn)時，神經(jīng)網(wǎng)絡可以充分利用其固有的并行性，并且其運行量級遠遠大于軟件模擬。 一般來說，神經(jīng)網(wǎng)絡硬件設計人員所采用的方法有兩種。一種方法是建立一個普通但較貴的系統(tǒng)上，這個系統(tǒng)可根據(jù)不同任務重新編程，如自適應解決方案cnaps 15 。另一個辦法是建立一個專門的廉價芯片迅速有效的處理一件事，如ibm zisc 16 。四、模塊表示法及其規(guī)范四、模塊

5、表示法及其規(guī)范四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范l激活模塊，是執(zhí)行wj、xj相乘并且對各相乘組求和，它是位于在神經(jīng)元芯片（或神經(jīng)元計算機的處理單元）。l其他模塊，即神經(jīng)元狀態(tài)塊，權(quán)值模塊和傳輸功能模塊均可以設在芯片上或芯片外，其中一些功能可以由主機執(zhí)行。這些模塊之間的數(shù)據(jù)傳輸是通過芯片上的控制單元控制著。而控制參數(shù)是主機用來控制硬件的。四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范l數(shù)據(jù)流是權(quán)值模塊中的權(quán)值，外部的輸入或從相乘后的輸出結(jié)果作為的輸入，在激活模塊概括出結(jié)果，并通過轉(zhuǎn)換、總和以上結(jié)果在神經(jīng)狀態(tài)模塊中得到輸出。 四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范l傳遞函數(shù) 對于多層

6、感知器和hopfield(霍普菲爾)神經(jīng)網(wǎng)絡（例如 18 ）的傳遞函數(shù)可能是一個閾值，線性，斜坡和雙彎曲函數(shù)。kohonen網(wǎng)絡（例如 19 ），通過激活模塊計算要符合輸入和權(quán)重向量的歐式距離。四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范l規(guī)范 對于量化神經(jīng)網(wǎng)絡硬件性能傳統(tǒng)的方法是在單位時間測量乘法和累加計算數(shù)目和權(quán)值更新率。這兩種測量方法有些符合mips或傳統(tǒng)系統(tǒng)中的mflops測量。他們只是提供一種指示，必須對不同精度和尺寸進行細心比較。 由于缺乏有效的、便攜的軟件，因而沒有盡力去做出一個與神經(jīng)網(wǎng)絡硬件相適應的綜合基準。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l分類標準：神經(jīng)網(wǎng)絡硬件根據(jù)不

7、同屬性對神經(jīng)網(wǎng)絡的硬件進行分類，如系統(tǒng)結(jié)構(gòu)、并行度、處理器間通信網(wǎng)絡、通用或?qū)Ｓ迷O備、芯片上運算或不在芯片上運算等等。l基于并行度，神經(jīng)網(wǎng)絡硬件可分為4類：粗粒子，中粒子，細粒度和大規(guī)模并行處理 24 。 五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l對文獻 5 所提出的方案進行分析，將神經(jīng)網(wǎng)絡硬件為四大類，如圖所示。l基于集成電路標準，神經(jīng)元計算機首先分為兩大部分。一部分主要加速器板和并行多處理器系統(tǒng)組成的。加速器板，可以加快傳統(tǒng)電腦如個人電腦或工作站；并行多處理器系統(tǒng)，可以單獨運行，也可通過計算機主機對其監(jiān)控。另一部分是建立在專用神經(jīng)元asic（專用集成電路）上的神經(jīng)元芯片。這些神經(jīng)元芯片可以

8、是數(shù)字，模擬，或混合。 五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l加速器板介紹 加速器板是最常用于神經(jīng)元的商業(yè)硬件，因為他們是相對便宜的，應用廣泛，連接到電腦或工作站較為簡單，并且可以提供用戶友好的軟件工具。它們插在擴展插槽，用于加快神經(jīng)網(wǎng)絡計算?？蓪崿F(xiàn)的加速，是一個數(shù)量級與連續(xù)實現(xiàn)的比較。加速器板通常是采用神經(jīng)網(wǎng)絡芯片，但有些只是使用高速數(shù)字信號處理器（數(shù)字信號處理器），它們可很快處理多重累積的操作。加速器板的一個缺點是他們?yōu)槟硞€具體任務設定的，因而缺乏靈活性、不適應其他新范例。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l加速器板實例 加速器板的一個很好實例就是ibm zisc isa和pci

9、卡。zisc 036芯片是ibmessonnes實驗室開發(fā)處理的 16 。一個單zisc 036擁有36個神經(jīng)元，或原機，通過rce（或roi）算法訓練實現(xiàn)。isa卡包含16 zisc 036芯片，提供576個原機神經(jīng)元。pci卡可容納19芯片，684個原型。pci卡每秒可以處理165000種模式，每種個模式是64個8位的元向量。 其他加速器系統(tǒng)，包括saic sigma-1 25, neuro turbo 26, hnc 27等。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l對通用處理器的神經(jīng)元計算機的建立 通用處理器為神經(jīng)元功能可通過編程實現(xiàn)。由于其廣泛的可用性和相對低廉的價格，許多神經(jīng)元計算

10、機用通用芯片進行組裝。從簡單結(jié)構(gòu)，低成本單元（例如在bsp400 28 和cokos 29 ）到像晶體計算機那樣相當復雜處理結(jié)構(gòu)的實現(xiàn)，它們的并行輸入/輸出線 30 、數(shù)字信號處理器是獨特的。 對于許多處理器而言尋找好的一個互聯(lián)策略被證明是一個復雜的問題。然而，許多關于這些大規(guī)模、并行計算機結(jié)構(gòu)的知識可以于神經(jīng)元結(jié)構(gòu)的設計。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l對通用處理器的神經(jīng)元計算機的建立 （實例） rap（環(huán)陣列處理器） 33 是由通用處理器構(gòu)造出神經(jīng)元處理器的一個例實例。它是在icsi（國際計算機科學研究所，伯克利，加利福尼亞州）研發(fā)出的，并且自1990以來它是作為開發(fā)語音識別中的

11、連接算法的一個重要部分。rap是由一個4 mb的動態(tài)隨機存取存儲器和440個具有256千字節(jié)快速靜態(tài)存儲器的定點數(shù)字信號處理器titms320c30組成。這些芯片通過xilinx公司的可編程門陣列（pgas）進行連接。這些芯片是通過一個連接環(huán)連接成可編程門陣列，每個芯片執(zhí)行一個簡單的數(shù)據(jù)管道。此外，每板有一個虛擬機環(huán)境總線的邏輯接口，允許它連接到主機上。 rap的軟件支持需要一個具有命令解釋器的工作站，c標準環(huán)境的工具和一個矩陣、向量庫。在前處理中計算一個多層感知器網(wǎng)絡，一個簡單的板就可以每秒運行57兆周，而處理反向訓練可以每秒運行13.2兆周。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l神經(jīng)元

12、芯片 實現(xiàn)神經(jīng)元功能采用的專用芯片需設計專用的電路。通過比較通用處理器執(zhí)行的2階幅度，神經(jīng)元芯片提高了神經(jīng)元交互時間。設計神經(jīng)元芯片可以選擇一些應用技術(shù)。其主要區(qū)別在于選擇了一個全數(shù)字化，完全模擬，或混合的設計。 一些實例表明直接在電路中執(zhí)行改變了原始計算機單元（模擬或分析）確切功能。這主要是由于精度的有限。有限的精度對原始模式的運作具有非常大的影響。為構(gòu)造出大規(guī)模的執(zhí)行機構(gòu)，許多神經(jīng)元芯片就必須互聯(lián)。因此一些芯片就用于專門的通信通道。其他的神經(jīng)元芯片就被專用通信元件互聯(lián)了。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l數(shù)字神經(jīng)元芯片 數(shù)字神經(jīng)元專用集成電路（asic）是強大和成熟的神經(jīng)元芯片。數(shù)

13、字技術(shù)提供的高精度，高可靠性，高可編程性。此外，強大的設計工具對數(shù)據(jù)全、半定制設計是有效的。缺點是與模擬實現(xiàn)相比，具有相對較大的電路尺寸。突觸權(quán)重可以存在芯片上也可不存在芯片上。這是權(quán)衡速度和大小來選擇的。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l模擬神經(jīng)元芯片 模擬電子技術(shù)有一些特性是可以直接用于神經(jīng)網(wǎng)絡的實現(xiàn)。例如，運算放大器，可以很容易用晶體管構(gòu)建，可以自動運行神經(jīng)功能，如集成與雙彎曲線轉(zhuǎn)換。 這些密集型計算，可以通過物理過程自動執(zhí)行，如集合電流或電荷。模擬電子技術(shù)是非常緊湊，且可在低能耗條件下提供高速運轉(zhuǎn)。根據(jù)目前最先進的微電子技術(shù)，一個簡單的神經(jīng)元可以把1000多個神經(jīng)元聯(lián)想記憶芯片

14、和100多個輸入集成到一個100gcps的芯片上。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l模擬神經(jīng)元芯片 （優(yōu)缺點） 模擬技術(shù)的缺點是對噪音和工藝參數(shù)變化容易產(chǎn)生變化，從而限制了計算精度。除了設計模擬電路的困難，如何表示可適用的權(quán)重問題也限制了模擬電路的應用。 盡管模擬芯片不能達到數(shù)字芯片的靈活性，但其速度和緊湊，使模擬芯片在神經(jīng)網(wǎng)絡的研究中占有一席之位，特別原神經(jīng)網(wǎng)絡模式自適應特性的模擬芯片。最后一個有價值的優(yōu)勢是可以與真實的模擬世界直接接口，而數(shù)字實現(xiàn)將需要一個快速模擬數(shù)字轉(zhuǎn)換器讀取世界信息，和一個數(shù)字模擬轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換回世界信息。五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l合成神經(jīng)元芯

15、片 數(shù)字和模擬技術(shù)具有獨特的優(yōu)勢， 但他們也存在缺點，主要是關于神經(jīng)網(wǎng)絡實現(xiàn)中的適應性。數(shù)字技術(shù)的主要缺點是相對計算緩慢、硅的使用量大和倍增電路的大功率。模擬技術(shù)的缺陷是對噪聲的敏感性、對干擾和過程變化具有易變性。對這些過程的執(zhí)行采用正確的模擬和數(shù)字技術(shù)混合是非常有利的。為了獲得兩種技術(shù)的優(yōu)點，并避免主要缺陷，一些研究小組已經(jīng)實施了混合系統(tǒng)。 五、神經(jīng)網(wǎng)絡硬件分類五、神經(jīng)網(wǎng)絡硬件分類l合成神經(jīng)元芯片 （舉例） ann（模擬神經(jīng)網(wǎng)絡的算術(shù)和邏輯單元）芯片 。 epsilon 42 芯片是一個種混合型神經(jīng)元芯片，用于脈沖編碼技術(shù)。 最近用于脈沖流技術(shù)的神經(jīng)元芯片是pdm（脈沖密度調(diào)制）數(shù)字神經(jīng)網(wǎng)絡

16、系統(tǒng)43。 六、案例分析六、案例分析l cnaps 最廣為人知的商用神經(jīng)元計算機cnaps（連接網(wǎng)絡的自適應處理器） 15 是自適求解。cnaps系統(tǒng)基本構(gòu)造模塊是神經(jīng)元芯片n6400。如圖所示，該n6400本身由64處理單元（簡稱處理節(jié)點）組成，它們通過在一個simd（單指令多數(shù)據(jù)）模型中的傳播總線相連接。雙8位總線可以將輸入輸出數(shù)據(jù)傳到所有的pn中。 cnaps結(jié)構(gòu)的一大優(yōu)勢是系統(tǒng)的可擴展性：由于傳播總線，處理器間通信和simd模式，和n6400芯片均可以很容易地添加。 六、案例分析六、案例分析l synapse-1 synapse-1是由8個ma-16芯片連接到兩根并行環(huán)上，通過2個摩托

17、羅拉mc68040處理器控制。權(quán)值是存儲在一個外芯片dram，它總計達到128m字節(jié)并且通過擴展可達到512m字節(jié)。神經(jīng)網(wǎng)絡是映射到前一階段的sp-并行，和學習階段的np-并行。神經(jīng)元傳遞函數(shù)是用查表法在外芯片上計算。特別是高容量的在線權(quán)值存儲器可以作為synapse-1來處理復雜的應用。 不同于cnaps中的簡單simd結(jié)構(gòu)，編寫synapse-1程序是困難的。雖然有神經(jīng)算法程序設計語言可用，但相當復雜的處理單元和脈動陣列二維結(jié)構(gòu)對直接編程造成影響。 七、神經(jīng)網(wǎng)絡硬件的應用七、神經(jīng)網(wǎng)絡硬件的應用 神經(jīng)網(wǎng)絡的硬件應用于實際和獲利已經(jīng)越來越多了。本節(jié)說明其在光學字符識別（ocr），語音識別，神經(jīng)

18、形態(tài)系統(tǒng)和高能物理的應用。七、神經(jīng)網(wǎng)絡硬件的應用七、神經(jīng)網(wǎng)絡硬件的應用 l光學字符識別 光學字符識別已成為一個神經(jīng)網(wǎng)絡最大的商業(yè)應用?，F(xiàn)在購買一個新的掃描儀通常包括商業(yè)光學字符識別程序。把圖片文本轉(zhuǎn)換到文本文件，很多或更多的步驟必須通過光學字符識別程序完成，包括清理圖像，分割字符，特征提取，分類和校驗字符等等。大多數(shù)的光學字符識別程序通過ann選擇完成一個或多個光學字符識別步驟，而其他步驟中所使用的技術(shù)有傳統(tǒng)的人工智能（if-then規(guī)則），統(tǒng)計模型，隱馬爾可夫模型等等。 光學字符識別的神經(jīng)網(wǎng)絡硬件闡明了兩點：高通量，需要高性能專用硬件；消費產(chǎn)品，必須采用廉價的專用芯片。 七、神經(jīng)網(wǎng)絡硬件的應

19、用七、神經(jīng)網(wǎng)絡硬件的應用 l語音識別 傳感系統(tǒng)元件在語音識別神經(jīng)元芯片中是很專業(yè)化的 46 。芯片的成本只有幾美元。芯片可識別有限的詞匯，例如10-100個單詞。其目的是便于為消費者應用，如手機、玩具等。它們涉及原聲信號變成頻率和送入神經(jīng)網(wǎng)絡的單獨變換表示。神經(jīng)網(wǎng)絡的結(jié)構(gòu)進行非線性貝葉斯分類。訓練數(shù)據(jù)包括一個300 600個聲音的潛在用戶樣本語言庫。七、神經(jīng)網(wǎng)絡硬件的應用七、神經(jīng)網(wǎng)絡硬件的應用 l神經(jīng)形態(tài)硬件 神經(jīng)形態(tài)是指與生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能密切相關的系統(tǒng)，如：硅視網(wǎng)膜和模擬耳蝸 47 。這種裝置主要是模擬，特別是在前端傳感器階段。一個成功的商業(yè)產(chǎn)品是突觸觸摸板 48 。它是一個很小但非常靈敏的觸點，可以感察到人手在其屏幕導航、光標移動、互動的輸入板上的移動位置。突觸觸摸板就是用了在視網(wǎng)膜和觸摸研究的思路，尤其神經(jīng)元的輸出是受其連接到其他附近神經(jīng)元的影響。該觸摸板可以用在多種應用，其應用是需要一個薄，穩(wěn)健，準確，易于使用輸入和導航設備。 神經(jīng)形態(tài)設備和觸摸板一樣，在轉(zhuǎn)換成數(shù)字信號前，要做很多前端處理擬電路，因而具有低帶寬要求。七、神經(jīng)網(wǎng)絡硬件的應用七、神經(jīng)網(wǎng)絡硬件的應用 l高能物理在線