神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究課件

神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究智能計(jì)算作業(yè)姓名：張可新學(xué)號：神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究文獻(xiàn)摘要

在過去的十年中，并行人工神經(jīng)網(wǎng)絡(luò)模型的硬件開發(fā)設(shè)計(jì)很多。本文旨在對人工神經(jīng)網(wǎng)絡(luò)硬件進(jìn)行回顧述。介紹硬件規(guī)格、執(zhí)行評價(jià)等神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)技術(shù)，介紹人工神經(jīng)網(wǎng)絡(luò)主要結(jié)構(gòu)類型。詳細(xì)描述了CNAPS（連接網(wǎng)絡(luò)的自適應(yīng)處理器）和SYNAPSE-1（神經(jīng)算法在并行脈動(dòng)陣列中的合成）兩種神經(jīng)硬件以及一些神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用。討論了神經(jīng)網(wǎng)絡(luò)硬件的未來發(fā)展與挑戰(zhàn)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究一、介紹在過去十年，神經(jīng)網(wǎng)絡(luò)的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡(luò)硬件設(shè)備被認(rèn)為在一些領(lǐng)域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經(jīng)網(wǎng)絡(luò)硬件通常被認(rèn)為是實(shí)施神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法的設(shè)備，特別是那些具有神經(jīng)網(wǎng)絡(luò)所固有并列屬性的設(shè)備。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究一、介紹在過去十年，神經(jīng)網(wǎng)絡(luò)的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡(luò)硬件設(shè)備被認(rèn)為在一些領(lǐng)域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經(jīng)網(wǎng)絡(luò)硬件通常被認(rèn)為是實(shí)施神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法的設(shè)備，特別是那些具有神經(jīng)網(wǎng)絡(luò)所固有并列屬性的設(shè)備。本文概述了神經(jīng)網(wǎng)絡(luò)硬件結(jié)構(gòu)的發(fā)展現(xiàn)狀，介紹了神經(jīng)網(wǎng)絡(luò)的硬件規(guī)格、分類、結(jié)構(gòu)種類、設(shè)計(jì)方法以及最新的發(fā)展?fàn)顩r以及實(shí)際應(yīng)用。對神經(jīng)網(wǎng)絡(luò)硬件的發(fā)展趨勢進(jìn)行了討論。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)

的結(jié)構(gòu)人工神經(jīng)元模型輸入權(quán)值判定神經(jīng)元是否被激發(fā)輸出神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)

結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2：(a)多層饋送神經(jīng)網(wǎng)絡(luò)(b)遞歸神經(jīng)網(wǎng)絡(luò)第一層神經(jīng)元是從前一層得到的輸入，其輸出會(huì)作為下一層的輸入。連接神經(jīng)元到同一層或前一層的結(jié)構(gòu)成為遞歸神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件神經(jīng)網(wǎng)絡(luò)軟件當(dāng)所處理的任務(wù)不需要非?？斓倪\(yùn)行速度時(shí)，大多數(shù)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)師的解決方案，是采用軟件應(yīng)用于電腦或工作站上，而不是尋求特殊附加硬件去解決。即使是最快的串行處理器也無法提供實(shí)時(shí)響應(yīng)和對大量的神經(jīng)元、突觸的網(wǎng)絡(luò)學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件神經(jīng)網(wǎng)絡(luò)硬件多個(gè)簡單處理單元并行處理，可以提供巨大加速。當(dāng)硬件實(shí)現(xiàn)時(shí)，神經(jīng)網(wǎng)絡(luò)可以充分利用其固有的并行性，并且其運(yùn)行量級遠(yuǎn)遠(yuǎn)大于軟件模擬。一般來說，神經(jīng)網(wǎng)絡(luò)硬件設(shè)計(jì)人員所采用的方法有兩種。一種方法是建立一個(gè)普通但較貴的系統(tǒng)上，這個(gè)系統(tǒng)可根據(jù)不同任務(wù)重新編程，如自適應(yīng)解決方案CNAPS[15]。另一個(gè)辦法是建立一個(gè)專門的廉價(jià)芯片迅速有效的處理一件事，如IBMZISC[16]。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范激活模塊，是執(zhí)行wj、xj相乘并且對各相乘組求和，它是位于在神經(jīng)元芯片（或神經(jīng)元計(jì)算機(jī)的處理單元）。其他模塊，即神經(jīng)元狀態(tài)塊，權(quán)值模塊和傳輸功能模塊均可以設(shè)在芯片上或芯片外，其中一些功能可以由主機(jī)執(zhí)行。這些模塊之間的數(shù)據(jù)傳輸是通過芯片上的控制單元控制著。而控制參數(shù)是主機(jī)用來控制硬件的。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范數(shù)據(jù)流是權(quán)值模塊中的權(quán)值，外部的輸入或從相乘后的輸出結(jié)果作為的輸入，在激活模塊概括出結(jié)果，并通過轉(zhuǎn)換、總和以上結(jié)果在神經(jīng)狀態(tài)模塊中得到輸出。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范傳遞函數(shù)對于多層感知器和Hopfield(霍普菲爾)神經(jīng)網(wǎng)絡(luò)（例如[18]）的傳遞函數(shù)可能是一個(gè)閾值，線性，斜坡和雙彎曲函數(shù)。Kohonen網(wǎng)絡(luò)（例如[19]），通過激活模塊計(jì)算要符合輸入和權(quán)重向量的歐式距離。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范規(guī)范對于量化神經(jīng)網(wǎng)絡(luò)硬件性能傳統(tǒng)的方法是在單位時(shí)間測量乘法和累加計(jì)算數(shù)目和權(quán)值更新率。這兩種測量方法有些符合MIPS或傳統(tǒng)系統(tǒng)中的MFLOPS測量。他們只是提供一種指示，必須對不同精度和尺寸進(jìn)行細(xì)心比較。由于缺乏有效的、便攜的軟件，因而沒有盡力去做出一個(gè)與神經(jīng)網(wǎng)絡(luò)硬件相適應(yīng)的綜合基準(zhǔn)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類分類標(biāo)準(zhǔn)：神經(jīng)網(wǎng)絡(luò)硬件根據(jù)不同屬性對神經(jīng)網(wǎng)絡(luò)的硬件進(jìn)行分類，如系統(tǒng)結(jié)構(gòu)、并行度、處理器間通信網(wǎng)絡(luò)、通用或?qū)Ｓ迷O(shè)備、芯片上運(yùn)算或不在芯片上運(yùn)算等等?；诓⑿卸?，神經(jīng)網(wǎng)絡(luò)硬件可分為4類：粗粒子，中粒子，細(xì)粒度和大規(guī)模并行處理[24]。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類對文獻(xiàn)[5]所提出的方案進(jìn)行分析，將神經(jīng)網(wǎng)絡(luò)硬件為四大類，如圖所示?；诩呻娐窐?biāo)準(zhǔn)，神經(jīng)元計(jì)算機(jī)首先分為兩大部分。一部分主要加速器板和并行多處理器系統(tǒng)組成的。加速器板，可以加快傳統(tǒng)電腦如個(gè)人電腦或工作站；并行多處理器系統(tǒng)，可以單獨(dú)運(yùn)行，也可通過計(jì)算機(jī)主機(jī)對其監(jiān)控。另一部分是建立在專用神經(jīng)元ASIC（專用集成電路）上的神經(jīng)元芯片。這些神經(jīng)元芯片可以是數(shù)字，模擬，或混合。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類加速器板介紹加速器板是最常用于神經(jīng)元的商業(yè)硬件，因?yàn)樗麄兪窍鄬Ρ阋说?，?yīng)用廣泛，連接到電腦或工作站較為簡單，并且可以提供用戶友好的軟件工具。它們插在擴(kuò)展插槽，用于加快神經(jīng)網(wǎng)絡(luò)計(jì)算。可實(shí)現(xiàn)的加速，是一個(gè)數(shù)量級與連續(xù)實(shí)現(xiàn)的比較。加速器板通常是采用神經(jīng)網(wǎng)絡(luò)芯片，但有些只是使用高速數(shù)字信號處理器（數(shù)字信號處理器），它們可很快處理多重累積的操作。加速器板的一個(gè)缺點(diǎn)是他們?yōu)槟硞€(gè)具體任務(wù)設(shè)定的，因而缺乏靈活性、不適應(yīng)其他新范例。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類加速器板實(shí)例加速器板的一個(gè)很好實(shí)例就是IBMZISCISA和PCI卡。ZISC036芯片是IBMessonnes實(shí)驗(yàn)室開發(fā)處理的[16]。一個(gè)單ZISC036擁有36個(gè)神經(jīng)元，或原機(jī)，通過RCE（或ROI）算法訓(xùn)練實(shí)現(xiàn)。ISA卡包含16ZISC036芯片，提供576個(gè)原機(jī)神經(jīng)元。PCI卡可容納19芯片，684個(gè)原型。PCI卡每秒可以處理165000種模式，每種個(gè)模式是64個(gè)8位的元向量。其他加速器系統(tǒng)，包括SAICSIGMA-1[25],NeuroTurbo[26],HNC[27]等。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類對通用處理器的神經(jīng)元計(jì)算機(jī)的建立通用處理器為神經(jīng)元功能可通過編程實(shí)現(xiàn)。由于其廣泛的可用性和相對低廉的價(jià)格，許多神經(jīng)元計(jì)算機(jī)用通用芯片進(jìn)行組裝。從簡單結(jié)構(gòu)，低成本單元（例如在BSP400[28]和COKOS[29]）到像晶體計(jì)算機(jī)那樣相當(dāng)復(fù)雜處理結(jié)構(gòu)的實(shí)現(xiàn)，它們的并行輸入/輸出線[30]、數(shù)字信號處理器是獨(dú)特的。對于許多處理器而言尋找好的一個(gè)互聯(lián)策略被證明是一個(gè)復(fù)雜的問題。然而，許多關(guān)于這些大規(guī)模、并行計(jì)算機(jī)結(jié)構(gòu)的知識可以于神經(jīng)元結(jié)構(gòu)的設(shè)計(jì)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類對通用處理器的神經(jīng)元計(jì)算機(jī)的建立（實(shí)例）

RAP（環(huán)陣列處理器）[33]是由通用處理器構(gòu)造出神經(jīng)元處理器的一個(gè)例實(shí)例。它是在ICSI（國際計(jì)算機(jī)科學(xué)研究所，伯克利，加利福尼亞州）研發(fā)出的，并且自1990以來它是作為開發(fā)語音識別中的連接算法的一個(gè)重要部分。RAP是由一個(gè)4MB的動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器和4—40個(gè)具有256千字節(jié)快速靜態(tài)存儲(chǔ)器的定點(diǎn)數(shù)字信號處理器TITMS320C30組成。這些芯片通過Xilinx公司的可編程門陣列（PGAs）進(jìn)行連接。這些芯片是通過一個(gè)連接環(huán)連接成可編程門陣列，每個(gè)芯片執(zhí)行一個(gè)簡單的數(shù)據(jù)管道。此外，每板有一個(gè)虛擬機(jī)環(huán)境總線的邏輯接口，允許它連接到主機(jī)上。RAP的軟件支持需要一個(gè)具有命令解釋器的工作站，C標(biāo)準(zhǔn)環(huán)境的工具和一個(gè)矩陣、向量庫。在前處理中計(jì)算一個(gè)多層感知器網(wǎng)絡(luò)，一個(gè)簡單的板就可以每秒運(yùn)行57兆周，而處理反向訓(xùn)練可以每秒運(yùn)行13.2兆周。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類神經(jīng)元芯片實(shí)現(xiàn)神經(jīng)元功能采用的專用芯片需設(shè)計(jì)專用的電路。通過比較通用處理器執(zhí)行的2階幅度，神經(jīng)元芯片提高了神經(jīng)元交互時(shí)間。設(shè)計(jì)神經(jīng)元芯片可以選擇一些應(yīng)用技術(shù)。其主要區(qū)別在于選擇了一個(gè)全數(shù)字化，完全模擬，或混合的設(shè)計(jì)。一些實(shí)例表明直接在電路中執(zhí)行改變了原始計(jì)算機(jī)單元（模擬或分析）確切功能。這主要是由于精度的有限。有限的精度對原始模式的運(yùn)作具有非常大的影響。為構(gòu)造出大規(guī)模的執(zhí)行機(jī)構(gòu)，許多神經(jīng)元芯片就必須互聯(lián)。因此一些芯片就用于專門的通信通道。其他的神經(jīng)元芯片就被專用通信元件互聯(lián)了。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類數(shù)字神經(jīng)元芯片數(shù)字神經(jīng)元專用集成電路（ASIC）是強(qiáng)大和成熟的神經(jīng)元芯片。數(shù)字技術(shù)提供的高精度，高可靠性，高可編程性。此外，強(qiáng)大的設(shè)計(jì)工具對數(shù)據(jù)全、半定制設(shè)計(jì)是有效的。缺點(diǎn)是與模擬實(shí)現(xiàn)相比，具有相對較大的電路尺寸。突觸權(quán)重可以存在芯片上也可不存在芯片上。這是權(quán)衡速度和大小來選擇的。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類模擬神經(jīng)元芯片模擬電子技術(shù)有一些特性是可以直接用于神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。例如，運(yùn)算放大器，可以很容易用晶體管構(gòu)建，可以自動(dòng)運(yùn)行神經(jīng)功能，如集成與雙彎曲線轉(zhuǎn)換。這些密集型計(jì)算，可以通過物理過程自動(dòng)執(zhí)行，如集合電流或電荷。模擬電子技術(shù)是非常緊湊，且可在低能耗條件下提供高速運(yùn)轉(zhuǎn)。根據(jù)目前最先進(jìn)的微電子技術(shù)，一個(gè)簡單的神經(jīng)元可以把1000多個(gè)神經(jīng)元聯(lián)想記憶芯片和100多個(gè)輸入集成到一個(gè)100GCPS的芯片上。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類模擬神經(jīng)元芯片（優(yōu)缺點(diǎn)）模擬技術(shù)的缺點(diǎn)是對噪音和工藝參數(shù)變化容易產(chǎn)生變化，從而限制了計(jì)算精度。除了設(shè)計(jì)模擬電路的困難，如何表示可適用的權(quán)重問題也限制了模擬電路的應(yīng)用。盡管模擬芯片不能達(dá)到數(shù)字芯片的靈活性，但其速度和緊湊，使模擬芯片在神經(jīng)網(wǎng)絡(luò)的研究中占有一席之位，特別原神經(jīng)網(wǎng)絡(luò)模式自適應(yīng)特性的模擬芯片。最后一個(gè)有價(jià)值的優(yōu)勢是可以與真實(shí)的模擬世界直接接口，而數(shù)字實(shí)現(xiàn)將需要一個(gè)快速模擬數(shù)字轉(zhuǎn)換器讀取世界信息，和一個(gè)數(shù)字模擬轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換回世界信息。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類合成神經(jīng)元芯片數(shù)字和模擬技術(shù)具有獨(dú)特的優(yōu)勢，但他們也存在缺點(diǎn)，主要是關(guān)于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中的適應(yīng)性。數(shù)字技術(shù)的主要缺點(diǎn)是相對計(jì)算緩慢、硅的使用量大和倍增電路的大功率。模擬技術(shù)的缺陷是對噪聲的敏感性、對干擾和過程變化具有易變性。對這些過程的執(zhí)行采用正確的模擬和數(shù)字技術(shù)混合是非常有利的。為了獲得兩種技術(shù)的優(yōu)點(diǎn)，并避免主要缺陷，一些研究小組已經(jīng)實(shí)施了混合系統(tǒng)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類合成神經(jīng)元芯片（舉例）

ANN（模擬神經(jīng)網(wǎng)絡(luò)的算術(shù)和邏輯單元）芯片。

Epsilon[42]芯片是一個(gè)種混合型神經(jīng)元芯片，用于脈沖編碼技術(shù)。最近用于脈沖流技術(shù)的神經(jīng)元芯片是PDM（脈沖密度調(diào)制）數(shù)字神經(jīng)網(wǎng)絡(luò)系統(tǒng)[43]。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究六、案例分析CNAPS

最廣為人知的商用神經(jīng)元計(jì)算機(jī)CNAPS（連接網(wǎng)絡(luò)的自適應(yīng)處理器）[15]是自適求解。CNAPS系統(tǒng)基本構(gòu)造模塊是神經(jīng)元芯片N6400。如圖所示，該N6400本身由64處理單元（簡稱處理節(jié)點(diǎn)）組成，它們通過在一個(gè)SIMD（單指令多數(shù)據(jù)）模型中的傳播總線相連接。雙8位總線可以將輸入輸出數(shù)據(jù)傳到所有的PN中。

CNAPS結(jié)構(gòu)的一大優(yōu)勢是系統(tǒng)的可擴(kuò)展性：由于傳播總線，處理器間通信和SIMD模式，和N6400芯片均可以很容易地添加。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究六、案例分析SYNAPSE-1SYNAPSE-1是由8個(gè)MA-16芯片連接到兩根并行環(huán)上，通過2個(gè)摩托羅拉MC68040處理器控制。權(quán)值是存儲(chǔ)在一個(gè)外芯片DRAM，它總計(jì)達(dá)到128M字節(jié)并且通過擴(kuò)展可達(dá)到512M字節(jié)。神經(jīng)網(wǎng)絡(luò)是映射到前一階段的SP-并行，和學(xué)習(xí)階段的NP-并行。神經(jīng)元傳遞函數(shù)是用查表法在外芯片上計(jì)算。特別是高容量的在線權(quán)值存儲(chǔ)器可以作為SYNAPSE-1來處理復(fù)雜的應(yīng)用。不同于CNAPS中的簡單SIMD結(jié)構(gòu)，編寫SYNAPSE-1程序是困難的。雖然有神經(jīng)算法程序設(shè)計(jì)語言可用，但相當(dāng)復(fù)雜的處理單元和脈動(dòng)陣列二維結(jié)構(gòu)對直接編程造成影響。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用

神經(jīng)網(wǎng)絡(luò)的硬件應(yīng)用于實(shí)際和獲利已經(jīng)越來越多了。本節(jié)說明其在光學(xué)字符識別（OCR），語音識別，神經(jīng)形態(tài)系統(tǒng)和高能物理的應(yīng)用。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用光學(xué)字符識別光學(xué)字符識別已成為一個(gè)神經(jīng)網(wǎng)絡(luò)最大的商業(yè)應(yīng)用?，F(xiàn)在購買一個(gè)新的掃描儀通常包括商業(yè)光學(xué)字符識別程序。把圖片文本轉(zhuǎn)換到文本文件，很多或更多的步驟必須通過光學(xué)字符識別程序完成，包括清理圖像，分割字符，特征提取，分類和校驗(yàn)字符等等。大多數(shù)的光學(xué)字符識別程序通過ANN選擇完成一個(gè)或多個(gè)光學(xué)字符識別步驟，而其他步驟中所使用的技術(shù)有傳統(tǒng)的人工智能（IF-THEN規(guī)則），統(tǒng)計(jì)模型，隱馬爾可夫模型等等。光學(xué)字符識別的神經(jīng)網(wǎng)絡(luò)硬件闡明了兩點(diǎn)：高通量，需要高性能專用硬件；消費(fèi)產(chǎn)品，必須采用廉價(jià)的專用芯片。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用語音識別傳感系統(tǒng)元件在語音識別神經(jīng)元芯片中是很專業(yè)化的[46]。芯片的成本只有幾美元。芯片可識別有限的詞匯，例如10-100個(gè)單詞。其目的是便于為消費(fèi)者應(yīng)用，如手機(jī)、玩具等。它們涉及原聲信號變成頻率和送入神經(jīng)網(wǎng)絡(luò)的單獨(dú)變換表示。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行非線性貝葉斯分類。訓(xùn)練數(shù)據(jù)包括一個(gè)300–600個(gè)聲音的潛在用戶樣本語言庫。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用神經(jīng)形態(tài)硬件神經(jīng)形態(tài)是指與生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能密切相關(guān)的系統(tǒng)，如：硅視網(wǎng)膜和模擬耳蝸[47]。這種裝置主要是模擬，特別是在前端傳感器階段。一個(gè)成功的商業(yè)產(chǎn)品是突觸觸摸板[48]。它是一個(gè)很小但非常靈敏的觸點(diǎn)，可以感察到人手在其屏幕導(dǎo)航、光標(biāo)移動(dòng)、互動(dòng)的輸入板上的移動(dòng)位置。突觸觸摸板就是用了在視網(wǎng)膜和觸摸研究的思路，尤其神經(jīng)元的輸出是受其連接到其他附近神經(jīng)元的影響。該觸摸板可以用在多種應(yīng)用，其應(yīng)用是需要一個(gè)薄，穩(wěn)健，準(zhǔn)確，易于使用輸入和導(dǎo)航設(shè)備。神經(jīng)形態(tài)設(shè)備和觸摸板一樣，在轉(zhuǎn)換成數(shù)字信號前，要做很多前端處理擬電路，因而具有低帶寬要求。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用高能物理在線過濾器高能物理實(shí)驗(yàn)涉及亞原子粒子碰撞，如質(zhì)子與電