神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究課件

1、神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究1 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究 智能計算作業(yè) 姓名：張可新 學(xué)號：12171020 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究2 文獻摘要文獻摘要 在過去的十年中，并行人工神經(jīng)網(wǎng)絡(luò)模型 的硬件開發(fā)設(shè)計很多。本文旨在對人工神經(jīng)網(wǎng) 絡(luò)硬件進行回顧述。介紹硬件規(guī)格、執(zhí)行評價 等神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)技術(shù)，介紹人工神經(jīng)網(wǎng)絡(luò)主 要結(jié)構(gòu)類型。詳細(xì)描述了CNAPS（連接網(wǎng)絡(luò) 的自適應(yīng)處理器） 和SYNAPSE-1（神經(jīng)算法 在并行脈動陣列中的合成 ）兩種神經(jīng)硬件以 及一些神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用。討論了神經(jīng)網(wǎng)絡(luò) 硬件的未來發(fā)展與挑戰(zhàn)。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究3 一、介紹一、介紹 l在過去十年，神經(jīng)網(wǎng)絡(luò)的硬件

2、有了迅速的發(fā)展。 神經(jīng)網(wǎng)絡(luò)硬件設(shè)備被認(rèn)為在一些領(lǐng)域中上具有 發(fā)展空間，如圖像處理，語音合成分析，模式 識別，高能物理等。 l神經(jīng)網(wǎng)絡(luò)硬件通常被認(rèn)為是實施神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 和學(xué)習(xí)算法的設(shè)備，特別是那些具有神經(jīng)網(wǎng)絡(luò) 所固有并列屬性的設(shè)備。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究4 一、介紹一、介紹 l在過去十年，神經(jīng)網(wǎng)絡(luò)的硬件有了迅速的發(fā)展。神經(jīng) 網(wǎng)絡(luò)硬件設(shè)備被認(rèn)為在一些領(lǐng)域中上具有發(fā)展空間， 如圖像處理，語音合成分析，模式識別，高能物理等。 l神經(jīng)網(wǎng)絡(luò)硬件通常被認(rèn)為是實施神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí) 算法的設(shè)備，特別是那些具有神經(jīng)網(wǎng)絡(luò)所固有并列屬 性的設(shè)備。 l本文概述了神經(jīng)網(wǎng)絡(luò)硬件結(jié)構(gòu)的發(fā)展現(xiàn)狀，介紹了神 經(jīng)網(wǎng)絡(luò)的硬件

3、規(guī)格、分類、結(jié)構(gòu)種類、設(shè)計方法以及 最新的發(fā)展?fàn)顩r以及實際應(yīng)用。對神經(jīng)網(wǎng)絡(luò)硬件的發(fā) 展趨勢進行了討論。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究5 二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò) 的結(jié)構(gòu)的結(jié)構(gòu) l人工神經(jīng)元模型 輸入輸入 權(quán)值權(quán)值 判定神經(jīng)元判定神經(jīng)元 是否被激發(fā)是否被激發(fā) 輸出輸出 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究6 二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò) 結(jié)構(gòu)結(jié)構(gòu) l人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 圖2：(a)多層饋送神經(jīng)網(wǎng)絡(luò) (b)遞歸神經(jīng)網(wǎng)絡(luò) 第一層神第一層神 經(jīng)元是從經(jīng)元是從 前一層得前一層得 到的輸入，到的輸入， 其輸出會其輸出會 作為下一作為下一 層的輸入。層的輸入。

4、連接神經(jīng)連接神經(jīng) 元到同一元到同一 層或前一層或前一 層的結(jié)構(gòu)層的結(jié)構(gòu) 成為遞歸成為遞歸 神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究7 三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件 l神經(jīng)網(wǎng)絡(luò)軟件 當(dāng)所處理的任務(wù)不需要非常快的運行速度 時，大多數(shù)神經(jīng)網(wǎng)絡(luò)設(shè)計師的解決方案，是采 用軟件應(yīng)用于電腦或工作站上，而不是尋求特 殊附加硬件去解決。 即使是最快的串行處理器也無法提供實時 響應(yīng)和對大量的神經(jīng)元、突觸的網(wǎng)絡(luò)學(xué)習(xí)。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究8 三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件 l神經(jīng)網(wǎng)絡(luò)硬件 多個簡單處理單元并行處理，可以提供巨 大加速。當(dāng)硬件實現(xiàn)時，神經(jīng)網(wǎng)絡(luò)可以充分

5、利 用其固有的并行性，并且其運行量級遠(yuǎn)遠(yuǎn)大于 軟件模擬。 一般來說，神經(jīng)網(wǎng)絡(luò)硬件設(shè)計人員所采用 的方法有兩種。一種方法是建立一個普通但較 貴的系統(tǒng)上，這個系統(tǒng)可根據(jù)不同任務(wù)重新編 程，如自適應(yīng)解決方案CNAPS 15 。另一個 辦法是建立一個專門的廉價芯片迅速有效的處 理一件事，如IBM ZISC 16 。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究9 四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究10 四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范 l激活模塊，是執(zhí)行wj、xj相乘并且對各相乘組 求和，它是位于在神經(jīng)元芯片（或神經(jīng)元計算 機的處理單元）。 l其他模塊，即神經(jīng)元狀態(tài)塊，

6、權(quán)值模塊和傳輸 功能模塊均可以設(shè)在芯片上或芯片外，其中一 些功能可以由主機執(zhí)行。這些模塊之間的數(shù)據(jù) 傳輸是通過芯片上的控制單元控制著。而控制 參數(shù)是主機用來控制硬件的。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究11 四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范 l數(shù)據(jù)流是權(quán)值模塊中的權(quán)值，外部的輸入或從 相乘后的輸出結(jié)果作為的輸入，在激活模塊概 括出結(jié)果，并通過轉(zhuǎn)換、總和以上結(jié)果在神經(jīng) 狀態(tài)模塊中得到輸出。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究12 四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范 l傳遞函數(shù) 對于多層感知器和Hopfield(霍普菲爾)神經(jīng) 網(wǎng)絡(luò)（例如 18 ）的傳遞函數(shù)可能是一個閾 值，線性，斜坡和雙

7、彎曲函數(shù)。Kohonen網(wǎng)絡(luò) （例如 19 ），通過激活模塊計算要符合輸 入和權(quán)重向量的歐式距離。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究13 四、模塊表示法及其規(guī)范四、模塊表示法及其規(guī)范 l規(guī)范 對于量化神經(jīng)網(wǎng)絡(luò)硬件性能傳統(tǒng)的方法是 在單位時間測量乘法和累加計算數(shù)目和權(quán)值更 新率。這兩種測量方法有些符合MIPS或傳統(tǒng) 系統(tǒng)中的MFLOPS測量。他們只是提供一種指 示，必須對不同精度和尺寸進行細(xì)心比較。 由于缺乏有效的、便攜的軟件，因而沒有 盡力去做出一個與神經(jīng)網(wǎng)絡(luò)硬件相適應(yīng)的綜合 基準(zhǔn)。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究14 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l分類標(biāo)準(zhǔn)：神經(jīng)網(wǎng)絡(luò)硬件根據(jù)不同屬性對神經(jīng)

8、 網(wǎng)絡(luò)的硬件進行分類，如系統(tǒng)結(jié)構(gòu)、并行度、 處理器間通信網(wǎng)絡(luò)、通用或?qū)Ｓ迷O(shè)備、芯片上 運算或不在芯片上運算等等。 l基于并行度，神經(jīng)網(wǎng)絡(luò)硬件可分為4類：粗粒 子，中粒子，細(xì)粒度和大規(guī)模并行處理 24 。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究15 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l對文獻 5 所提出的方案進行分析，將神經(jīng)網(wǎng) 絡(luò)硬件為四大類，如圖所示。 l基于集成電路標(biāo)準(zhǔn)，神經(jīng)元計算機首先分為兩 大部分。一部分主要加速器板和并行多處理器 系統(tǒng)組成的。加速器板，可以加快傳統(tǒng)電腦如 個人電腦或工作站；并行多處理器系統(tǒng)，可以 單獨運行，也可通過計算機主機對其監(jiān)控。另 一部分是建立在專用神經(jīng)元ASIC（專

9、用集成 電路）上的神經(jīng)元芯片。這些神經(jīng)元芯片可以 是數(shù)字，模擬，或混合。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究16 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l加速器板介紹 加速器板是最常用于神經(jīng)元的商業(yè)硬件，因為他們 是相對便宜的，應(yīng)用廣泛，連接到電腦或工作站較為 簡單，并且可以提供用戶友好的軟件工具。它們插在 擴展插槽，用于加快神經(jīng)網(wǎng)絡(luò)計算?？蓪崿F(xiàn)的加速， 是一個數(shù)量級與連續(xù)實現(xiàn)的比較。加速器板通常是采 用神經(jīng)網(wǎng)絡(luò)芯片，但有些只是使用高速數(shù)字信號處理 器（數(shù)字信號處理器），它們可很快處理多重累積的 操作。加速器板的一個缺點是他們?yōu)槟硞€具體任務(wù)設(shè) 定的，因而缺乏靈活性、不適應(yīng)其他新范例。 神經(jīng)網(wǎng)絡(luò)硬件

10、方面的調(diào)查研究17 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l加速器板實例 加速器板的一個很好實例就是IBM ZISC ISA和 PCI卡。ZISC 036芯片是IBMessonnes實驗室開發(fā)處 理的 16 。一個單ZISC 036擁有36個神經(jīng)元，或原 機，通過RCE（或ROI）算法訓(xùn)練實現(xiàn)。ISA卡包含 16 ZISC 036芯片，提供576個原機神經(jīng)元。PCI卡可 容納19芯片，684個原型。PCI卡每秒可以處理 165000種模式，每種個模式是64個8位的元向量。 其他加速器系統(tǒng)，包括SAIC SIGMA-1 25, Neuro Turbo 26, HNC 27等。 神經(jīng)網(wǎng)絡(luò)硬件方

11、面的調(diào)查研究18 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l對通用處理器的神經(jīng)元計算機的建立 通用處理器為神經(jīng)元功能可通過編程實現(xiàn)。由于 其廣泛的可用性和相對低廉的價格，許多神經(jīng)元計算 機用通用芯片進行組裝。從簡單結(jié)構(gòu)，低成本單元 （例如在BSP400 28 和COKOS 29 ）到像晶體計 算機那樣相當(dāng)復(fù)雜處理結(jié)構(gòu)的實現(xiàn)，它們的并行輸入/ 輸出線 30 、數(shù)字信號處理器是獨特的。 對于許多處理器而言尋找好的一個互聯(lián)策略被證 明是一個復(fù)雜的問題。然而，許多關(guān)于這些大規(guī)模、 并行計算機結(jié)構(gòu)的知識可以于神經(jīng)元結(jié)構(gòu)的設(shè)計。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究19 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類

12、l對通用處理器的神經(jīng)元計算機的建立 （實例） RAP（環(huán)陣列處理器） 33 是由通用處理器構(gòu)造出神經(jīng) 元處理器的一個例實例。它是在ICSI（國際計算機科學(xué)研究 所，伯克利，加利福尼亞州）研發(fā)出的，并且自1990以來它 是作為開發(fā)語音識別中的連接算法的一個重要部分。RAP是 由一個4 MB的動態(tài)隨機存取存儲器和440個具有256千字 節(jié)快速靜態(tài)存儲器的定點數(shù)字信號處理器TITMS320C30組 成。這些芯片通過Xilinx公司的可編程門陣列（PGAs）進行 連接。這些芯片是通過一個連接環(huán)連接成可編程門陣列，每 個芯片執(zhí)行一個簡單的數(shù)據(jù)管道。此外，每板有一個虛擬機 環(huán)境總線的邏輯接口，允許它連接到

13、主機上。 RAP的軟 件支持需要一個具有命令解釋器的工作站，C標(biāo)準(zhǔn)環(huán)境的工 具和一個矩陣、向量庫。在前處理中計算一個多層感知器網(wǎng) 絡(luò)，一個簡單的板就可以每秒運行57兆周，而處理反向訓(xùn)練 可以每秒運行13.2兆周。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究20 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l神經(jīng)元芯片 實現(xiàn)神經(jīng)元功能采用的專用芯片需設(shè)計專用的電 路。通過比較通用處理器執(zhí)行的2階幅度，神經(jīng)元芯 片提高了神經(jīng)元交互時間。設(shè)計神經(jīng)元芯片可以選擇 一些應(yīng)用技術(shù)。其主要區(qū)別在于選擇了一個全數(shù)字化， 完全模擬，或混合的設(shè)計。 一些實例表明直接在電路中執(zhí)行改變了原始計算 機單元（模擬或分析）確切功能。這主要是

14、由于精度 的有限。有限的精度對原始模式的運作具有非常大的 影響。為構(gòu)造出大規(guī)模的執(zhí)行機構(gòu)，許多神經(jīng)元芯片 就必須互聯(lián)。因此一些芯片就用于專門的通信通道。 其他的神經(jīng)元芯片就被專用通信元件互聯(lián)了。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究21 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l數(shù)字神經(jīng)元芯片 數(shù)字神經(jīng)元專用集成電路（ASIC）是強大 和成熟的神經(jīng)元芯片。數(shù)字技術(shù)提供的高精度， 高可靠性，高可編程性。此外，強大的設(shè)計工 具對數(shù)據(jù)全、半定制設(shè)計是有效的。缺點是與 模擬實現(xiàn)相比，具有相對較大的電路尺寸。突 觸權(quán)重可以存在芯片上也可不存在芯片上。這 是權(quán)衡速度和大小來選擇的。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究22

15、 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l模擬神經(jīng)元芯片 模擬電子技術(shù)有一些特性是可以直接用于神 經(jīng)網(wǎng)絡(luò)的實現(xiàn)。例如，運算放大器，可以很容 易用晶體管構(gòu)建，可以自動運行神經(jīng)功能，如 集成與雙彎曲線轉(zhuǎn)換。 這些密集型計算，可以通過物理過程自動執(zhí) 行，如集合電流或電荷。模擬電子技術(shù)是非常 緊湊，且可在低能耗條件下提供高速運轉(zhuǎn)。根 據(jù)目前最先進的微電子技術(shù)，一個簡單的神經(jīng) 元可以把1000多個神經(jīng)元聯(lián)想記憶芯片和100多 個輸入集成到一個100GCPS的芯片上。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究23 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l模擬神經(jīng)元芯片 （優(yōu)缺點） 模擬技術(shù)的缺點是對噪音和工藝參

16、數(shù)變化容易 產(chǎn)生變化，從而限制了計算精度。除了設(shè)計模擬電 路的困難，如何表示可適用的權(quán)重問題也限制了模 擬電路的應(yīng)用。 盡管模擬芯片不能達到數(shù)字芯片的靈活性，但 其速度和緊湊，使模擬芯片在神經(jīng)網(wǎng)絡(luò)的研究中占 有一席之位，特別原神經(jīng)網(wǎng)絡(luò)模式自適應(yīng)特性的模 擬芯片。最后一個有價值的優(yōu)勢是可以與真實的模 擬世界直接接口，而數(shù)字實現(xiàn)將需要一個快速模擬 數(shù)字轉(zhuǎn)換器讀取世界信息，和一個數(shù)字模擬轉(zhuǎn)換器 把數(shù)據(jù)轉(zhuǎn)換回世界信息。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究24 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l合成神經(jīng)元芯片 數(shù)字和模擬技術(shù)具有獨特的優(yōu)勢， 但他們也 存在缺點，主要是關(guān)于神經(jīng)網(wǎng)絡(luò)實現(xiàn)中的適應(yīng) 性。數(shù)字

17、技術(shù)的主要缺點是相對計算緩慢、硅 的使用量大和倍增電路的大功率。模擬技術(shù)的 缺陷是對噪聲的敏感性、對干擾和過程變化具 有易變性。對這些過程的執(zhí)行采用正確的模擬 和數(shù)字技術(shù)混合是非常有利的。為了獲得兩種 技術(shù)的優(yōu)點，并避免主要缺陷，一些研究小組 已經(jīng)實施了混合系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究25 五、神經(jīng)網(wǎng)絡(luò)硬件分類五、神經(jīng)網(wǎng)絡(luò)硬件分類 l合成神經(jīng)元芯片 （舉例） ANN（模擬神經(jīng)網(wǎng)絡(luò)的算術(shù)和邏輯單元）芯 片 。 Epsilon 42 芯片是一個種混合型神經(jīng)元芯片， 用于脈沖編碼技術(shù)。 最近用于脈沖流技術(shù)的神經(jīng)元芯片是PDM （脈沖密度調(diào)制）數(shù)字神經(jīng)網(wǎng)絡(luò)系統(tǒng)43。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究2

18、6 六、案例分析六、案例分析 l CNAPS 最廣為人知的商用神經(jīng)元計算機CNAPS（連接網(wǎng) 絡(luò)的自適應(yīng)處理器） 15 是自適求解。CNAPS系統(tǒng) 基本構(gòu)造模塊是神經(jīng)元芯片N6400。如圖所示，該 N6400本身由64處理單元（簡稱處理節(jié)點）組成，它 們通過在一個SIMD（單指令多數(shù)據(jù)）模型中的傳播 總線相連接。雙8位總線可以將輸入輸出數(shù)據(jù)傳到所 有的PN中。 CNAPS結(jié)構(gòu)的一大優(yōu)勢是系統(tǒng)的可擴展性：由于 傳播總線，處理器間通信和SIMD模式，和N6400芯 片均可以很容易地添加。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究27 六、案例分析六、案例分析 l SYNAPSE-1 SYNAPSE-1是由8個M

19、A-16芯片連接到兩根并行 環(huán)上，通過2個摩托羅拉MC68040處理器控制。權(quán)值 是存儲在一個外芯片DRAM，它總計達到128M字節(jié) 并且通過擴展可達到512M字節(jié)。神經(jīng)網(wǎng)絡(luò)是映射到 前一階段的SP-并行，和學(xué)習(xí)階段的NP-并行。神經(jīng) 元傳遞函數(shù)是用查表法在外芯片上計算。特別是高容 量的在線權(quán)值存儲器可以作為SYNAPSE-1來處理復(fù) 雜的應(yīng)用。 不同于CNAPS中的簡單SIMD結(jié)構(gòu)，編寫 SYNAPSE-1程序是困難的。雖然有神經(jīng)算法程序設(shè) 計語言可用，但相當(dāng)復(fù)雜的處理單元和脈動陣列二維 結(jié)構(gòu)對直接編程造成影響。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究28 七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用

20、神經(jīng)網(wǎng)絡(luò)的硬件應(yīng)用于實際和獲利已經(jīng)越 來越多了。本節(jié)說明其在光學(xué)字符識別 （OCR），語音識別，神經(jīng)形態(tài)系統(tǒng)和高能 物理的應(yīng)用。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究29 七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用 l光學(xué)字符識別 光學(xué)字符識別已成為一個神經(jīng)網(wǎng)絡(luò)最大的商業(yè)應(yīng) 用?，F(xiàn)在購買一個新的掃描儀通常包括商業(yè)光學(xué)字符 識別程序。把圖片文本轉(zhuǎn)換到文本文件，很多或更多 的步驟必須通過光學(xué)字符識別程序完成，包括清理圖 像，分割字符，特征提取，分類和校驗字符等等。大 多數(shù)的光學(xué)字符識別程序通過ANN選擇完成一個或多 個光學(xué)字符識別步驟，而其他步驟中所使用的技術(shù)有 傳統(tǒng)的人工智能（IF-THEN規(guī)則），統(tǒng)計

21、模型，隱馬 爾可夫模型等等。 光學(xué)字符識別的神經(jīng)網(wǎng)絡(luò)硬件闡明了兩點：高通 量，需要高性能專用硬件；消費產(chǎn)品，必須采用廉價 的專用芯片。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究30 七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用 l語音識別 傳感系統(tǒng)元件在語音識別神經(jīng)元芯片中是很 專業(yè)化的 46 。芯片的成本只有幾美元。芯片 可識別有限的詞匯，例如10-100個單詞。其目 的是便于為消費者應(yīng)用，如手機、玩具等。它 們涉及原聲信號變成頻率和送入神經(jīng)網(wǎng)絡(luò)的單 獨變換表示。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行非線性貝葉 斯分類。訓(xùn)練數(shù)據(jù)包括一個300 600個聲音的 潛在用戶樣本語言庫。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究31 七、神經(jīng)網(wǎng)絡(luò)

22、硬件的應(yīng)用七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用 l神經(jīng)形態(tài)硬件 神經(jīng)形態(tài)是指與生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能密切相 關(guān)的系統(tǒng)，如：硅視網(wǎng)膜和模擬耳蝸 47 。這種裝置 主要是模擬，特別是在前端傳感器階段。一個成功的 商業(yè)產(chǎn)品是突觸觸摸板 48 。它是一個很小但非常靈 敏的觸點，可以感察到人手在其屏幕導(dǎo)航、光標(biāo)移動、 互動的輸入板上的移動位置。突觸觸摸板就是用了在 視網(wǎng)膜和觸摸研究的思路，尤其神經(jīng)元的輸出是受其 連接到其他附近神經(jīng)元的影響。該觸摸板可以用在多 種應(yīng)用，其應(yīng)用是需要一個薄，穩(wěn)健，準(zhǔn)確，易于使 用輸入和導(dǎo)航設(shè)備。 神經(jīng)形態(tài)設(shè)備和觸摸板一樣，在轉(zhuǎn)換成數(shù)字信號前， 要做很多前端處理擬電路，因而具有低帶寬要求。 神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究32 七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用