萊迪思FPGA在網(wǎng)絡(luò)邊緣計(jì)算AI開發(fā)方案

萊迪思FPGA在網(wǎng)絡(luò)邊緣計(jì)算AI開發(fā)方案FPGA向來(lái)是高大上的形象，即便在人工智能火熱的今天，圍繞FPGA討論的焦點(diǎn)也集中在云端的加速，與之相提并論的，更多是以高性能計(jì)算見長(zhǎng)的GPU、CPU、DSP。但是，有家公司，卻專注在“網(wǎng)絡(luò)邊緣端”，將產(chǎn)品布局在適于低功耗運(yùn)行的低密度FPGA上，其全新的毫瓦級(jí)功耗FPGA解決方案——LatticesenAI,為機(jī)器學(xué)習(xí)推理在大眾市場(chǎng)物聯(lián)網(wǎng)應(yīng)用中實(shí)現(xiàn)快速部署創(chuàng)造機(jī)遇，且聽萊迪思半導(dǎo)體亞太區(qū)資深事業(yè)發(fā)展經(jīng)理陳英仁娓娓道來(lái)。萊迪思半導(dǎo)體亞太區(qū)資深事業(yè)發(fā)展經(jīng)理陳英仁快速興起的網(wǎng)絡(luò)邊緣計(jì)算提及AI或智能計(jì)算，我們更多會(huì)想到“云端的加速”。但并非所有應(yīng)用都將在云端運(yùn)行。萊迪思《加速實(shí)現(xiàn)網(wǎng)絡(luò)邊緣低功耗人工智能應(yīng)用》白皮書中表明，另一輪從集中式到分布式的系統(tǒng)架構(gòu)轉(zhuǎn)變的征兆已經(jīng)顯而易見了，無(wú)論到來(lái)與否，有一點(diǎn)確信無(wú)疑，那就是低延遲要求、不斷加劇的隱私問題和通信帶寬限制，將驅(qū)動(dòng)網(wǎng)絡(luò)邊緣對(duì)智能化的需求。陳英仁以智能音響為例，集合了語(yǔ)音控制、攝像頭檢測(cè)功能的智能音響，可以為生活帶來(lái)更多的便利性，但也正由于存在攝像頭、麥克風(fēng)，隱私暴露就成為大家擔(dān)心的問題。如果這時(shí)在終端加入數(shù)據(jù)處理和分析功能，就可以很好地對(duì)隱私進(jìn)行保護(hù)。此外，終端的很多應(yīng)用是需要低延遲的，甚至有時(shí)在沒有網(wǎng)絡(luò)的情況下，也需要保證在線下進(jìn)行及時(shí)的反饋，這時(shí)也需要終端數(shù)據(jù)處理的加入。這樣的需求有多大？Gartner分析表示：“目前企業(yè)產(chǎn)品的數(shù)據(jù)約有10%都在傳統(tǒng)的集中式數(shù)據(jù)中心或云端以外的地方處理，到2022年，這一數(shù)據(jù)將會(huì)達(dá)到50%。”

正如在消費(fèi)物聯(lián)網(wǎng)領(lǐng)域所見，隨著傳感器數(shù)量和種類的激增，需要部署更多的計(jì)算資源用于實(shí)時(shí)數(shù)據(jù)處理，能夠?qū)崿F(xiàn)這種本地傳感器數(shù)據(jù)處理的毫瓦級(jí)功耗、小體積、低成本、靈活支持各類傳統(tǒng)接口以及性能/精度可調(diào)節(jié)的半導(dǎo)體解決方案就顯得至關(guān)重要。低功耗對(duì)物聯(lián)網(wǎng)邊緣應(yīng)用的重要性不言而喻。陳英仁介紹，不同的應(yīng)用場(chǎng)景、不同種類的傳感器，動(dòng)輒成千上萬(wàn)的傳感器部署，24小時(shí)無(wú)休，如果每?jī)扇斐潆娀蚋鼡Q一次電池，增加了太多的維護(hù)成本，因而智能終端應(yīng)用的半導(dǎo)體功耗需要達(dá)到幾瓦甚至毫瓦級(jí)。成本也是一個(gè)關(guān)鍵要素，隨著物聯(lián)網(wǎng)的發(fā)展，越來(lái)越多的地方都需要用到傳感器，因而任何一個(gè)解決方案都必須能與其他批量生產(chǎn)的網(wǎng)絡(luò)邊緣解決方案一決高下。電路板面積小至幾平方毫米，也更有利于方便集成到邊緣終端應(yīng)用中?？紤]到邊緣應(yīng)用終端的多樣性，處理芯片需要具備最大化的設(shè)計(jì)靈活性，能夠提供廣泛的I/O接口以支持不同的傳感器。最后設(shè)計(jì)人員還需要能通過(guò)自定義量化平衡精度、功耗和成本的解決方案，從而實(shí)現(xiàn)更有效地邊緣計(jì)算。應(yīng)運(yùn)而生sensAI

顧名思義，sensAI為優(yōu)化AI應(yīng)用而生，那么我們就有必要先了解AI的概念。1956年夏，人工智能先驅(qū)們的夢(mèng)想是借由新興計(jì)算機(jī)構(gòu)建具有人類智力特征的復(fù)雜機(jī)器。這就是所謂的“通用人工智能（GeneralAI）”的概念——擁有人類的所有感覺（甚至可能更多）、所有理智，像人類一樣思考的神奇機(jī)器。而機(jī)器學(xué)習(xí)是用來(lái)實(shí)現(xiàn)人工智能的一種方式?！巴ǔ?，機(jī)器學(xué)習(xí)要求兩種類型的計(jì)算工作量——訓(xùn)練和推理”陳英仁介紹，訓(xùn)練系統(tǒng)通過(guò)現(xiàn)有的數(shù)據(jù)習(xí)得新能力，例如人臉檢測(cè)功能通過(guò)采集和分析成千上萬(wàn)張圖片來(lái)學(xué)習(xí)識(shí)別人臉，這種高度密集的計(jì)算，往往需要使用高性能硬件如GPU或高性能FPGA等進(jìn)行快速處理。而推理環(huán)節(jié)主要過(guò)識(shí)別圖案和執(zhí)行任務(wù)將系統(tǒng)能力用于處理新數(shù)據(jù)，邊運(yùn)行邊學(xué)習(xí)，隨著時(shí)間的推移變得愈加智能。一般分為兩個(gè)場(chǎng)景：在云端數(shù)據(jù)中心響應(yīng)用戶需求和在終端智能設(shè)備響應(yīng)用戶需求。在云端數(shù)據(jù)中心，各家公有云服務(wù)廠商都紛紛部署了高性能云計(jì)算服務(wù)器。而在而在終端設(shè)備，由于前面所述說(shuō)隱私性、低延遲的需求，很多應(yīng)用都會(huì)在終端部署以提升智能度，設(shè)計(jì)人員可以使用經(jīng)過(guò)優(yōu)化的、低功耗、低密度的FPGA，滿足日益嚴(yán)苛的性能和功耗要求。對(duì)此，萊迪思推出基于iCE40UltraPlus和ECP5FPGA系列的新型全套開發(fā)生態(tài)系統(tǒng)——LatticesenAI，旨在實(shí)現(xiàn)機(jī)器學(xué)習(xí)推理在大眾物聯(lián)網(wǎng)應(yīng)用中實(shí)現(xiàn)快速部署。LatticesenAI提供經(jīng)過(guò)優(yōu)化的解決方案，具有超低功耗(低于1mW-1W)、封裝尺寸小(5.5-100mm2)、接口靈活(MIPI?CSI-2、LVDS、GigE等)和批量?jī)r(jià)格低(約1-10美元)等優(yōu)勢(shì)。之所以推出sensAI,陳英仁解釋道，F(xiàn)PGA天生適合做計(jì)算，但更多時(shí)候，計(jì)算是客戶的核心技術(shù)，甚至有部分客戶還沒有這項(xiàng)技術(shù)，那么如何能夠幫助他們快速地利用FPGA的低功耗、低成本、小體積實(shí)現(xiàn)計(jì)算，就成了FPGA推廣最大難題。因此，sensAI就是為了讓客戶能夠在傳感器的橋接和數(shù)據(jù)聚合中，增加更多智能以實(shí)現(xiàn)低延時(shí)、低功耗的計(jì)算，即客戶手中有數(shù)據(jù)和樣本，就可以在FPGA中做計(jì)算，尤其在網(wǎng)絡(luò)編程里。sensAI以模塊化硬件平臺(tái)為基礎(chǔ)，包括基于低功耗iCE40UltraPlusFPGA的移動(dòng)開發(fā)平臺(tái)(MDP)?和基于ECP5FPGA器件的視頻接口平臺(tái)(VIP)，MDP包括一系列板載傳感器，如圖像傳感器、麥克風(fēng)、羅盤、壓力傳感器和陀螺儀等，可用于毫瓦級(jí)功耗的應(yīng)用。VIP的功耗稍高但總體低于1W，可實(shí)現(xiàn)MIPICSI-2、嵌入式DisplayPort(eDP)、HDMI、GigEVision和USB3在內(nèi)的接口互連。為配合硬件平臺(tái)，萊迪思提供了新的神經(jīng)網(wǎng)絡(luò)加速器IP核。該軟IP包括針對(duì)iCE40UltraPlusFPGA優(yōu)化后的BNN（二值神經(jīng)網(wǎng)絡(luò)）1加速器，支持1bit權(quán)重量化和1bit激活量化，可以實(shí)現(xiàn)低功耗的偵測(cè)和推理。還包括針對(duì)ECP5FPGA優(yōu)化的CNN（卷積神經(jīng)網(wǎng)絡(luò)）加速器，該核可支持不同權(quán)重和激活的量化（1bit、8bit和16bit），實(shí)現(xiàn)功耗和精度的平衡，設(shè)置的位寬越高，準(zhǔn)確度通常會(huì)越高。為了更方便的應(yīng)用上述IP，萊迪思提供從Caffe/TensorFlow到FPGA的神經(jīng)網(wǎng)絡(luò)編譯器工具、LatticeRadiant?和LatticeDiamond設(shè)計(jì)軟件。通過(guò)開源的深度學(xué)習(xí)框架Caffe/TensorFlow實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練，然后經(jīng)過(guò)萊迪思獨(dú)立開發(fā)的神經(jīng)網(wǎng)絡(luò)編譯器將經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)模型映射成定點(diǎn)數(shù)值表示以匹配其FPGA，可在沒有RTL設(shè)計(jì)經(jīng)驗(yàn)的情況下，將網(wǎng)絡(luò)應(yīng)用移植到其FPGA中。此外，神經(jīng)網(wǎng)絡(luò)編譯器能夠快速分析、模擬和編譯CNN/BNN，在sensAIIP核上實(shí)現(xiàn)。這樣補(bǔ)足了FPGA在計(jì)算應(yīng)用中的高門檻。陳英仁介紹，為了更好地簡(jiǎn)化邊緣應(yīng)用的AI開發(fā)，萊迪思也提供了專門針對(duì)超低功耗優(yōu)化的參考設(shè)計(jì)及演示。比如低功耗人臉檢測(cè)、關(guān)鍵詞檢測(cè)、對(duì)象計(jì)數(shù)、面部跟蹤以及速度標(biāo)志牌檢測(cè)等?；谌R迪思MDP移動(dòng)開發(fā)平臺(tái)實(shí)現(xiàn)的人臉檢測(cè)Demo，其功耗約為800-850微瓦，搭配低功耗影響傳感器，可實(shí)現(xiàn)精準(zhǔn)的、毫瓦以下人臉偵測(cè)，如智能門鈴、智能鎖、智能化妝鏡、超市結(jié)賬等此外，萊迪思也構(gòu)建了經(jīng)認(rèn)證的合作伙伴生態(tài)系統(tǒng)，旨在聯(lián)合國(guó)內(nèi)外不同領(lǐng)域的AI應(yīng)用合作伙伴（在某些領(lǐng)域有專長(zhǎng)的服務(wù)商），為智能家居、智慧城市、智能工廠等領(lǐng)域的客戶快速、有效地提供定制化的解決方案?！皊ensAI神經(jīng)網(wǎng)絡(luò)加速器和神經(jīng)網(wǎng)絡(luò)編譯器是我們最核心的部分，”陳英仁表示，因?yàn)槿R迪思為客戶實(shí)現(xiàn)簡(jiǎn)潔的低功耗推理。對(duì)已經(jīng)在使用FPGA進(jìn)行橋接和連接技術(shù)的客戶，可以有更多的選擇優(yōu)化設(shè)計(jì)。對(duì)于即將在邊緣應(yīng)用終端加入智能的新用戶，有sensAI和天生的接口特性的加持，萊迪思FPGA也是一個(gè)性能、功耗、成本、開發(fā)難度相當(dāng)有競(jìng)爭(zhēng)力的選擇。未來(lái)可期談到AI的應(yīng)用，“其實(shí)大家還在思考，怎么樣應(yīng)用