深度學(xué)習(xí)技術(shù)介紹

深度學(xué)習(xí)技術(shù)介紹DeepLearningTechnology什么是深度學(xué)習(xí)■深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中表征學(xué)習(xí)方法的一類。一個(gè)觀測(cè)值（例如一幅圖像）可以使用多種方式來表示，而某些特定的表示方法可以讓機(jī)器學(xué)習(xí)算法更加容易進(jìn)行學(xué)習(xí)。表征學(xué)習(xí)的目標(biāo)是尋求更好的表示方法并建立更好的模型來學(xué)習(xí)這些表示方法；-通俗來講,機(jī)器學(xué)習(xí)是一種算法険,通過此算法険,需要讓機(jī)器具有類1以人類的智慧，學(xué)會(huì)認(rèn)識(shí)世界的一種方式;-為人涓是供〃大數(shù)據(jù)+簡(jiǎn)單模型”的實(shí)現(xiàn)方式。深度學(xué)習(xí)的實(shí)際應(yīng)用類型.語音識(shí)別.圖像識(shí)別.自然語言處理糾正一個(gè)錯(cuò)誤論點(diǎn):機(jī)器學(xué)習(xí)是要制造一個(gè)超級(jí)大腦，能夠具有人類一樣的智慧。這是f非常典型的錯(cuò)誤。機(jī)器學(xué)習(xí)是一t古老的計(jì)算機(jī)學(xué)科，而深度學(xué)習(xí)正是機(jī)器學(xué)習(xí)的f狹窄領(lǐng)域，并m噺生事物。持此觀點(diǎn)的人一?都是對(duì)此學(xué)科t口半解的人。在工程上，深度學(xué)習(xí)的目的不是理解人腦的本質(zhì),也不是需要制造一個(gè)類人的生命體,而是構(gòu)建有用的機(jī)器。神經(jīng)網(wǎng)絡(luò)(artificialneuralnetworks)能夠幫助我們建立更好的計(jì)算機(jī)系統(tǒng)，用以處壬曲言息。人腦也是一種處理信息的裝置,具有^凡的贛努力并且在視覺、語音、語義等方面都超過了目前的工程產(chǎn)品，目前研究的方向是用形式算法定義人腦處理這些任務(wù)的解，并在計(jì)算機(jī)上實(shí)珈匕過程。為什么說機(jī)器學(xué)習(xí)是一個(gè)古老的學(xué)科■1989年，計(jì)算機(jī)已經(jīng)可以學(xué)習(xí)識(shí)SU人類講話，并且用到了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法和隱馬爾科夫模型學(xué)習(xí)方法；-1989年，機(jī)器學(xué)習(xí)方法已經(jīng)被用于訓(xùn)練計(jì)算機(jī)控制車輛，實(shí)現(xiàn)無人駕駛；-1995年，決策樹學(xué)習(xí)算法已經(jīng)被NASA用來分類天體；-1995年，計(jì)算機(jī)已經(jīng)可以通過學(xué)習(xí)，在博弈類游戲中擊敗人類?！鋈斯ど窠?jīng)網(wǎng)絡(luò)的研究歷史和數(shù)字計(jì)算機(jī)一樣長(zhǎng)。1943年，McCulloch和Pitts提出了人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)數(shù)學(xué)模型。1962年提出了感知器和學(xué)習(xí)算法。1969年有人指出了單層感知器的局限性。1986年后，后向傳播被發(fā)明，單層感知器局限性不復(fù)存在。和機(jī)器學(xué)習(xí)相關(guān)的學(xué)科.人工智能■貝葉斯方法-計(jì)算復(fù)雜性理論■控制論■信息論-屛-心理學(xué)和神經(jīng)生物學(xué).統(tǒng)計(jì)學(xué)理解人腦處理信息的過程根據(jù)Marr(1982)年理論，理解一個(gè)信息處理系統(tǒng)，具有三個(gè)被稱為分析層面的內(nèi)容：■計(jì)算理論(computationaltheory)對(duì)應(yīng)計(jì)算目標(biāo)和任務(wù)的抽象定義?！霰硎竞退惴?representationandalgorithm)是關(guān)于輸人和輸出如何表示和從輸入到輸出變換的算法說明。■硬件實(shí)現(xiàn)(hardwareimplementation)是系統(tǒng)的實(shí)物物理藏L什么是感知器(perceptron)■感知器(perceptron)是基本處理元素o它具有輸人,其輸人可能來自環(huán)境或者可以是其他感知器的輸出。與每個(gè)輸人中ER(j=l，…,d)相關(guān)聯(lián)的是一個(gè)連接權(quán)重(connectionweight)或突觸權(quán)重(synapticweight)wjeR(j=L…,d),而輸出y在最簡(jiǎn)單情況下是輸人的加權(quán)和。=2丿=1WjXj+Wo最簡(jiǎn)單的分離器設(shè)計(jì)O（Z］）最簡(jiǎn)單的分離器設(shè)計(jì)O（Z］）..?）釣2）n￡w：x：i=0ifw（）+wi⑦iH 卜wnxn>0otherwise.訓(xùn)練感知器■書口器定義了一個(gè)超平面，而神經(jīng)網(wǎng)絡(luò)感知器事不過是實(shí)現(xiàn)超平面的一種方法。給定數(shù)據(jù)樣本,權(quán)重可以離線計(jì)算，并且將其帶入后，感知器就可以用來計(jì)算輸出的值?！鲈谟?xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，若果未提供全部樣本，而是逐個(gè)提供實(shí)例，則我們通常使用在線學(xué)習(xí),并且在每個(gè)實(shí)例之后更新網(wǎng)絡(luò)參數(shù)，讓給網(wǎng)絡(luò)緩慢的及時(shí)調(diào)整。這是目前比較常見的一種訓(xùn)練方式?！鰧?duì)于在線學(xué)習(xí)，不需要全部樣本而是需要單個(gè)實(shí)例上的誤差函凱從隨機(jī)初始權(quán)重開始，每次迭代中，我們都對(duì)參數(shù)稍作調(diào)整,以最小化誤差,而不是忘記先前學(xué)習(xí)的。若誤差函數(shù)可微，則可以使用梯度下降方法?！鼍哂袉螌訖?quán)重的感知器,只宜融近輸入的線性函數(shù)，不能解決XOR類型的問題,這些問題的判別式是非線性的。類1以的，這種感知器也不能用于非線性回歸。鑒于此，MLP可以實(shí)吸排線性的判別。后向傳播算法(backpropagationf1986)-這是在訓(xùn)練多層感知器時(shí)提出的一t概念。-訓(xùn)練多層麟口器與訓(xùn)練感知器是一樣的。唯一區(qū)別是現(xiàn)在的輸出是輸入的非線性函數(shù),這要?dú)w咎于隱藏單元中的非線性偏倚函數(shù)。-在對(duì)于多層感知器，計(jì)算梯度時(shí)誤差就向傳回到輸出一樣，所以創(chuàng)造了這個(gè)術(shù)語。具體應(yīng)用■人臉識(shí)別■對(duì)于人臉識(shí)SlRfacerecognition).,輸入是人臉圖像，類是需要識(shí)^的人，并且學(xué)習(xí)程序應(yīng)當(dāng)學(xué)習(xí)人臉圖像與身份之間的關(guān)聯(lián)性。人臉會(huì)有更多的美,輸入圖像也更大一些，并且人臉是三維的，不同的姿勢(shì)和光線等都會(huì)導(dǎo)致圖像的顯著變化。另外，對(duì)于特定人臉的輸人也會(huì)出現(xiàn)問題，比如說眼鏡可能會(huì)把眼睛和眉毛遮住,胡子可能會(huì)把下巴蓋住等。具體應(yīng)用■醫(yī)學(xué)診斷回對(duì)于醫(yī)學(xué)診斷(medicaldiagnosis).輸人是關(guān)于患者的信息,而類是疾病。輸入包括患者的年齡、性SU、既往病史、目前癥狀等。當(dāng)然，患者可能還沒有做過某些檢查，因此這些輸入將會(huì)缺失。檢查需要時(shí)間，還可能要花很多錢，而目、也許還會(huì)給患者帶來不便。因此，除非我們確信檢查將提1共有價(jià)值的信息，否則我們將不對(duì)患者進(jìn)行檢査。在醫(yī)學(xué)診斷的情況下，錯(cuò)誤的診斷結(jié)果可能會(huì)導(dǎo)致我們采取錯(cuò)誤的治療或根本不進(jìn)行治療。在不自訓(xùn)酗言診斷結(jié)果的情況下，分類器最好還是放棄判定，而等待醫(yī)學(xué)專家來做決斷。具體應(yīng)用具體應(yīng)用■語音識(shí)別■在語音識(shí)§U(speechrecognition)，輸人是語音，美是可以讀出的詞匯。這里要學(xué)習(xí)的是從語音信號(hào)到某種語言的詞匯的關(guān)聯(lián)性。由于年齡、性SU或口音方面的差異，相同詞匯的讀音不同，這使得語音識(shí)別問題相當(dāng)困難。語音識(shí)另的另f特點(diǎn)是其輸入信號(hào)是時(shí)態(tài)的，詞匯作為音素的序列實(shí)時(shí)讀出，而且有些詞匯的讀音會(huì)較長(zhǎng)一些。m然語言處理-在語音i賜呻，"語言模型“的集成是至關(guān)重要的，而且提供一i吾言模型的最好方法仍然是從實(shí)例數(shù)據(jù)的大型一1吾料庫中學(xué)習(xí)。機(jī)器學(xué)習(xí)在自然語言處理(naturallanguageprocessing)方面的應(yīng)用與日俱增。垃圾郵件過濾就是一種應(yīng)用，其中垃圾郵件的制造者為一方，過濾者為另一方，一直都在尋找越來越精巧的方法以便超越對(duì)方,也許最吸弓I人的是機(jī)器翻譯(machinetranslation),經(jīng)歷了數(shù)十年手工編寫翻譯規(guī)則的研究之后，最近人們認(rèn)識(shí)到最有希望的辦法是提供大量翻譯文本實(shí)例對(duì),并且讓程序自動(dòng)地提取，一個(gè)字符串映射到另一個(gè)字符串的規(guī)則。生物測(cè)定學(xué)■生物則定學(xué)（biometrics）使用人的生磨口行為特征來識(shí)別或認(rèn)證人的身份，需要集成來自不同形態(tài)的輸人。生理特征的例子是面部圖像、指紋、虹膜和手掌；行為特征的例子是簽字的力度、噪音、步態(tài)和擊鍵。與通常的鑒別過程（照片、印刷簽名或門令）相反,會(huì)有許多不同的（不相關(guān)的）輸人，偽造歟騙）更困難并且系統(tǒng)更準(zhǔn)確，不會(huì)對(duì)用戶太不方便。機(jī)器學(xué)習(xí)既用于針對(duì)這些不同形態(tài)而構(gòu)建不同的識(shí)^器，也考慮這些不同數(shù)據(jù)源的可靠性，用于組合它們的決策，以便得到接受或拒絕的總體決策。機(jī)器學(xué)習(xí)的額外用途■從數(shù)據(jù)中學(xué)習(xí)規(guī)則也為知識(shí)抽取(knowledgeextraction)提供了可能性。規(guī)則是一種解釋數(shù)據(jù)的簡(jiǎn)單模型,而觀察該模型我們能得到潛在數(shù)據(jù)處理的解釋。例如,—旦我們學(xué)會(huì)了區(qū)分低風(fēng)險(xiǎn)客戶和高風(fēng)險(xiǎn)客戶的判別式，我們就擁有了關(guān)于低風(fēng)險(xiǎn)客戶特性的知識(shí)。然后，我們就能夠利用這些知識(shí)，通過比如廣告等方式，更有效地爭(zhēng)取那些潛在的低風(fēng)險(xiǎn)客戶?！鰴C(jī)器學(xué)習(xí)還可以進(jìn)行壓縮(compression)。用規(guī)則擬合數(shù)據(jù)，我們能得到比數(shù)據(jù)更簡(jiǎn)單的解釋,需要的存儲(chǔ)空間更少,處理所需要的計(jì)算更少，例如，一旦你掌握了加法規(guī)則，你就不必記憶每對(duì)可能數(shù)字的和是多少。-機(jī)器學(xué)習(xí)的另一種用途是離群點(diǎn)檢測(cè)(outlierdetection)，即發(fā)現(xiàn)那些不遵守規(guī)則的例外實(shí)例。在這種情況下，學(xué)習(xí)規(guī)則之后，我們感興趣的不是規(guī)則，而是規(guī)則未能覆蓋的例外，他們可能暗示出我們需要注意的異常，如詐騙等。案例-ALVINN系統(tǒng)■ALVINN系統(tǒng)是ANN學(xué)習(xí)的一個(gè)典型實(shí)例，這個(gè)系統(tǒng)使用一個(gè)學(xué)習(xí)到的ANN以正常速度在高速公路上駕駛汽車。ANN的輸入是一個(gè)30*32像素的網(wǎng)格，像素的亮度來自于T安裝在車輛上的前向攝像頭。ANN的輸出是車輛行進(jìn)的方向。這個(gè)ANN通過模仿駕駛時(shí)的操縱命令進(jìn)行i川練，持續(xù)約5分鐘。ALVINN用學(xué)到的網(wǎng)絡(luò)在高速公路上以70英里的時(shí)速成功行駛了90英里。ALVINN系統(tǒng)的神經(jīng)網(wǎng)絡(luò)形而下者謂之器深度學(xué)習(xí)對(duì)計(jì)算的依賴■人工智能每一次沉寂后的爆發(fā)，有兩個(gè)條件□理論算法的突破□計(jì)算能力的提升■HPC是深度學(xué)習(xí)的引擎nVidiaTeslaGPUGPUGPU的發(fā)展趨勢(shì)MaxwellPascalVolta:JEM」&sdolu-oFermiFP6420082010KeplerHigherPerf/WattDynamicParallelism20122014UnifiedMemory

StackedDRAM

DirectInterconnect20162018GPUGPU產(chǎn)品路線TeslaGPUAcceleratorRoadmapif岫Kepler1

GK110Kepler2GK110BDoublePrecisionProductsK20X1.3TFDPPeak

1.22IFD^EMM

6GB,250GB/S(淑心)K4014TFDPPeak

12G8.288GB/S

235WPCIeGen3

(Servera<￥dWSIKepler3

GK210Stella-Duo

2xGPU,2xRegs/SM

2.O-2.2TFDP

24GBf*560GB/s

JOOW

佻EPascalGP100Hermes-Duo2xGPUs,NVlink

4TFDP

Board:32GBr2TB/s.

500W(5吋Volta-DPZxGPUs

InDefinition

300W

|$erver|ZH12SinglePrecisionProducts.K201.17TFDPPeak1.0TFDGEMM5GB,20OGB/s(ServerandWSJ4.5TFSPPeak2.7TF5GEMMMB,320G8/s225WIxGPU,ZxRegs/5M

?1.5TPDP12GB,Z8?GB/s

235W(StrwrarWW5)Hemes^SoloIkGPV,NVLink3IFDP

12GB,75QG8/S

235W

{ServerandW5|IxGPUInDefinition235W2014Maxwell-SP:GIV12007.6-7.8TFS-P

ZxGPUs24GB,-500GB/i

3O0WPascal-SPZxGPUs

SinglePrecision

InDefinitionS00W(Sprvef)201510162017GPU市場(chǎng)區(qū)分MarketSegmentKeyFeatureRecommendationSupercomputing,HigherEd.Research?DoublePrecisionPerf.K80,K40Oil&Gas?MemoryBandwidthK80DeepLearningTraining12GBMemoryperGPUSinglePrecisionPerf.perGPUM40AcceleratedVirtualDesktop?#ofConcurrentConnectedUsersM60,M6計(jì)算專用GPU可選型號(hào)特性TeslaM40GPU數(shù)量類型GM200雙精浮點(diǎn)峰值-單精浮點(diǎn)峰值7T存儲(chǔ)器帶奏（ECC關(guān)閉）288GB/s存儲(chǔ)器容量（GDDR5）12GBCUDA核心數(shù)3072TeslaK80TeslaK402xKeplerGK2101個(gè)GKllO2.91T（提速）1.66T（提速）1.87T（基礎(chǔ)）1.43T（基礎(chǔ)）8.74T(提園5T(M)5.6T4.29Tflops480GB/s288GB/s24GB(2xl2GB)12GB49922880主流主流GPU產(chǎn)品對(duì)比TeslaGK210-DuoPublicLaunch@SC14SystemsAvailability~Nov'2014i2GBGBOR512GBGDDR5GK210一| 「L.心」,5?代GK210L_,iPCIeConnectorOEMAvailabilityProductionSamples:7/16,forOEMQualProductionEarlySept'14K40GK210-Duo(Mktgcodename)GPUGK110BGK210PeakSP4.29TFLOPS-5.6TFLOPS(Ba^e)(board@baseclock)PeakDPi.43TFLOPS-1.87TFLOPS(Base>(perboard>1.68TFLOPS(Boost)-2.7TFLOPS(Boost)#ofGPUst2#ofCUDACores/board28804992PCI&GenGen3Gen3GDDR5MemorySize(perboard)12GB24GBMemoryBandwidth28&GB/s-480GB/SGPUBoost2Levels>10levelsPower235W300WFormFactorsPCIeActivePCIePassivePCIePassiveGPUGM200Core3072PeakSP(GPUBoost)-7TFLOPSGDDR5Memoryperboard12GBMemoryBandwidthperboard288GB/sFormFactorPCIePassiveDualSlotPower250WGPUBoost技術(shù)-2.7Teraflops?BoostDP-2.7Teraflops?BoostDP-1.87Teraflops■BaseDP二/DGEMMHeavyApplicationsRun\atBaseClocks/MostCUDAApplicationsRunAt\\BoostClocks/40-50%moreflopswithBoostGPUinIdlestateGPUClockK80性能提升GK210-Duo:Appsrun1.2xto2xfastervs.K40EK40GK210-Duo任stimated)?2xRegisterFile&SharedMemoryRelative

toK40llllllllll?Dual-GPUBoard:2xMemory&MemoryB/W0.5?40-50%MorePerformancewithGPUBoostM40GPU加速特性CaffeTorchCaffeTorchSavedaysoneachtrainingiterationEnableuserstoiteratetofinalsolutionmuchfaster

InteilPentium'4Processor

ExtremeEditionGPU與CPU連接InteilPentium'4Processor

ExtremeEdition6.4GB^dlo150MB/b133MH/&4PCIExpress"■,500MB/b.60wa/i°InterMatrixSlorngftTachnologyPCIBIOSSupportsHTTechnQlogyInterWirelessr>?ctTachndogy通過PCIe與CPU連接,最大理論帶寬8GB/s(gen2.0)、16GB/s(gen3.0)CPU稱為主機(jī)(host),顯卡(GPU)稱為設(shè)備(device)

RomleyEP/ENPlatformsIntel^Xeon^ProcessorE5-26OOv2/2400v2ProductFamilies■vvBridgeCPUsSocketR:Upto12cores/RomleyEP/ENPlatformsIntel^Xeon^ProcessorE5-26OOv2/2400v2ProductFamilies■vvBridgeCPUsSocketR:Upto12cores/socket

SocketB2:Upto10cores/socketQPI：SocketR?2QPIlinks

SocketB2:1QPIlinkDDR3&DDR3LRDIMMS&UDIMMs,LRDIMMsSocketR;4channelspersocket,upto3DPC;speedsuptoDDR318GGSocketB2s3channelspersocket,upto2DPC;speedsuptoDDR31G00Intel1Intel1^C600

seriesehips&tmm睥chipsettNodeManagerEditionsInters-vProTM

Technology(forWS).intel?AMT、Technology(rorsvr)OptOptSocketR:40lanespersocket

SocketB2:2lanespersocketExtraGen2x4un2心CPU

目前的GPU使用方案MoreCustomersTrendingto4-GPUSystems%ofcustomersaskingfor>=4GPUsinabox■CY2014?CY2O15MedicalImaging/InstrumentationFinanceCAE/MFGM&EDeepLearning/WebHigher-Ed/ResearchDefenseOilandGasSupercomputing0* 10K0* 10K 20K 30* 4C*50ft6M7(1% 8?.3434CPU困境PeakMemoryBandwidthGB/S600500GK210-Duo40Q30020G1002008201020122014-?-NVIDIAGPU-*-x86CPUXMachineW580?G20機(jī)塔互換8塊熱插披3.5寸SATA硬盤最多8塊熱插披3.5寸SATA硬盤最多4個(gè)全高全長(zhǎng)雙堯GPU卡(PCIeX163.0)+3個(gè)標(biāo)準(zhǔn)PCIe^2000W白金級(jí)高效電8(1源，1+1冗余兩顆Intel160WIntel?E5-2600v3family3x5%外設(shè)倉(cāng)位最優(yōu)的制冷方案16根內(nèi)存檀，支持1TBDDR4內(nèi)存天闊W740?G20天闊W740?G20服務(wù)器是專為高性能計(jì)算設(shè)計(jì)的高密度異構(gòu)計(jì)算節(jié)點(diǎn),在2U空間內(nèi)置4顆主流加速卡，并支持Infiniband高速互聯(lián)接口。W740I-G20適合在DeepLearning.MachineLearning環(huán)境下的應(yīng)用。10個(gè)熱插拔2.5寸SAS/SATA硬盤XMachineW740-G20服務(wù)器2U高度,兩顆IntelIntel?E5-2600V3系列CPU,最大支持145W支持4顆GPU/MIC加速單元，4根PCI-E3.0xl6+1根PCI-E3.0x8(inXI6slot)最大支持:LTBDDR4Reg.ECC內(nèi)存(16DIMM)可HBB2000W1+1冗余電源

XMachineW780-G20服務(wù)器天闊W780?G20服務(wù)器是專為MachineLearning市計(jì)的高密度異構(gòu)計(jì)算節(jié)點(diǎn)，在4U空間內(nèi)置8顆主流加速卡，每個(gè)CPU之間的GPU卡可以實(shí)現(xiàn)P2P。、NN?4U高度，兩顆IntelIntel?E5-2600V3系列CPU,最大支持160W、NN?支持8顆GPU/MIC加速單元，8根PCI?E3.0xl6+3根PCI?E3.0x8擴(kuò)展槽最大支持2TBDDR4ECC內(nèi)存(24DIMM)24個(gè)遍拔2.5寸SAS/SATA硬盤巨閽置1600W2+2冗余電源CUDAMPIRDMA^araStorL ModelParalelismDataParallel