深度學(xué)習(xí)框架比較2說課材料

深度學(xué)習(xí)框架比較2Caffe優(yōu)點第一個主流的工業(yè)級深度學(xué)習(xí)工具。在計算機視覺領(lǐng)域Caffe依然是最流行的工具包。很多常用論文的網(wǎng)絡(luò)擁有caffe實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)定義簡單，網(wǎng)絡(luò)則使用Protobuf定義缺點：1）它有很多擴展，但是由于一些遺留的架構(gòu)問題，不夠靈活且對遞歸網(wǎng)絡(luò)和語言建模的支持很差。2）基于層的網(wǎng)絡(luò)結(jié)構(gòu)，其擴展性不好，對于新增加的層，需要自己實現(xiàn)（forward,backwardandgradientupdate）Caffe的全稱應(yīng)該是ConvolutionalArchitectureforFastFeatureEmbedding，它是一個清晰、高效的深度學(xué)習(xí)框架，它是開源的，核心語言是C++，它支持命令行、Python和Matlab接口，它既可以在CPU上運行也可以在GPU上運行。實現(xiàn)模塊化。Theano優(yōu)點相對靈活正確使用的話性能較好缺點陡峭的學(xué)習(xí)曲線大量的底層API編譯復(fù)雜符號圖的時候可能會很慢Theano不僅僅是一個可以獨立使用的庫，它還是我們下面介紹的很多框架的底層數(shù)值計算引擎；它來自蒙特利爾大學(xué)MILA實驗室，由FrédéricBastien最早創(chuàng)建。Theano提供的API相對底層，因此如果你希望高效運行Theano，你必須對它的底層算法非常熟悉。如果你擁有豐富的機器學(xué)習(xí)理論知識與經(jīng)驗，并且你希望對于自己的模型有細粒度的控制或者自己動手創(chuàng)建新的模型，那么Theano是個不錯的選擇?？偨Y(jié)而言，Theano最大的優(yōu)勢就是其靈活性。Lasagne優(yōu)點還是比較靈活的比Theano提供了更高層的抽象接口文檔與代碼更為條理清晰缺點社區(qū)并不是很活躍鑒于Theano著重打造面向符號數(shù)學(xué)的工具庫，Lasagne提供了基于Theano的相對高層的抽象，使它對于偏向工程的深度學(xué)習(xí)開發(fā)者更為友好。它最早由DeepMind的研究學(xué)者SanderDieleman開發(fā)與維護。不同于Theano中網(wǎng)絡(luò)模型需要指定為符號變量的表達式，Lasagne允許用戶以層的概念來定義網(wǎng)絡(luò)，并且引入了所謂的“Conv2DLayer”與“DropoutLayer”。Lasagne以犧牲部分靈活性為代價提供了常用的組件來進行層構(gòu)建、初始化、模型正則化、模型監(jiān)控與模型訓(xùn)練。TensorFlow優(yōu)點由Google支持社區(qū)很繁榮同時提供了底層與高層的網(wǎng)絡(luò)訓(xùn)練接口，還要tflearn,tfslim上層接口比Theano提供了更高層的抽象接口比Theano能夠更快地訓(xùn)練模型缺點對RNN的支持度仍然落后于Theano一開始的時候性能不是很好，但已經(jīng)有所改進使用數(shù)據(jù)流圖進行數(shù)值計算的開源軟件庫。TensorFlow集成了類似于Theano這樣底層的符號計算功能，也包含了類似于Blocks或者Lasagne這樣的高層API。盡管TensorFlow登上Python深度學(xué)習(xí)庫的時間尚短，但是它已經(jīng)成為了最受矚目、社區(qū)最為龐大的工具。TensorFlow由Google大腦團隊發(fā)布并且維護，它支持多GPU的機器學(xué)習(xí)模型，提供了高效的數(shù)據(jù)管道以及內(nèi)建的用于審視、可視化以及序列化模型的功能。最近TensorFlow團隊決定添加對于Keras的內(nèi)建支持，使得TensorFlow具備更好的可用性。盡管社區(qū)都認同TensorFlow是有缺陷的，但是因為其社區(qū)的龐大與項目背后支持力量，學(xué)習(xí)TensorFlow會是個不錯的選擇；。Keras優(yōu)點你可以自由選擇使用Theano或者TensorFlow直觀，高級的接口相對簡單的學(xué)習(xí)曲線缺點與其他相比靈活性略差支持卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)的Python深度學(xué)習(xí)庫，能夠運行在Theano或者TensorFlow之上。Keras算是這個列表中提供了最高層接口、用戶使用最友好的深度學(xué)習(xí)庫了。它由Google大腦團隊的FrancisChollet創(chuàng)建與維護；它允許用戶自由選擇底層模型構(gòu)建框架，可以是Theano或者TensorFlow。Keras的用戶交互借鑒了Torch，如果你有基于Lua進行機器學(xué)習(xí)的經(jīng)驗，Keras會是很值得一試的工具。因為Keras完善的文檔與簡單易用的接口，Keras的社區(qū)非常繁榮與活躍。最近，TensorFlow團隊宣布計劃將內(nèi)建支持Keras，因此不久的將來Keras會是TensorFlow項目的子集了吧。MXNet優(yōu)點相當(dāng)快的評測結(jié)果徹底的靈活性缺點社區(qū)最小比Theano更陡峭的學(xué)習(xí)曲線MXNet致力于提供兼顧性能與靈活性的深度學(xué)習(xí)框架。作為Amazon的欽定深度學(xué)習(xí)框架，MXNet也算是性能最好的深度學(xué)習(xí)框架之一了。它提供了類似于Theano與TensorFlow的數(shù)據(jù)流圖，并且支持多GPU配置，提供了類似于Lasagne與Blocks的相對高階的模型構(gòu)建塊，還能運行在多種硬件設(shè)備上（包括移動設(shè)備）。Python只是MXNet支持的多種語言之一，它還提供了基于R,Julia,C++,Scala,Matlab以及JavaScript的多種接口。如果你專注于效率，那么MXNet是個不二選擇，不過你可能會要讓自己習(xí)慣MXNet中很多的奇怪設(shè)定。Pytorch與torch優(yōu)點由Facebook支持與維護支持動態(tài)圖計算同時提供了高層接口與底層接口代碼邏輯很PYTHON缺點與競爭者相比還不成熟除了官方文檔之外的相關(guān)資料尚處于短缺支持強力GPU加速的PythonTensor與動態(tài)神經(jīng)網(wǎng)絡(luò)庫。PyTorch問世不過數(shù)周，在我們的深度學(xué)習(xí)框架列表中尚屬新生兒。雖然PyTorch主要基于LuaTorch，但是它是由Facebook人工智能研究團隊（FAIR）支持的，并且它設(shè)計初衷就是用來處理動態(tài)計算圖問題，這個特性也是其他的Theano，TensorFlow，以及其他擴展框架所沒有的。雖然PyTorch尚未成熟，但是因為它這一特性我們相信它會在未來的Python深度學(xué)習(xí)生態(tài)系統(tǒng)中占據(jù)一席之地，并且我們認為它是個非常不錯的選項。Keras優(yōu)點你可以自由選擇使用Theano或者TensorFlow直觀，高級的接口相對簡單的學(xué)習(xí)曲線缺點與其他相比靈活性略差支持卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)的Python深度學(xué)習(xí)庫，能夠運行在Theano或者TensorFlow之上。Keras算是這個列表中提供了最高層接口、用戶使用最友好的深度學(xué)習(xí)庫了。它由Google大腦團隊的FrancisChollet創(chuàng)建與維護；它允許用戶自由選擇底層模型構(gòu)建框架，可以是Theano或者TensorFlow。Keras的用戶交互借鑒了Torch，如果你有基于Lua進行機器學(xué)習(xí)的經(jīng)驗，Keras會是很值得一試的工具。因為Keras完善的文檔與簡單易用的接口，Keras的社區(qū)非常繁榮與活躍。最近，TensorFlow團隊宣布計劃將內(nèi)建支持Keras，因此不久的將來Keras會是TensorFlow項目的子集了吧。比較表Dataaugmentation

訓(xùn)練：隨機crop。訓(xùn)練時候，對于256＊256的圖片進行隨機crop到224＊224，然后允許水平翻轉(zhuǎn)，那么相當(dāng)與將樣本倍增到((256-224)^2)*2=2048。測試：測試時候，對左上、右上、左下、右下、中間做了5次crop，然后翻轉(zhuǎn)，共10個crop，之后對結(jié)果求平均。Crop大小不能太小，能夠保證原始信息不