基于移動App客戶端的深度學(xué)習(xí)對象識別

基于移動App客戶端的深度學(xué)習(xí)對象識別命題教師：葛錫寶歡迎加入該命題的QQ群：727690513命題企業(yè)：上海睿亞訓(xùn)軟件技術(shù)服務(wù)有限公司一、項(xiàng)目背景2017年7月20日，中國國務(wù)院在《新一代人工智能發(fā)展規(guī)劃》中指出：接下來人工智能將成為國家重要發(fā)展戰(zhàn)略之一，其意義影響到國家的國際競爭能力、經(jīng)濟(jì)發(fā)展、社會建設(shè)等等大方向。同時，中國的人工智能具有良好基礎(chǔ)，但與發(fā)達(dá)國家相比仍存在差距，面對新形勢新需求，必須主動求變應(yīng)變。根據(jù)《規(guī)劃》指出的戰(zhàn)略目標(biāo)：到2020年，中國人工智能總體技術(shù)和應(yīng)用與世界先進(jìn)水平同步，人工智能產(chǎn)業(yè)成為新的重要經(jīng)濟(jì)增長點(diǎn)，人工智能技術(shù)應(yīng)用成為改善民生的新途徑。到2025年，中國人工智能基礎(chǔ)理論實(shí)現(xiàn)重大突破，部分技術(shù)與應(yīng)用達(dá)到世界領(lǐng)先水平，人工智能成為我國產(chǎn)業(yè)升級和經(jīng)濟(jì)轉(zhuǎn)型的主要動力，智能社會建設(shè)取得積極進(jìn)展。到2030年，中國人工智能理論、技術(shù)與應(yīng)用總體達(dá)到世界領(lǐng)先水平，成為世界主要人工智能創(chuàng)新中心，人工智能核心產(chǎn)業(yè)規(guī)模超過10,000億元，帶動相關(guān)產(chǎn)業(yè)規(guī)模超過100,000億元。目前，國內(nèi)以國防科技大學(xué)，南京大學(xué)，重慶郵電大學(xué)，西安電子科技大學(xué)，為首的高校已開始建立基于深度學(xué)習(xí)與新一代人工智能技術(shù)的人工智能學(xué)院。隨著國內(nèi)人工智能產(chǎn)業(yè)的拓展，可以預(yù)見：未來10-15年，包括信息技術(shù)，互聯(lián)網(wǎng)在內(nèi)的各行業(yè)都將對人工智能人才有著強(qiáng)烈的需求。本項(xiàng)目通過將：“基于深度學(xué)習(xí)的對象識別”——新一代人工智能核心應(yīng)用，付諸于“安卓系統(tǒng)”移動App實(shí)現(xiàn)，將：移動互聯(lián)網(wǎng)開發(fā)，圖像數(shù)據(jù)處理，深度學(xué)習(xí)等先進(jìn)技術(shù)關(guān)聯(lián)在一起。其實(shí)踐意義在于：通過帶體驗(yàn)及引導(dǎo)性的App程序讓學(xué)生對人工智能技術(shù)及產(chǎn)品有一個直觀的了解與認(rèn)知，并提高學(xué)生對大數(shù)據(jù)處理，深度學(xué)習(xí)，對象識別模型訓(xùn)練，Python語言的熟練運(yùn)用，有助于將理論知識與實(shí)踐相結(jié)合。通過引導(dǎo)性的深度學(xué)習(xí)算法模型演示，讓學(xué)生快速掌握深度學(xué)習(xí)算法模型原理，通過模型再訓(xùn)練提升對象識別精確度。通過完整的深度學(xué)習(xí)項(xiàng)目開發(fā)訓(xùn)練，讓學(xué)生深刻了解人工智能項(xiàng)目開發(fā)的標(biāo)準(zhǔn)流程，提升項(xiàng)目開發(fā)經(jīng)驗(yàn)。二、項(xiàng)目要求2.1項(xiàng)目介紹本項(xiàng)目主要是通過由命題方預(yù)先提供的，基于全球最流行的深度學(xué)習(xí)開源框架TensorFlow預(yù)先訓(xùn)練好的算法模型，通過模型導(dǎo)出，并嵌入安卓系統(tǒng)移動App。實(shí)現(xiàn)攝像頭內(nèi)鏡像的實(shí)時對象識別功能。學(xué)生可以在自己的安卓移動終端上安裝該App程序，一方面體驗(yàn)深度學(xué)習(xí)對象識別算法的效果，另一方面，了解該預(yù)先訓(xùn)練好的算法模型，仍具備可優(yōu)化的空間：包括：數(shù)據(jù)標(biāo)簽語言，對象識別精確度，所能識別的對象類型數(shù)量等——本項(xiàng)目評分核心標(biāo)準(zhǔn)，在于如何重新訓(xùn)練該預(yù)先訓(xùn)練的算法模型，提升安卓App的對象識別精確度。出題方提供的對象識別App，其訓(xùn)練數(shù)據(jù)集基于ImageNet2012年視覺識別大賽的數(shù)據(jù)對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，這是計(jì)算機(jī)視覺中的一項(xiàng)標(biāo)準(zhǔn)任務(wù)，模型嘗試將整個圖像分類為1000個類，因此當(dāng)你發(fā)現(xiàn)某些物體無法被正確識別的時候，最大的原因是當(dāng)時的數(shù)據(jù)集并未把對象包含在上述的類別中。到了現(xiàn)在，ImageNet已經(jīng)提供了14,197,122張圖片在21,841個分類當(dāng)中，可以進(jìn)行二次算法優(yōu)化。2.2項(xiàng)目流程根據(jù)項(xiàng)目要求與提供的安卓App及算法模型源代碼，訓(xùn)練數(shù)據(jù)集，對移動App的深度學(xué)習(xí)對象識別算法模型進(jìn)行二次訓(xùn)練。最終，把二次訓(xùn)練后的模型，通過TensorFlow移動App接口重新嵌入，結(jié)果通過以本參賽隊(duì)伍的名稱/圖案標(biāo)識作為App圖標(biāo)，以.APK文件格式進(jìn)行提交，以下是本項(xiàng)目的數(shù)據(jù)處理流程圖：3.3出題方技術(shù)支持出題方提供Android平臺的演示APP安裝包及對應(yīng)源代碼，供參賽者體驗(yàn)?zāi)繕?biāo)程序；出題方提供1,000個已訓(xùn)練好的分類標(biāo)簽，供選題使用，參賽者可在漢化分類標(biāo)簽，算法模型優(yōu)化，以及新增分類標(biāo)簽等各項(xiàng)目中進(jìn)行新APP功能擴(kuò)展；現(xiàn)有標(biāo)簽包括：出題方提供完整的基于docker的TensorFlow深度學(xué)習(xí)訓(xùn)練底層開發(fā)環(huán)境，讓參賽者專注于深度學(xué)習(xí)算法的實(shí)現(xiàn)與驗(yàn)證，省去環(huán)境搭建的全過程；開發(fā)環(huán)境包括：出題方向確定報(bào)名參賽隊(duì)伍，提供安卓開發(fā)環(huán)境，Python及移動App開發(fā)環(huán)境，及模型訓(xùn)練算法原理的使用說明；出題方提供模型訓(xùn)練所需的測試集與完整的數(shù)據(jù)集，為參賽者實(shí)現(xiàn)并驗(yàn)證深度學(xué)習(xí)算法提供底層數(shù)據(jù)支撐，其中數(shù)據(jù)集包含超過100G的圖像數(shù)據(jù)（帶英文標(biāo)簽）。————基于網(wǎng)絡(luò)硬盤分享，鏈接有可能不穩(wěn)定；相關(guān)資源在參賽隊(duì)伍報(bào)名后，由出題方統(tǒng)一提供。/s/1mhKgIhi密碼：flqi三、參賽要求每個參賽隊(duì)的作品必須以光盤形式上交，光盤內(nèi)需包含以下內(nèi)容：在根目錄下建立四個文件夾，分別命名為“作品”、“源程序”、“文檔”和“演示”，必要時自己根據(jù)情況建立二級文件夾并清晰命名。1）將作品的發(fā)布版（.APK文件或安裝文件）及數(shù)據(jù)庫備份文件放入“作品”文件夾中；2)將作品的源程序放入“源程序”文件夾中；3)將完整的技術(shù)文檔、管理文檔和系統(tǒng)說明文檔（必備軟件安裝和使用說明書）都放到“文檔”文件夾中。注意在文件中應(yīng)逐條詳細(xì)說明體現(xiàn)作品設(shè)計(jì)特色的功能；4）作品的運(yùn)行視頻及PPT介紹文稿放在演示文件夾中。注意運(yùn)行視頻必須是在軟件連續(xù)運(yùn)行狀態(tài)下抓取的完整視頻，不能是個別片段的拼湊，以證明軟件可以完整運(yùn)行。每個隊(duì)的作品一式三份，即刻錄三張光盤上交。光盤上做必要不可擦除的標(biāo)識以防混亂，如“作品名”、“學(xué)?！?、“組長姓名”、“小組名稱”等；請將光盤放在檔案袋內(nèi)，袋上注明以下信息：“學(xué)?！薄白髌访Q”“小組名稱”“組長姓名”“詳細(xì)聯(lián)系方式（電話、Email）”等；四、評比方式最終作品以跟原作品校對優(yōu)化程度區(qū)分優(yōu)劣，參賽者可通過中文化圖像標(biāo)簽（權(quán)重：低），優(yōu)化對象識別精確度（權(quán)重：高），以及增加識別對象類別（權(quán)重：中）等方面對源程序進(jìn)行優(yōu)化，評審出題方根據(jù)優(yōu)化權(quán)重比對提交作品進(jìn)行基礎(chǔ)打分。

提交的材料完整、齊全、可讀性好。如果所提交的文檔不完整，仍可以參加評比，但要適當(dāng)扣分。評比首先要看程序是否能正常運(yùn)行，即運(yùn)行中出現(xiàn)的錯誤不能使程序退出、陷入死循環(huán)或造成死機(jī)。如果出現(xiàn)上述情況，可以重新運(yùn)行，但總嘗試次數(shù)不能超過三次。在正常運(yùn)行基礎(chǔ)上，以功能評比為主，在功能相近的情況下，考察程序的其他特色，重點(diǎn)看創(chuàng)意，以鼓勵學(xué)生創(chuàng)新性思維。首先考察程序是否包含指定的基本功能，其次考察程序的其它創(chuàng)意功能和創(chuàng)意設(shè)計(jì)。若某項(xiàng)功能運(yùn)行不正常，算做無此功能，不影響其他功能評比。經(jīng)過演示、報(bào)告、答辯后，給出參賽成績。五、平臺說明及操作規(guī)范出題方提供演示移動App客戶端（APK及源代碼），參賽方可下載對應(yīng)APP，在本地手機(jī)上安裝，安裝后啟動“TFDetection”應(yīng)用程序，實(shí)現(xiàn)圖像識別應(yīng)用功能體驗(yàn)，并開始對該App進(jìn)行二次優(yōu)化。APK下載方法——基于網(wǎng)絡(luò)硬盤分享，鏈接有可能不穩(wěn)定；相關(guān)資源在參賽隊(duì)伍報(bào)名后，由出題方統(tǒng)一提供。：鏈接：/s/18wGRRuFAKxlwNNpL_Z_4oQ密碼：a5hy深度學(xué)習(xí)平臺搭建基于TensorFlow的深度學(xué)習(xí)系統(tǒng)，通過運(yùn)行平臺中的訓(xùn)練程序，對用戶輸入的數(shù)據(jù)進(jìn)行處理，生成新的模型。核心組件包括：NDK，Android到原生硬件（C/C++開發(fā)）的一套開發(fā)組件；Bazel，Google的一款可再生的代碼構(gòu)建工具。它主要是用于構(gòu)建Google的軟件，處理出現(xiàn)在Google的開發(fā)環(huán)境的構(gòu)建問題，比如說：大規(guī)模數(shù)據(jù)構(gòu)建問題，共享代碼庫的問題，從源代碼構(gòu)建的軟件的相關(guān)問題；Pandas，Python提供了一套名為DataFrame的數(shù)據(jù)結(jié)構(gòu)，比較契合統(tǒng)計(jì)分析中的表結(jié)構(gòu)，并且提供了計(jì)算接口；Numpy，Python以矩陣為基礎(chǔ)的數(shù)學(xué)計(jì)算模塊，純數(shù)學(xué)；PIL，Python圖像處理庫；Matplotlib，Python數(shù)據(jù)可視化框架庫；Tarfile，Python壓縮處理組件；Hashlib，主要提供字符加密功能，將md5和sha模塊整合到了一起，支持md5,sha1,sha224,sha256,sha384,sha512等算法；Random，隨機(jī)向量采集組件；TensorFlow，全球最為流行的深度學(xué)習(xí)框架；出題方利用Docker技術(shù)封裝了一套已經(jīng)搭建好的TensorFlow，參賽方可通過直接下載對應(yīng)容器，在本地服務(wù)器上進(jìn)行模型訓(xùn)練，TensorFlow容器下載方式及使用方法——基于網(wǎng)絡(luò)硬盤分享，鏈接有可能不穩(wěn)定；相關(guān)資源在參賽隊(duì)伍報(bào)名后，由出題方統(tǒng)一提供。下載地址：/s/18wGRRuFAKxlwNNpL_Z_4oQ

密碼：a5hy使用方法：在本地計(jì)算機(jī)上安裝Docker環(huán)境，參考/p/490884917c4d導(dǎo)入鏡像到本地Docker中，dockerload<docker.tar查看Docker鏡像id：#dockerimages找到對應(yīng)的imageid，如上圖所示。標(biāo)記鏡像，#dockertagIMAGE_IDra_image運(yùn)行鏡像：#dockerrun-itra_image學(xué)生可通過自選增補(bǔ)數(shù)據(jù)集，保存在本地磁盤，通過平臺對已有的模型對新的對象進(jìn)行新增識別訓(xùn)練，生成新的模型庫，并將模型庫導(dǎo)入Android應(yīng)用程序安裝包中。評委在手機(jī)上安裝導(dǎo)出Android程