《智能機(jī)器人技術(shù)應(yīng)用》課件 項(xiàng)目四 YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)

項(xiàng)目四YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)創(chuàng)靈實(shí)驗(yàn)平臺(tái)項(xiàng)目引導(dǎo)介紹

首先，什么是YOLO算法？

YOLO及YouOnlyLookOnce，是一種目標(biāo)檢測(cè)算法，目標(biāo)檢測(cè)任務(wù)的目標(biāo)是找到圖像中的所有感興趣區(qū)域，并確定這些區(qū)域的位置和類別概率。目標(biāo)檢測(cè)領(lǐng)域的深度學(xué)習(xí)方法主要分為兩大類（如右圖所示）：兩階段式（Two-stage）目標(biāo)檢測(cè)算法和單階段式（One-stage）目標(biāo)檢測(cè)算法。兩階段式是先由算法生成一系列候選邊界框作為樣本，然后再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)分類這些樣本，也被稱為基于區(qū)域的方法，例如R-CNN、FastR-CNN、FasterR-CNN、R-FCN等；后者則是直接將目標(biāo)邊界定位問(wèn)題轉(zhuǎn)換成回歸問(wèn)題，圖像會(huì)被縮放到同一尺寸，并以網(wǎng)格形式均等劃分，模型僅需處理圖像一次就能得到邊界框坐標(biāo)跟類概率，例如MultiBox、YOLO、SSD等。兩種方法的區(qū)別也導(dǎo)致其性能也不同，前者在檢測(cè)準(zhǔn)確率和定位準(zhǔn)確率方面更優(yōu)，而后者勝在算法速度。YOLO是一個(gè)one-stage的目標(biāo)檢測(cè)算法，我們可以將其看作單一的回歸問(wèn)題。YOLO檢測(cè)系統(tǒng)如下圖所示：項(xiàng)目引導(dǎo)介紹YOLOv1：YOLOv1的論文中給出YOLO的主要思想如下：1.我們的系統(tǒng)將輸入圖像劃分為S×S網(wǎng)格，具有分而治之的思想。如果對(duì)象的中心落入網(wǎng)格單元中，則該網(wǎng)格單元負(fù)責(zé)檢測(cè)該對(duì)象。如圖三所示，狗的中心落在了第五行第二列的格子中（紅點(diǎn)所示），那么這個(gè)格子負(fù)責(zé)預(yù)測(cè)狗這個(gè)對(duì)象。這里需要說(shuō)明一下，網(wǎng)格只是劃分圖像中物體的位置，而不是將每個(gè)格子單獨(dú)分離出來(lái)，所有的網(wǎng)格還是一個(gè)整體關(guān)系。因此，YOLO在訓(xùn)練和測(cè)試時(shí)都會(huì)全局考慮圖像。項(xiàng)目引導(dǎo)介紹YOLOv1：YOLOv1的論文中給出YOLO的主要思想如下：2.每個(gè)網(wǎng)格需要預(yù)測(cè)B個(gè)boundingbox，每個(gè)boundingbox除了需要預(yù)測(cè)位置坐標(biāo)、預(yù)測(cè)confidence值以外，還需要去預(yù)測(cè)C個(gè)類別的分?jǐn)?shù)。confidence為置信度，是指boundingbox中存在物體的概率；C與數(shù)據(jù)集的類別相關(guān)，VOC數(shù)據(jù)集為0，COCO數(shù)據(jù)集為80。每個(gè)邊界框需要預(yù)測(cè)5個(gè)值：x,y,w,h,confidence。(x,y)表示預(yù)測(cè)框相對(duì)于網(wǎng)格單元邊界的中心；(w,h)表示預(yù)測(cè)框相對(duì)于整個(gè)圖像預(yù)測(cè)寬度和高度；置信度表示預(yù)測(cè)框與真實(shí)框之間的IOU。置信度的計(jì)算公式如下所示：Pr(object)表示網(wǎng)格單元中是否有object，如果有object，則為1，否則為0。IOU(b,object)表示真實(shí)框與預(yù)測(cè)框之間的交并比，表示bbox位置的準(zhǔn)確性。網(wǎng)絡(luò)輸出維度為：S×S×(B×5+C)。在YOLOv1中，把圖片劃分為7×7的網(wǎng)格，每個(gè)網(wǎng)格預(yù)測(cè)兩個(gè)BoundingBox，我們采用VOC數(shù)據(jù)集。因此，S=7，B=2，C=20。網(wǎng)絡(luò)的輸出維度為7×7×(2×(4+1)+20)=7×7×30。項(xiàng)目引導(dǎo)介紹YOLOv1：YOLOv1的論文中給出YOLO的網(wǎng)絡(luò)結(jié)構(gòu)如下：那什么是目標(biāo)檢測(cè)呢？項(xiàng)目引導(dǎo)案例目標(biāo)檢測(cè)，也叫目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割。它將目標(biāo)的分割和識(shí)別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場(chǎng)景中，需要對(duì)多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí)，目標(biāo)自動(dòng)提取和識(shí)別就顯得特別重要。隨著計(jì)算機(jī)技術(shù)的發(fā)展和計(jì)算機(jī)視覺原理的廣泛應(yīng)用，利用計(jì)算機(jī)圖像處理技術(shù)對(duì)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤研究越來(lái)越熱門，對(duì)目標(biāo)進(jìn)行動(dòng)態(tài)實(shí)時(shí)跟蹤定位在智能化交通系統(tǒng)、智能監(jiān)控系統(tǒng)、軍事目標(biāo)檢測(cè)及醫(yī)學(xué)導(dǎo)航手術(shù)中手術(shù)器械定位等方面具有廣泛的應(yīng)用價(jià)值。機(jī)械臂色塊分揀圖像采集任務(wù)一職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集掌握?qǐng)D像數(shù)據(jù)采集方法與要求；學(xué)習(xí)常用圖像數(shù)據(jù)采集的方法；了解并學(xué)習(xí)opencv保存圖像的方法；掌握基于opencv的色塊圖像采集自動(dòng)化腳本編寫。了解常用圖像數(shù)據(jù)采集方法；了解并掌握opencv保存圖像方法；掌握基于opencv的色塊圖像采集自動(dòng)化腳本編寫。職業(yè)能力目標(biāo)01實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)內(nèi)容職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集

此任務(wù)要求同學(xué)們掌握?qǐng)D像數(shù)據(jù)采集方法與要求，學(xué)習(xí)常用圖像數(shù)據(jù)采集的方法，了解并學(xué)習(xí)opencv保存圖像的方法，并掌握基于opencv的色塊圖像采集自動(dòng)化腳本編寫。任務(wù)描述任務(wù)要求了解常用圖像數(shù)據(jù)采集方法，學(xué)習(xí)五個(gè)方法；了解并掌握opencv保存圖像方法，能夠根據(jù)實(shí)驗(yàn)實(shí)現(xiàn)opencv保存圖像，并能設(shè)置自動(dòng)保存和手動(dòng)保存；完成編寫基于opencv的色塊圖像采集自動(dòng)化腳本。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集任務(wù)分析在引導(dǎo)案例里，我們介紹了目標(biāo)檢測(cè)算法，思考一下完成目標(biāo)檢測(cè)有哪些步驟，我們要怎么去做？根據(jù)自己的了解，要怎樣去了解認(rèn)識(shí)目標(biāo)檢測(cè)算法，可以促進(jìn)自己進(jìn)一步地學(xué)習(xí)？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱創(chuàng)靈實(shí)驗(yàn)平臺(tái)任務(wù)名稱機(jī)械臂色塊分揀圖像采集計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請(qǐng)用6個(gè)計(jì)劃步驟來(lái)完整描述出如何完成本次任務(wù)序號(hào)任務(wù)計(jì)劃1

2

3

4

5

6

通過(guò)上面的思考，你是否對(duì)本任務(wù)要完成的工作有所了解？讓我們一起來(lái)制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集opencv204知識(shí)儲(chǔ)備數(shù)據(jù)集1數(shù)據(jù)集04

數(shù)據(jù)集，又稱為資料集、數(shù)據(jù)集合或資料集合，是一種由數(shù)據(jù)所組成的集合。

Dataset（或dataset）是一個(gè)數(shù)據(jù)的集合，通常以表格形式出現(xiàn)。每一列代表一個(gè)特定變量。每一行都對(duì)應(yīng)于某一成員的數(shù)據(jù)集的問(wèn)題。它列出的價(jià)值觀為每一個(gè)變量，如身高和體重的一個(gè)物體或價(jià)值的隨機(jī)數(shù)。每個(gè)數(shù)值被稱為數(shù)據(jù)資料。對(duì)應(yīng)于行數(shù)，該數(shù)據(jù)集的數(shù)據(jù)可能包括一個(gè)或多個(gè)成員。原理與分類04數(shù)據(jù)集

從歷史上看，這個(gè)術(shù)語(yǔ)起源于大型機(jī)領(lǐng)域，在那里它有一個(gè)明確界定的意義，非常接近現(xiàn)代的計(jì)算機(jī)檔案。這個(gè)主題是不包括在這里的。最簡(jiǎn)單的情況下，只有一個(gè)變量，然后在數(shù)據(jù)集由一列列的數(shù)值組成，往往被描述為一個(gè)列表。盡管名稱，這樣一個(gè)單數(shù)據(jù)集不是一套通常的數(shù)學(xué)意義，因?yàn)槟骋粋€(gè)指定數(shù)值，可能會(huì)出現(xiàn)多次。通常的順序并不重要，然后這樣數(shù)值的集合可能被視為多重集，而不是（順序）列表。值可能是數(shù)字，例如真正的數(shù)字或整數(shù)，例如代表一個(gè)人的身高多少厘米，但也可能是象征性的數(shù)據(jù)（即不包括數(shù)字），例如代表一個(gè)人的種族問(wèn)題。更一般的說(shuō)，價(jià)值可以是任何類型描述為某種程度的測(cè)量。對(duì)于每一個(gè)變量，通常所有的值都是同類。但是也可能是“遺漏值”，其中需要指出的某種方式。原理與分類04數(shù)據(jù)集

數(shù)據(jù)集可以分成類型化數(shù)據(jù)集與非類型化數(shù)據(jù)集。類型化數(shù)據(jù)集：這種數(shù)據(jù)集先從基DataSet類派生，然后，使用XML架構(gòu)文件（.xsd文件）中的信息生成新類。架構(gòu)中的信息（表、列等）被作為一組第一類對(duì)象和屬性生成并編譯為此新數(shù)據(jù)集類?？梢灾苯油ㄟ^(guò)名稱引用表和列，在VS.NET中可以智能感知元素的類型。非類型化數(shù)據(jù)集：這種數(shù)據(jù)集沒(méi)有相應(yīng)的內(nèi)置架構(gòu)。與類型化數(shù)據(jù)集一樣，非類型化數(shù)據(jù)集也包含表、列等，但它們只作為集合公開。需要通過(guò)Tables集合引用列。04（注：請(qǐng)打開JupyterLab項(xiàng)目四：YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)第一節(jié)）常用圖像數(shù)據(jù)采集方法獲取圖像數(shù)據(jù)集方法：1）.開源數(shù)據(jù)集和代碼開源一樣，隨著人工智能的發(fā)展，數(shù)據(jù)這種人工智能時(shí)代重要的資源已經(jīng)有越來(lái)越多的公開資源了?？梢灾苯酉螺d進(jìn)行對(duì)應(yīng)需求的模型訓(xùn)練，如手寫字?jǐn)?shù)據(jù)集MNIST，目標(biāo)檢測(cè)數(shù)據(jù)集COCO，人臉識(shí)別LWF等都是各自領(lǐng)域比較熱門的公開數(shù)據(jù)集；04（注：請(qǐng)打開JupyterLab項(xiàng)目四：YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)第一節(jié)）常用圖像數(shù)據(jù)采集方法獲取圖像數(shù)據(jù)集方法：2）.網(wǎng)絡(luò)爬蟲互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)上有很多的數(shù)據(jù)資源，圖片也不例外，而從網(wǎng)絡(luò)上高效獲取圖片的方法是使用網(wǎng)絡(luò)爬蟲工具，所以，網(wǎng)絡(luò)爬蟲也是一種獲取圖片數(shù)據(jù)的方法之一；04（注：請(qǐng)打開JupyterLab項(xiàng)目四：YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)第一節(jié)）常用圖像數(shù)據(jù)采集方法獲取圖像數(shù)據(jù)集方法：3）.攝像采集有時(shí)候有些人工智能應(yīng)用場(chǎng)景可能比較難找到合適的且符合場(chǎng)景的數(shù)據(jù)集，這時(shí)候就需要根據(jù)實(shí)際的場(chǎng)景進(jìn)行數(shù)據(jù)采集，而采集的方法場(chǎng)景的就是使用攝像頭進(jìn)行需要的數(shù)據(jù)采集；04（注：請(qǐng)打開JupyterLab項(xiàng)目四：YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)第一節(jié)）常用圖像數(shù)據(jù)采集方法獲取圖像數(shù)據(jù)集方法：4）.視頻獲取有些時(shí)候需要的圖片數(shù)據(jù)可能在一幀幀的視頻里，這時(shí)候就需要從視頻里將圖像數(shù)據(jù)提取出來(lái)。04（注：請(qǐng)打開JupyterLab項(xiàng)目四：YOLO模型實(shí)現(xiàn)目標(biāo)檢測(cè)第一節(jié)）常用圖像數(shù)據(jù)采集方法獲取圖像數(shù)據(jù)集方法：5）.攝像頭圖像數(shù)據(jù)采集攝像頭在進(jìn)行圖像數(shù)據(jù)采集時(shí)候，需要結(jié)合軟件進(jìn)行相應(yīng)的采集與處理，本次實(shí)驗(yàn)是使用opencv計(jì)算機(jī)視覺處理庫(kù)，通過(guò)編寫Python代碼半自動(dòng)的進(jìn)行圖片數(shù)據(jù)采集，采集符合要求的數(shù)據(jù)，減少數(shù)據(jù)清洗的工作量。05知識(shí)儲(chǔ)備opencv2數(shù)據(jù)集1304什么是opencv？

OpenCV是一個(gè)基于Apache2.0許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫(kù)，可以運(yùn)行在Linux、Windows、Android和MacOS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。大家在生活中有哪些地方遇到過(guò)或者使用過(guò)opencv的地方嗎？04思考一下，我們?cè)谶^(guò)去學(xué)習(xí)代碼的時(shí)候有使用過(guò)opencv嗎？什么是opencv？

OpenCV用C++語(yǔ)言編寫，它具有C++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和MacOS，OpenCV主要傾向于實(shí)時(shí)視覺應(yīng)用，并在可用時(shí)利用MMX和SSE指令，如今也提供對(duì)于C#、Ch、Ruby，GO的支持。歷史發(fā)展04OpenCV

OpenCV擁有包括500多個(gè)C函數(shù)的跨平臺(tái)的中、高層API。它不依賴于其它的外部庫(kù)——盡管也可以使用某些外部庫(kù)。OpenCV為Intel?IntegratedPerformancePrimitives（IPP）提供了透明接口。這意味著如果有為特定處理器優(yōu)化的IPP庫(kù)，OpenCV將在運(yùn)行時(shí)自動(dòng)加載這些庫(kù)。（注：OpenCV2.0版的代碼已顯著優(yōu)化，無(wú)需IPP來(lái)提升性能，故2.0版不再提供IPP接口）最新版本是4.5。1999年1月，CVL項(xiàng)目啟動(dòng)。主要目標(biāo)是人機(jī)界面，能被UI調(diào)用的實(shí)時(shí)計(jì)算機(jī)視覺庫(kù)，為Intel處理器做了特定優(yōu)化。2000年6月，第一個(gè)開源版本OpenCValpha3發(fā)布。2000年12月，針對(duì)linux平臺(tái)的OpenCVbeta1發(fā)布。2006年，支持MacOS的OpenCV1.0發(fā)布。歷史發(fā)展04OpenCV

2009年9月，OpenCV1.2（beta2.0）發(fā)布。2009年10月1日，Version2.0發(fā)布。2010年12月6日，OpenCV2.2發(fā)布。2011年8月，OpenCV2.3發(fā)布。2012年4月2日，發(fā)布OpenCV2.4。2014年8月21日，發(fā)布OpenCv3.0alpha。2014年11月11日，發(fā)布OpenCV3.0beta。2015年6月4日，發(fā)布OpenCV3.0。2016年12月，發(fā)布OpenCV3.2版（合并969個(gè)修補(bǔ)程序，關(guān)閉478個(gè)問(wèn)題）2017年8月3日，發(fā)布OpenCV3.3版（最重要的更新是把DNN模塊從contrib里面提到主倉(cāng)庫(kù)）歷史發(fā)展04OpenCV

OpenCV使用類BSDlicense，所以對(duì)非商業(yè)應(yīng)用和商業(yè)應(yīng)用都是免費(fèi)（FREE）的。（細(xì)節(jié)參考license）OpenCV提供的視覺處理算法非常豐富，并且它部分以C語(yǔ)言編寫，加上其開源的特性，處理得當(dāng)，不需要添加新的外部支持也可以完整的編譯鏈接生成執(zhí)行程序，所以很多人用它來(lái)做算法的移植，OpenCV的代碼經(jīng)過(guò)適當(dāng)改寫可以正常的運(yùn)行在DSP系統(tǒng)和ARM嵌入式系統(tǒng)中，這種移植在大學(xué)中經(jīng)常作為相關(guān)專業(yè)本科生畢業(yè)設(shè)計(jì)或者研究生課題的選題。優(yōu)勢(shì)04OpenCV

計(jì)算機(jī)視覺市場(chǎng)巨大而且持續(xù)增長(zhǎng)，且這方面沒(méi)有標(biāo)準(zhǔn)API，如今的計(jì)算機(jī)視覺軟件大概有以下三種：1、研究代碼（慢，不穩(wěn)定，獨(dú)立并與其他庫(kù)不兼容）2、耗費(fèi)很高的商業(yè)化工具（比如Halcon,MATLAB+Simulink）3、依賴硬件的一些特別的解決方案（比如視頻監(jiān)控，制造控制系統(tǒng)，醫(yī)療設(shè)備）這是如今的現(xiàn)狀，而標(biāo)準(zhǔn)的API將簡(jiǎn)化計(jì)算機(jī)視覺程序和解決方案的開發(fā)，OpenCV致力于成為這樣的標(biāo)準(zhǔn)API。OpenCV致力于真實(shí)世界的實(shí)時(shí)應(yīng)用，通過(guò)優(yōu)化的C代碼的編寫對(duì)其執(zhí)行速度帶來(lái)了可觀的提升，并且可以通過(guò)購(gòu)買Intel的IPP高性能多媒體函數(shù)庫(kù)（IntegratedPerformancePrimitives）得到更快的處理速度。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集基于opencv的色塊圖像采集自動(dòng)化腳本編寫204任務(wù)實(shí)施opencv保存圖像方法1機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）我們?cè)撊ト绾瓮瓿蓪?shí)驗(yàn)?zāi)兀?/p>

需求描述：通過(guò)opencv調(diào)用攝像頭，每10秒保存當(dāng)前捕獲的圖片，并按順序進(jìn)行命名,保存10張后停止。具體步驟如下：步驟一：導(dǎo)入必要的依賴庫(kù)：importcv2importtimefromthreadingimportThreadimportipywidgetsaswidgets

fromIPython.displayimportdisplay機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）我們?cè)撊ト绾瓮瓿蓪?shí)驗(yàn)?zāi)兀?/p>

需求描述：通過(guò)opencv調(diào)用攝像頭，每10秒保存當(dāng)前捕獲的圖片，并按順序進(jìn)行命名,保存10張后停止。具體步驟如下：步驟二：編寫線程異步函數(shù)裝飾器：defasync_call(fn):

"""異步裝飾器:paramfn:函數(shù):return:"""def

wrapper(*args,**kwargs):th=Thread(target=fn,args=args,kwargs=kwargs)th.start()returnwrapper機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）我們?cè)撊ト绾瓮瓿蓪?shí)驗(yàn)?zāi)兀?/p>

需求描述：通過(guò)opencv調(diào)用攝像頭，每10秒保存當(dāng)前捕獲的圖片，并按順序進(jìn)行命名,保存10張后停止。具體步驟如下：步驟三：構(gòu)建顯示圖像函數(shù)：image=widgets.Image(format='jpg',height=480,width=640)機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）步驟四：編寫opencv調(diào)用攝像頭函數(shù)：

1.cv2.VideoCapture(0)調(diào)用設(shè)備攝像頭的功能2.capture.read()讀取一幀的圖片

3.cv2.imencode('.jpg',frame)[1].tobytes()讀取圖像數(shù)據(jù)并轉(zhuǎn)換成圖片格式并轉(zhuǎn)成bytes數(shù)據(jù)。@async_calldef

save_img():#保存圖像函數(shù)capture=cv2.VideoCapture(0)#采集圖像

globalret,frame

whileTrue:ret,frame=capture.read()#讀取圖像

ifnotret:time.sleep(2)

continueimgbox=cv2.imencode('.jpg',frame)[1].tobytes()

globalimageimage.value=imgbox機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）步驟四：編寫opencv調(diào)用攝像頭函數(shù)：

1.cv2.VideoCapture(0)調(diào)用設(shè)備攝像頭的功能2.capture.read()讀取一幀的圖片

3.cv2.imencode('.jpg',frame)[1].tobytes()讀取圖像數(shù)據(jù)并轉(zhuǎn)換成圖片格式并轉(zhuǎn)成bytes數(shù)據(jù)。機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）步驟四：編寫opencv調(diào)用攝像頭函數(shù)：

1.cv2.VideoCapture(0)調(diào)用設(shè)備攝像頭的功能2.capture.read()讀取一幀的圖片

3.cv2.imencode('.jpg',frame)[1].tobytes()讀取圖像數(shù)據(jù)并轉(zhuǎn)換成圖片格式并轉(zhuǎn)成bytes數(shù)據(jù)。機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）動(dòng)手練習(xí)1：1.在<1>處，填寫opencv使用usb攝像頭代碼。2.在<2>處，填寫將opencv讀取圖像數(shù)據(jù)并轉(zhuǎn)換成圖片格式并轉(zhuǎn)成bytes數(shù)據(jù)。@async_calldefsave_img():

<1>

globalret,frame

whileTrue:ret,frame=capture.read()

ifnotret:time.sleep(2)

continue

<2>

globalimageimage.value=imgbox機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）步驟五：保存圖像前先清空save_img文件夾：#慎重執(zhí)行，否則會(huì)清空你采集好的圖像數(shù)據(jù)!rm-rf./save_img/*.png機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）步驟六：顯示圖像與保存圖像：采集圖像建議使用電腦與開發(fā)板直連的方式進(jìn)行，電腦使用無(wú)線方式連接路由在采集圖片時(shí)會(huì)因?yàn)閭鬏斣驍z像頭畫面延遲比較嚴(yán)重。frame=None#圖像全局變量ret=Nonesave_img()#執(zhí)行調(diào)用攝像頭獲取圖片函數(shù)display(image)#顯示圖片num=1#計(jì)數(shù)變量whileTrue:image_name='./save_img/'+str(num)+'.png'#圖片名稱構(gòu)建，將圖片保存在save_img目錄ifnotret:continuecv2.imwrite(image_name,frame)#保存圖片print(str(num)+'.png')num+=1time.sleep(2)ifnum>10:#大于10張圖片后退出循環(huán)print("圖像采集完畢！")break注意：圖像采集完畢，重啟內(nèi)核，釋放攝像頭資源，防止占用攝像頭導(dǎo)致后續(xù)實(shí)驗(yàn)無(wú)法進(jìn)行。如圖所示。機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）動(dòng)手練習(xí)2：在上面的opencv保存圖片代碼的基礎(chǔ)上，修改下代碼，讓其可以通過(guò)手動(dòng)控制進(jìn)行圖片保存（將攝像頭變成一部自制的照相機(jī)）。1.在<1>處，添加代碼，是TakePhoto具備異步的功能。2.在<2>處，添加代碼，保證照相開關(guān)可以正常恢復(fù)。2.在<3>處，添加代碼，使圖片可以正常保存。機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）動(dòng)手練習(xí)2：frame=None#圖像全局變量save_img()#執(zhí)行調(diào)用攝像頭獲取圖片函數(shù)display(image)#顯示圖片take_photo=None#照相開關(guān)exit_var=None#退出開關(guān)

<1>defTakePhoto():global<2>print("等待照相.....")num=1#計(jì)數(shù)變量whileTrue:image_name='./save_img/'+str(num)+'.png'#圖片名稱構(gòu)建，將圖片保存在save_img目錄if(frameisNone):continueiftake_photo:#照相開關(guān)打開機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）動(dòng)手練習(xí)2：<3>print("{0}拍照成功".format(str(num)+'.png'))num+=1take_photo=Noneprint("等待照相.....")ifexit_var:#退出循環(huán)breakdefbutton():'''照相按鈕'''globaltake_phototake_photo=True

TakePhoto()機(jī)械臂色塊分揀圖像采集任務(wù)一opencv保存圖像方法（詳細(xì)實(shí)驗(yàn)請(qǐng)參考第四章中任務(wù)一部分）動(dòng)手練習(xí)2：#慎重執(zhí)行，否則會(huì)清空你采集好的圖像數(shù)據(jù)!rm-rf./save_img/*.png保存圖像前先清空save_img文件夾。重復(fù)執(zhí)行button按鈕代碼框，可重復(fù)拍照。button()05任務(wù)實(shí)施2opencv保存圖像方法13基于opencv的色塊圖像采集自動(dòng)化腳本編寫色塊圖像采集實(shí)驗(yàn)教學(xué)分析我們要怎么設(shè)置使用opencv？我們要怎么去通過(guò)opencv去進(jìn)行色塊圖像采集自動(dòng)化？在生活中有哪些運(yùn)用到了色塊圖像采集自動(dòng)化？基于opencv的色塊圖像采集自動(dòng)化腳本編寫05通過(guò)上面的思考，你是否對(duì)本任務(wù)要完成的任務(wù)有所了解？讓我們一起來(lái)學(xué)習(xí)如何使用基于opencv的色塊圖像采集自動(dòng)化腳本編寫吧！05基于opencv的色塊圖像采集自動(dòng)化腳本編寫基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟一：導(dǎo)入必要依賴庫(kù)importcv2importtimefromthreadingimportThreadimportipywidgetsaswidgetsfromIPython.displayimportdisplay

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟二：編寫線程異步裝飾器函數(shù)defasync_call(fn):"""異步裝飾器:paramfn:函數(shù):return:"""defwrapper(*args,**kwargs):th=Thread(target=fn,args=args,kwargs=kwargs)th.start()returnwrapper

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟三：構(gòu)建顯示圖像窗口image=widgets.Image(format='jpg',height=480,width=640)

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？步驟四：編寫opencv調(diào)用攝像頭函數(shù)@async_calldefsave_img():capture=cv2.VideoCapture(0)globalframewhileTrue:ret,frame=capture.read()ifnotret:time.sleep(2)continueimgbox=cv2.imencode('.jpg',frame)[1].tobytes()globalimageimage.value=imgbox基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟五：定義采集參數(shù)1、color_list要采集色塊的顏色種類2、單種顏色采集圖片數(shù)量3、take_img保存圖片開關(guān)color_list=["green","yellow","red","blue"]img_num=100take_img=None

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟六：定義功能函數(shù)@async_calldefcollect():globaltake_imgforcincolor_list:foriinrange(1,img_num+1):image_name='./image/'+c+'_'+str(i)+'.png'print("等待{0}保存".format(c+'_'+str(i)+'.png'))whileTrue:iftake_img:cv2.imwrite(image_name,frame)#保存圖片print("{0}保存成功".format(c+'_'+str(i)+'.png'))print("*"*30)take_img=Nonebreak

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟七：定義保存圖片開關(guān)defbutton():globaltake_imgtake_img=True

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？步驟八：定義保存圖片開關(guān)frame=Nonesave_img()display(image)collect()步驟九：保存圖像前先清空image文件夾#慎重執(zhí)行，否則會(huì)清空你采集好的圖像數(shù)據(jù)!rm-rf./image/*.png基于opencv的色塊圖像采集自動(dòng)化腳本編寫05步驟十：保存圖片選擇合適的圖片jupyter單元格選中在下面button按住ctrl+Enter即可保存要采集的圖片：

接下來(lái)我們要基于opencv進(jìn)行色塊圖像采集，那么我們要怎樣去實(shí)現(xiàn)他呢？button()職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一基于新大陸AI開發(fā)板實(shí)現(xiàn)離線ASR任務(wù)檢查與評(píng)價(jià)06序號(hào)評(píng)價(jià)內(nèi)容評(píng)價(jià)標(biāo)準(zhǔn)分值得分1知識(shí)運(yùn)用（20%）掌握相關(guān)理論知識(shí)，理解本次任務(wù)要求，制定詳細(xì)計(jì)劃，計(jì)劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識(shí)，能根據(jù)本次任務(wù)要求、制定合理計(jì)劃（15分）了解相關(guān)理論知識(shí)，有制定計(jì)劃（10分）無(wú)制定計(jì)劃（0分）2專業(yè)技能（40%）完成實(shí)驗(yàn)，了解YOLO，了解opencv，完成opencv圖像采集方法，完成基于opencv色塊采集自動(dòng)化實(shí)驗(yàn)。（40分）40分

完成實(shí)驗(yàn)，了解YOLO，了解opencv，完成opencv圖像采集方法。（25分）完成實(shí)驗(yàn)，了解YOLO，了解opencv。（15分）沒(méi)有完成完成opencv圖像采集方法的實(shí)驗(yàn)。（0分）3核心素養(yǎng)（20%）具有良好的自主學(xué)習(xí)能力、分析解決問(wèn)題的能力、整個(gè)任務(wù)過(guò)程中有指導(dǎo)他人（20分）20分

具有較好的學(xué)習(xí)能力和分析解決問(wèn)題的能力，任務(wù)過(guò)程中無(wú)指導(dǎo)他人（15分）能夠主動(dòng)學(xué)習(xí)并收集信息，有請(qǐng)教他人進(jìn)行解決問(wèn)題的能力（10分）不主動(dòng)學(xué)習(xí)（0分）4課堂紀(jì)律（20%）設(shè)備無(wú)損壞、設(shè)備擺放整齊、工位區(qū)域內(nèi)保持整潔、無(wú)干擾課堂秩序（20分）20分

設(shè)備無(wú)損壞、無(wú)干擾課堂秩序（15分）無(wú)干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請(qǐng)參照評(píng)價(jià)標(biāo)準(zhǔn)完成自評(píng)和對(duì)其他小組的互評(píng)。2、各組請(qǐng)代表分析本組任務(wù)實(shí)施經(jīng)驗(yàn)。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集任務(wù)小結(jié)07

在大家學(xué)習(xí)完本任務(wù)后，是否還有許多為解決的問(wèn)題？那么接下來(lái)我們來(lái)進(jìn)行任務(wù)小結(jié)，通過(guò)流程圖了解本章學(xué)習(xí)了什么，對(duì)相應(yīng)知識(shí)進(jìn)行鞏固復(fù)習(xí)，并對(duì)下一章的學(xué)習(xí)做好準(zhǔn)備。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一機(jī)械臂色塊分揀圖像采集任務(wù)拓展08在此任務(wù)中學(xué)習(xí)了opencv圖像采集自動(dòng)化的實(shí)驗(yàn)，那么大家通過(guò)本節(jié)的學(xué)習(xí)，大家能夠編寫相應(yīng)代碼嗎？請(qǐng)動(dòng)手試試吧！1復(fù)習(xí)opencv圖像采集原理;1.opencv圖像采集原理；解題

思路提示任務(wù)要求2復(fù)習(xí)opencv色塊圖像自動(dòng)采集實(shí)驗(yàn)。謝謝大家學(xué)習(xí)項(xiàng)目四機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練創(chuàng)靈實(shí)驗(yàn)平臺(tái)機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)二職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注掌握精靈標(biāo)注助手標(biāo)注工具使用，在Window10上安裝圖片標(biāo)注工具；學(xué)習(xí)并了解目標(biāo)檢測(cè)圖像標(biāo)注要求；掌握語(yǔ)音識(shí)別關(guān)鍵字匹配；掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換，使用圖片標(biāo)注工具進(jìn)行相應(yīng)分類圖片標(biāo)注，并能夠自行編寫Python腳本，自動(dòng)化處理標(biāo)注數(shù)據(jù)。掌握精靈標(biāo)注助手標(biāo)注工具使用掌握目標(biāo)檢測(cè)圖像標(biāo)注要求掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換職業(yè)能力目標(biāo)01實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)內(nèi)容職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注

此任務(wù)要求同學(xué)們掌握精靈標(biāo)注助手標(biāo)注工具使用，在Window10上安裝圖片標(biāo)注工具；學(xué)習(xí)并了解目標(biāo)檢測(cè)圖像標(biāo)注要求；掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換，使用圖片標(biāo)注工具進(jìn)行相應(yīng)分類圖片標(biāo)注，并能夠自行編寫Python腳本，自動(dòng)化處理標(biāo)注數(shù)據(jù)。任務(wù)描述任務(wù)要求掌握精靈標(biāo)注助手標(biāo)注工具使用，完成工具安裝；掌握目標(biāo)檢測(cè)圖像標(biāo)注要求，學(xué)習(xí)如何對(duì)圖像數(shù)據(jù)進(jìn)行類型標(biāo)注；標(biāo)注數(shù)據(jù)并完成數(shù)據(jù)轉(zhuǎn)換。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)分析思考一下，數(shù)據(jù)標(biāo)注在生活中還應(yīng)用于哪些方面？根據(jù)自己的了解，為什么要將標(biāo)注數(shù)據(jù)進(jìn)行轉(zhuǎn)換后再進(jìn)行模型訓(xùn)練？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱創(chuàng)靈實(shí)驗(yàn)平臺(tái)任務(wù)名稱機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請(qǐng)用6個(gè)計(jì)劃步驟來(lái)完整描述出如何完成本次任務(wù)序號(hào)任務(wù)計(jì)劃1

2

3

4

5

6

通過(guò)上面的思考，你是否對(duì)本任務(wù)要完成的工作有所了解？讓我們一起來(lái)制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注04知識(shí)儲(chǔ)備數(shù)據(jù)標(biāo)注2目標(biāo)檢測(cè)1標(biāo)注數(shù)據(jù)轉(zhuǎn)換3什么是目標(biāo)檢測(cè)？04

目標(biāo)檢測(cè)，也叫目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割。它將目標(biāo)的分割和識(shí)別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場(chǎng)景中，需要對(duì)多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí)，目標(biāo)自動(dòng)提取和識(shí)別就顯得特別重要。目標(biāo)檢測(cè)04目標(biāo)檢測(cè)常用的評(píng)價(jià)指標(biāo)有：交并比，準(zhǔn)確率，精度，召回率，F(xiàn)PR，F(xiàn)1-Score，PR曲線-AP值，ROC曲線-AUC值，mAP值。交并比：檢測(cè)結(jié)果的矩形框與樣本標(biāo)注的矩形框的交集與并集的比值。準(zhǔn)確率：最常見的評(píng)價(jià)指標(biāo)，就是被檢測(cè)正確的樣本數(shù)除以所有的樣本數(shù)。精度：真正的正樣本數(shù)除以預(yù)測(cè)為正樣本的樣本數(shù)。召回率：預(yù)測(cè)正確的正樣本數(shù)除以所有真正的正樣本數(shù)。FPR：指實(shí)際負(fù)例中，錯(cuò)誤的判斷為正例的比例。F1-Score：精確率和召回率的調(diào)和平均數(shù)，最大為1，最小為0。PR曲線-AP值：精度與召回率的曲線，以精度為縱坐標(biāo)，召回率為橫坐標(biāo)，AP值也稱為平均準(zhǔn)確率，是對(duì)不同召回率點(diǎn)上的準(zhǔn)確率進(jìn)行平均，在PR曲線圖上表現(xiàn)為PR曲線下面的面積。AP的值越大，則說(shuō)明模型的平均準(zhǔn)確率越高。ROC曲線-AUC值：以FPR為橫坐標(biāo)，以TPR(靈敏度)為縱坐標(biāo)。AUC是Areaundercurve的首字母縮寫，即ROC曲線下的面積，介于0和1之間。mAP值：即平均精度均值，指不同召回率下的精度的平均值。目標(biāo)檢測(cè)任務(wù)的六大難點(diǎn)與挑戰(zhàn)041.待檢測(cè)目標(biāo)尺寸很小，導(dǎo)致占比小，檢測(cè)難度大；2.關(guān)于小目標(biāo)檢測(cè)的問(wèn)題，可以參考：深度學(xué)習(xí)檢測(cè)小目標(biāo)常用方法；3.待檢測(cè)目標(biāo)尺度變化大，網(wǎng)絡(luò)難以提取出高效特征；4.待檢測(cè)目標(biāo)所在背景復(fù)雜，噪音干擾嚴(yán)重，檢測(cè)難度大；5.待檢測(cè)目標(biāo)與背景顏色對(duì)比度低，網(wǎng)絡(luò)難以提取出具有判別性的特征；6.各待檢測(cè)目標(biāo)之間數(shù)量極度不均衡，導(dǎo)致樣本不均衡；7.檢測(cè)算法的速度與精度難以取得良好平衡。04知識(shí)儲(chǔ)備213數(shù)據(jù)標(biāo)注標(biāo)注數(shù)據(jù)轉(zhuǎn)換目標(biāo)檢測(cè)04什么是數(shù)據(jù)標(biāo)注？

數(shù)據(jù)標(biāo)注是指給原始數(shù)據(jù)（如圖像、視頻、文本、音頻和3D等）添加標(biāo)簽的過(guò)程，帶有標(biāo)簽的數(shù)據(jù)被稱為訓(xùn)練數(shù)據(jù)，這些標(biāo)簽形成了數(shù)據(jù)屬于哪一類對(duì)象的表示，幫助機(jī)器學(xué)習(xí)模型在未來(lái)遇到從未見過(guò)的數(shù)據(jù)時(shí)，也能準(zhǔn)確識(shí)別數(shù)據(jù)中的內(nèi)容，訓(xùn)練數(shù)據(jù)可以有多種形式，包括圖像、語(yǔ)音、文本或特征，這取決于所使用的機(jī)器學(xué)習(xí)模型和手頭要解決的任務(wù)。它可以是有標(biāo)注的或無(wú)標(biāo)注的。當(dāng)訓(xùn)練數(shù)據(jù)被標(biāo)注時(shí)，相應(yīng)的標(biāo)簽被稱為GroundTruth。04數(shù)據(jù)標(biāo)注

圖像數(shù)據(jù)標(biāo)注包括2D包圍框標(biāo)注、多邊形標(biāo)注、語(yǔ)義分割標(biāo)注、關(guān)鍵點(diǎn)標(biāo)注、折線標(biāo)注、立體框標(biāo)注等。語(yǔ)音/音頻數(shù)據(jù)標(biāo)注是對(duì)來(lái)自人、動(dòng)物、環(huán)境、樂(lè)器等的音頻成分進(jìn)行分類和轉(zhuǎn)寫。文本標(biāo)注類型較為豐富，但不論哪種類型，它背后的主要意圖是讓機(jī)器學(xué)習(xí)算法能夠理解文本背后的語(yǔ)義含義。思考一下，如果數(shù)據(jù)集中存在錯(cuò)誤標(biāo)注會(huì)有什么影響？有什么解決方案？04知識(shí)儲(chǔ)備213目標(biāo)檢測(cè)數(shù)據(jù)標(biāo)注數(shù)據(jù)轉(zhuǎn)換什么是數(shù)據(jù)轉(zhuǎn)換？04

數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)從一種格式或結(jié)構(gòu)轉(zhuǎn)換為另一種格式或結(jié)構(gòu)的過(guò)程。數(shù)據(jù)轉(zhuǎn)換對(duì)于數(shù)據(jù)集成和數(shù)據(jù)管理等活動(dòng)至關(guān)重要。數(shù)據(jù)轉(zhuǎn)換可以包括一系列活動(dòng)：可以轉(zhuǎn)換數(shù)據(jù)類型，通過(guò)刪除空值或重復(fù)數(shù)據(jù)來(lái)清理數(shù)據(jù)，豐富數(shù)據(jù)或執(zhí)行聚合，具體取決于項(xiàng)目的需要。請(qǐng)根據(jù)自己的了解，解釋一下我們?yōu)槭裁匆M(jìn)行數(shù)據(jù)轉(zhuǎn)換？這不是會(huì)增加計(jì)算量嗎？為什么要進(jìn)行數(shù)據(jù)轉(zhuǎn)換？04

軟件的全面升級(jí)，肯定帶來(lái)數(shù)據(jù)庫(kù)的全面升級(jí)，每一個(gè)軟件對(duì)其后面的數(shù)據(jù)庫(kù)的構(gòu)架與數(shù)據(jù)的存諸形式都是不相同的，這樣就需要數(shù)據(jù)的轉(zhuǎn)換了。

主要是由于數(shù)據(jù)量的不斷增加，原來(lái)數(shù)據(jù)構(gòu)架的不合理，不能滿足各方面的要求。由數(shù)據(jù)庫(kù)的更換，數(shù)據(jù)結(jié)構(gòu)的更換，從而需要數(shù)據(jù)本身的轉(zhuǎn)換。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注圖片標(biāo)注205任務(wù)實(shí)施安裝圖片標(biāo)注工具1安裝圖片標(biāo)注工具步驟一：下載精靈標(biāo)注助手安裝包可到上下載對(duì)應(yīng)window10版本的安裝包，或使用實(shí)驗(yàn)提供的資源包里的安裝包進(jìn)行安裝安裝圖片標(biāo)注工具步驟一：下載精靈標(biāo)注助手安裝包可到上下載對(duì)應(yīng)window10版本的安裝包，或使用實(shí)驗(yàn)提供的資源包里的安裝包進(jìn)行安裝步驟二：安裝精靈標(biāo)注助手雙擊安裝包，選擇我接受，如下圖：步驟三：選擇安裝目錄點(diǎn)擊安裝，進(jìn)行軟件安裝，如下圖安裝圖片標(biāo)注工具步驟三：選擇安裝目錄點(diǎn)擊安裝，進(jìn)行軟件安裝，如下圖。安裝圖片標(biāo)注工具步驟四：打開安裝好的精靈標(biāo)注工具，如下圖。安裝圖片標(biāo)注工具注：可以正常打開安裝后的軟件，則表明安裝成功圖片標(biāo)注205任務(wù)實(shí)施安裝圖片標(biāo)注工具1步驟一：打開安裝好的精靈標(biāo)注工具，如下圖。圖片標(biāo)注步驟二：新建一個(gè)標(biāo)注項(xiàng)目（圖片數(shù)據(jù)在同級(jí)目錄下image.rar）圖片標(biāo)注步驟二：新建一個(gè)標(biāo)注項(xiàng)目（圖片數(shù)據(jù)在同級(jí)目錄下image.rar）圖片標(biāo)注步驟三：導(dǎo)入要標(biāo)注的圖片(注：導(dǎo)入的圖片路徑不能有中文)，分類值填寫【red,green,yellow,blue】(注：直接填寫單詞，中間使用英文逗號(hào)間隔，不需要附帶引號(hào))，點(diǎn)擊創(chuàng)建。圖片標(biāo)注步驟三：導(dǎo)入要標(biāo)注的圖片(注：導(dǎo)入的圖片路徑不能有中文)，分類值填寫【red,green,yellow,blue】(注：直接填寫單詞，中間使用英文逗號(hào)間隔，不需要附帶引號(hào))，點(diǎn)擊創(chuàng)建。步驟四：標(biāo)注框選擇后，標(biāo)注信息填寫選擇對(duì)應(yīng)的類別，然后按住ctrl+s完成標(biāo)注保存。圖片標(biāo)注步驟五：完成所有的數(shù)據(jù)標(biāo)注后點(diǎn)擊中間的菜單，導(dǎo)出標(biāo)注信息xml文件，如下圖：圖片標(biāo)注導(dǎo)出標(biāo)記信息步驟六：完成所有的數(shù)據(jù)標(biāo)注后點(diǎn)擊中間的菜單，導(dǎo)出標(biāo)注信息xml文件，如下圖：圖片標(biāo)注選擇確定導(dǎo)出步驟七：最后我們要完成我們的數(shù)據(jù)標(biāo)注并檢查，我們要得到我們對(duì)應(yīng)分類好的數(shù)據(jù)：

也就是我們?cè)O(shè)置的red、green、yellow、blue等顏色分類數(shù)據(jù)，便于我們?cè)谙乱徽率褂媚Ｐ陀?xùn)練工具。圖片標(biāo)注模型訓(xùn)練工具職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)檢查與評(píng)價(jià)06序號(hào)評(píng)價(jià)內(nèi)容評(píng)價(jià)標(biāo)準(zhǔn)分值得分1知識(shí)運(yùn)用（20%）掌握相關(guān)理論知識(shí)，理解本次任務(wù)要求，制定詳細(xì)計(jì)劃，計(jì)劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識(shí)，能根據(jù)本次任務(wù)要求、制定合理計(jì)劃（15分）了解相關(guān)理論知識(shí)，有制定計(jì)劃（10分）無(wú)制定計(jì)劃（0分）2專業(yè)技能（40%）安裝圖片標(biāo)注工具，完成圖片標(biāo)注，并將標(biāo)注結(jié)果導(dǎo)出。（40分）40分

安裝圖片標(biāo)注工具，完成圖片標(biāo)注。（25分）安裝圖片標(biāo)注工具。（15分）沒(méi)有完成機(jī)機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注實(shí)驗(yàn)。（0分）3核心素養(yǎng)（20%）具有良好的自主學(xué)習(xí)能力、分析解決問(wèn)題的能力、整個(gè)任務(wù)過(guò)程中有指導(dǎo)他人（20分）20分

具有較好的學(xué)習(xí)能力和分析解決問(wèn)題的能力，任務(wù)過(guò)程中無(wú)指導(dǎo)他人（15分）能夠主動(dòng)學(xué)習(xí)并收集信息，有請(qǐng)教他人進(jìn)行解決問(wèn)題的能力（10分）不主動(dòng)學(xué)習(xí)（0分）4課堂紀(jì)律（20%）設(shè)備無(wú)損壞、設(shè)備擺放整齊、工位區(qū)域內(nèi)保持整潔、無(wú)干擾課堂秩序（20分）20分

設(shè)備無(wú)損壞、無(wú)干擾課堂秩序（15分）無(wú)干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請(qǐng)參照評(píng)價(jià)標(biāo)準(zhǔn)完成自評(píng)和對(duì)其他小組的互評(píng)。2、各組請(qǐng)代表分析本組任務(wù)實(shí)施經(jīng)驗(yàn)。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)小結(jié)07

在大家學(xué)習(xí)完本任務(wù)后，是否還有許多為解決的問(wèn)題？那么接下來(lái)我們來(lái)進(jìn)行任務(wù)小結(jié)，通過(guò)流程圖了解本章學(xué)習(xí)了什么，對(duì)相應(yīng)知識(shí)進(jìn)行鞏固復(fù)習(xí)，并對(duì)下一章機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的學(xué)習(xí)做好準(zhǔn)備。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)拓展08按上述分類數(shù)據(jù)標(biāo)注的方法，將自己采集到的色塊圖片使用精靈標(biāo)注助手進(jìn)行分類標(biāo)注，并將標(biāo)注結(jié)果導(dǎo)出1了解目標(biāo)檢測(cè)圖像數(shù)據(jù)標(biāo)注要求;1.數(shù)據(jù)標(biāo)注工具使用步驟；解題

思路提示任務(wù)要求2復(fù)習(xí)標(biāo)注數(shù)據(jù)轉(zhuǎn)換。謝謝大家學(xué)習(xí)項(xiàng)目四機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練創(chuàng)靈實(shí)驗(yàn)平臺(tái)機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練任務(wù)三職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練了解YOLO的模型結(jié)構(gòu)，學(xué)習(xí)目標(biāo)檢測(cè)算法；學(xué)習(xí)并了解caffe框架下的色塊模型訓(xùn)練；下載安裝模型訓(xùn)練工具，了解并掌握模型訓(xùn)練工具的使用，完成數(shù)據(jù)集配置，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)標(biāo)注，模型訓(xùn)練等。了解YOLO的模型結(jié)構(gòu)掌握caffe框架下的色塊模型訓(xùn)練掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換掌握模型訓(xùn)練工具的使用職業(yè)能力目標(biāo)01實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)內(nèi)容職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

此任務(wù)要求同學(xué)們了解YOLO的模型結(jié)構(gòu)，學(xué)習(xí)目標(biāo)檢測(cè)算法；學(xué)習(xí)并了解caffe框架下的色塊模型訓(xùn)練；下載安裝模型訓(xùn)練工具，了解并掌握模型訓(xùn)練工具的使用，完成數(shù)據(jù)集配置，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)標(biāo)注，模型訓(xùn)練等。任務(wù)描述任務(wù)要求了解YOLO的模型結(jié)構(gòu)，對(duì)YOLO的架構(gòu)有個(gè)簡(jiǎn)要的了解；掌握caffe框架下的色塊模型訓(xùn)練，完成對(duì)應(yīng)實(shí)驗(yàn)；完成模型訓(xùn)練工具的模型轉(zhuǎn)換、模型訓(xùn)練等功能。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練任務(wù)分析思考一下，YOLO模型對(duì)比其他模型在目標(biāo)檢測(cè)上有什么優(yōu)點(diǎn)或者有什么不足之處？根據(jù)自己的所學(xué)知識(shí)，我們能否改進(jìn)YOLO模型，使得模型更加精確？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱創(chuàng)靈實(shí)驗(yàn)平臺(tái)任務(wù)名稱機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請(qǐng)用6個(gè)計(jì)劃步驟來(lái)完整描述出如何完成本次任務(wù)序號(hào)任務(wù)計(jì)劃1

2

3

4

5

6

通過(guò)上面的思考，你是否對(duì)本任務(wù)要完成的工作有所了解？讓我們一起來(lái)制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練04知識(shí)儲(chǔ)備YOLO模型2深度神經(jīng)網(wǎng)絡(luò)1模型量化3什么是深度神經(jīng)網(wǎng)絡(luò)？04

深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，以下簡(jiǎn)稱DNN）可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)，又被稱為深度前饋網(wǎng)絡(luò)（DFN），多層感知機(jī)。DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層。感知機(jī)04

輸出和輸入之間學(xué)習(xí)到一個(gè)線性關(guān)系，得到中間輸出結(jié)果：

感知機(jī)的模型，它是一個(gè)有若干輸入和一個(gè)輸出的模型，如下圖:感知機(jī)04

這個(gè)模型只能用于二元分類，且無(wú)法學(xué)習(xí)比較復(fù)雜的非線性模型，而神經(jīng)網(wǎng)絡(luò)則在感知機(jī)的模型上做了擴(kuò)展，主要有三點(diǎn)：加入了隱藏層；輸出層的神經(jīng)元可以有多個(gè)輸出；對(duì)激活函數(shù)做擴(kuò)展。接著是一個(gè)神經(jīng)元激活函數(shù)，從而得到想要的結(jié)果1或者-1。深度神經(jīng)網(wǎng)絡(luò)04一般來(lái)說(shuō)第一層是輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。輸出層也可以有多個(gè)輸出。04知識(shí)儲(chǔ)備213深度神經(jīng)網(wǎng)絡(luò)YOLO模型模型量化04什么是YOLO模型？

YOLO是目標(biāo)檢測(cè)模型。目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中比較簡(jiǎn)單的任務(wù)，用來(lái)在一張圖篇中找到某些特定的物體，目標(biāo)檢測(cè)不僅要求我們識(shí)別這些物體的種類，同時(shí)要求我們標(biāo)出這些物體的位置。目標(biāo)檢測(cè)算法在人們的日常生活中有著許多應(yīng)用實(shí)例，如自動(dòng)駕駛、行人檢測(cè)、農(nóng)作物檢測(cè)等。思考一下，目標(biāo)檢測(cè)除了可以使用YOLO模型外還有哪些算法模型可以使用？04什么是YOLO模型？

YOLO的網(wǎng)絡(luò)結(jié)構(gòu)參考GooLeNet模型，包含24個(gè)卷積層和2個(gè)全連接層，對(duì)于卷積層，主要使用1x1卷積來(lái)做channlereduction，緊跟3x3卷積。對(duì)于卷積層和全連接層，采用LeakyReLU激活函數(shù)：max(x,0.1x)max(x,0.1x)，最后一層采用線性激活函數(shù)。04YOLO模型結(jié)構(gòu)04YOLO模型結(jié)構(gòu)介紹04知識(shí)儲(chǔ)備213深度神經(jīng)網(wǎng)絡(luò)YOLO模型模型量化什么是模型量化04

模型量化即以較低的推理精度損失將連續(xù)取值（或者大量可能的離散取值）的浮點(diǎn)型模型權(quán)重或流經(jīng)模型的張量數(shù)據(jù)定點(diǎn)近似（通常為int8）為有限多個(gè)（或較少的）離散值的過(guò)程，它是以更少位數(shù)的數(shù)據(jù)類型用于近似表示32位有限范圍浮點(diǎn)型數(shù)據(jù)的過(guò)程，而模型的輸入輸出依然是浮點(diǎn)型，從而達(dá)到減少模型尺寸大小、減少模型內(nèi)存消耗及加快模型推理速度等目標(biāo)。。模型量化的優(yōu)點(diǎn)與缺點(diǎn)04優(yōu)點(diǎn)1.減小模型尺寸，如8位整型量化可減少75%的模型大小。2.減少存儲(chǔ)空間，在邊緣側(cè)存儲(chǔ)空間不足時(shí)更具有意義。3.易于在線升級(jí)，模型更小意味著更加容易傳輸。4.減少內(nèi)存耗用，更小的模型大小意味著不需要更多的內(nèi)存。5.加快推理速度，訪問(wèn)一次32位浮點(diǎn)型可以訪問(wèn)四次int8整型，整型運(yùn)算比浮點(diǎn)型運(yùn)算更快。6.減少設(shè)備功耗，內(nèi)存耗用少了推理速度快了自然減少了設(shè)備功耗。7.支持微處理器，有些微處理器屬于8位的，低功耗運(yùn)行浮點(diǎn)運(yùn)算速度慢，需要進(jìn)行8bit量化。缺點(diǎn)1.模型量化增加了操作復(fù)雜度，在量化時(shí)需要做一些特殊的處理，否則精度損失更嚴(yán)重。2.模型量化會(huì)損失一定的精度，雖然在微調(diào)后可以減少精度損失，但推理精度確實(shí)下降。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練05任務(wù)實(shí)施數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換下載模型訓(xùn)練工具1模型量化3234模型訓(xùn)練、模型評(píng)估任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練下載模型訓(xùn)練工具在本任務(wù)同級(jí)目錄下載“模型訓(xùn)練工具”。任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練模型工具說(shuō)明（此訓(xùn)練工具為舊版，僅適用于3559A的開發(fā)板）一、界面介紹。任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練二、主要功能介紹本工具僅限于caffe物體分類模型訓(xùn)練，步驟流程：數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換、模型訓(xùn)練、模型評(píng)估。1、數(shù)據(jù)集配置：選擇圖片數(shù)據(jù)、選擇標(biāo)注數(shù)據(jù)、生成文本路徑；2、數(shù)據(jù)轉(zhuǎn)換：設(shè)置類別名稱、選擇caffe工具包路徑，生成caffe數(shù)據(jù)庫(kù)；3、模型訓(xùn)練：選擇模型、設(shè)置訓(xùn)練類別數(shù)量、設(shè)置訓(xùn)練迭代次數(shù)，開始訓(xùn)練模型；4、模型評(píng)估：選擇要評(píng)估的模型、選擇deploy路徑、加載圖片、開始評(píng)估模型。任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練三、步驟詳解（詳細(xì)內(nèi)容請(qǐng)參考Jupyter中2.2模型訓(xùn)練工具中的第三點(diǎn)）1.準(zhǔn)備項(xiàng)目文件步驟一：下載并解壓【tool】，點(diǎn)擊【./ModelTool/caffetools.exe】，運(yùn)行模型訓(xùn)練工具。步驟二：在windows10任意盤新建一個(gè)項(xiàng)目文件夾，以英文形式命名，本操作文檔項(xiàng)目文件夾為ToolTest。步驟三：在模型訓(xùn)練工具中點(diǎn)擊瀏覽，選擇步驟2創(chuàng)建項(xiàng)目路徑，并在狀態(tài)提示區(qū)展示相應(yīng)提示。05任務(wù)實(shí)施數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換下載模型訓(xùn)練工具1模型量化3234模型訓(xùn)練、模型評(píng)估數(shù)據(jù)集配置步驟一：點(diǎn)擊數(shù)據(jù)集配置選項(xiàng)卡進(jìn)入數(shù)據(jù)集配置界面，如下圖所示。數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集配置步驟二：按界面信息，點(diǎn)擊瀏覽選擇標(biāo)注精靈生成的標(biāo)注數(shù)據(jù)，路徑選擇成功后會(huì)在項(xiàng)目路徑step1中生成XMLLabels文件夾。（配套數(shù)據(jù)源路徑：./train/data/outputs）數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集配置步驟二：按界面信息，點(diǎn)擊瀏覽選擇標(biāo)注精靈生成的標(biāo)注數(shù)據(jù)，路徑選擇成功后會(huì)在項(xiàng)目路徑step1中生成XMLLabels文件夾。（配套數(shù)據(jù)源路徑：./train/data/outputs）數(shù)據(jù)集配置步驟三：點(diǎn)擊瀏覽，選擇圖片數(shù)據(jù)路徑。選擇成功后會(huì)在項(xiàng)目路徑下step1中生成JPEGImages文件。（配套數(shù)據(jù)源路徑：./train/data/image）選擇數(shù)據(jù)圖片路徑數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集配置步驟三：點(diǎn)擊瀏覽，選擇圖片數(shù)據(jù)路徑。選擇成功后會(huì)在項(xiàng)目路徑下step1中生成JPEGImages文件。（配套數(shù)據(jù)源路徑：./train/data/image）數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集配置步驟四：點(diǎn)擊生成路徑文本。執(zhí)行成功后會(huì)在項(xiàng)目路徑下step1中生成trainval.txt，test.txt兩個(gè)文件。生成文本路徑數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集配置步驟四：點(diǎn)擊生成路徑文本。執(zhí)行成功后會(huì)在項(xiàng)目路徑下step1中生成trainval.txt，test.txt兩個(gè)文件。生成文本數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟一：點(diǎn)擊下一步或者點(diǎn)擊數(shù)據(jù)轉(zhuǎn)換選項(xiàng)卡進(jìn)入數(shù)據(jù)轉(zhuǎn)換界面。界面如下所示：數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟二：設(shè)置類別名稱，以半角逗號(hào)隔開。如下圖所示：數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟三：點(diǎn)擊瀏覽，選擇caffe工具包路徑。（配套工具包路徑：./caffe）數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟四：點(diǎn)擊生成腳本，應(yīng)用會(huì)在項(xiàng)目路徑下step2中生成creat_lmdb.bat文件、totxt文件。如下圖所示：生成腳本數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟四：點(diǎn)擊生成腳本，應(yīng)用會(huì)在項(xiàng)目路徑下step2中生成creat_lmdb.bat文件、totxt文件。如下圖所示：生成腳本路徑數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟五：點(diǎn)擊運(yùn)行腳本按鈕，應(yīng)用會(huì)自動(dòng)運(yùn)行creat_lmdb.bat腳本，系統(tǒng)彈出命令窗口執(zhí)行腳本。如下圖所示。執(zhí)行成功后會(huì)在項(xiàng)目路徑下step2中生成test_lmdb、trainval_lmdb文件。運(yùn)行腳本數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟五：點(diǎn)擊運(yùn)行腳本按鈕，應(yīng)用會(huì)自動(dòng)運(yùn)行creat_lmdb.bat腳本，系統(tǒng)彈出命令窗口執(zhí)行腳本。如下圖所示。執(zhí)行成功后會(huì)在項(xiàng)目路徑下step2中生成test_lmdb、trainval_lmdb文件。數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換05任務(wù)實(shí)施數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換下載模型訓(xùn)練工具1模型量化3234模型訓(xùn)練、模型評(píng)估模型訓(xùn)練、模型評(píng)估模型訓(xùn)練步驟一：點(diǎn)擊下一步或者模型訓(xùn)練選項(xiàng)卡，進(jìn)入模型訓(xùn)練界面。如下圖所示：模型訓(xùn)練步驟二：輸入訓(xùn)練類別數(shù)，本次案例訓(xùn)練類別數(shù)為4類（blue,green,yellow,reed），輸入4即可。模型訓(xùn)練、模型評(píng)估模型訓(xùn)練步驟三：設(shè)置訓(xùn)練次數(shù)，為了方便演示，本次訓(xùn)練次數(shù)設(shè)置成10次,訓(xùn)練方式可根據(jù)機(jī)器配置選擇GPU或CPU進(jìn)行訓(xùn)練。如下圖所示：模型訓(xùn)練、模型評(píng)估模型訓(xùn)練步驟四：點(diǎn)擊保存參數(shù)，系統(tǒng)會(huì)在step3中生成如下圖中的文件：模型訓(xùn)練、模型評(píng)估模型訓(xùn)練步驟四：點(diǎn)擊保存參數(shù)，系統(tǒng)會(huì)在step3中生成如下圖中的文件：

模型訓(xùn)練、模型評(píng)估模型訓(xùn)練步驟五：點(diǎn)擊開始訓(xùn)練模型，系統(tǒng)會(huì)彈出命令行窗口開始訓(xùn)練模型。訓(xùn)練成功后，會(huì)在step3中生成模型文件、日志文件。

模型訓(xùn)練、模型評(píng)估模型訓(xùn)練步驟五：點(diǎn)擊開始訓(xùn)練模型，系統(tǒng)會(huì)彈出命令行窗口開始訓(xùn)練模型。訓(xùn)練成功后，會(huì)在step3中生成模型文件、日志文件。

模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟一：關(guān)閉訓(xùn)練窗口，點(diǎn)擊下一步或者模型評(píng)估選項(xiàng)卡進(jìn)入模型評(píng)估界面。模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟二：點(diǎn)擊選擇模型按鈕，選擇模型。選擇本次訓(xùn)練生成的模型，模型評(píng)估選擇已訓(xùn)練好的模型，如下圖。選擇模型模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟二：點(diǎn)擊選擇模型按鈕，選擇模型。選擇本次訓(xùn)練生成的模型，模型評(píng)估選擇已訓(xùn)練好的模型，如下圖。模型評(píng)估選擇已訓(xùn)練好的模型模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟三：點(diǎn)擊deploy路徑按鈕，選擇deploy路徑。如下圖所示：模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟三：點(diǎn)擊deploy路徑按鈕，選擇deploy路徑。如下圖所示：模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟四：點(diǎn)擊加載圖片，選擇需要識(shí)別的圖片，如下圖。模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟五：點(diǎn)擊驗(yàn)證模型按鈕，開始模型驗(yàn)證，當(dāng)精度超過(guò)50%識(shí)別結(jié)果會(huì)保存至step4中。模型訓(xùn)練、模型評(píng)估模型評(píng)估步驟五：點(diǎn)擊驗(yàn)證模型按鈕，開始模型驗(yàn)證，當(dāng)精度超過(guò)50%識(shí)別結(jié)果會(huì)保存至step4中。注意：若提示識(shí)別準(zhǔn)確率低于50%，請(qǐng)優(yōu)化模型精度，可自行增加訓(xùn)練數(shù)據(jù)進(jìn)行迭代訓(xùn)練，提高模型識(shí)別精度。模型訓(xùn)練、模型評(píng)估任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練動(dòng)手實(shí)驗(yàn)將下載的tool.rar工具包中的自帶的色塊圖片、標(biāo)注數(shù)據(jù)，使用模型訓(xùn)練工具進(jìn)行如下操作：1.數(shù)據(jù)集配置2.數(shù)據(jù)轉(zhuǎn)換，生成模型訓(xùn)練參數(shù)與網(wǎng)絡(luò)結(jié)構(gòu)3.填寫模型訓(xùn)練參數(shù)，進(jìn)行模型訓(xùn)練4.使用工具包對(duì)訓(xùn)練的模型進(jìn)行模型評(píng)估，判斷模型的精度05任務(wù)實(shí)施數(shù)據(jù)集配置、數(shù)據(jù)轉(zhuǎn)換下載模型訓(xùn)練工具1模型量化3234模型訓(xùn)練、模型評(píng)估模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟一：在Window10系統(tǒng)上安裝【RKNNToolkit】工具1.在Window10上安裝Python3.6.5在本任務(wù)同級(jí)目錄下載Window10Python安裝包模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟一：在Window10系統(tǒng)上安裝【RKNNToolkit】工具1.在Window10上安裝Python3.6.5雙擊安裝包，將Python添加到環(huán)境變量中，然后點(diǎn)擊安裝。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟一：在Window10系統(tǒng)上安裝【RKNNToolkit】工具1.在Window10上安裝Python3.6.5安裝完成后打開cmd輸入python，出現(xiàn)如下結(jié)果，則Python安裝成功。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具1）.下載本任務(wù)同級(jí)目錄下的【packages.zip】安裝包，并進(jìn)行解壓模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具2）.用Python在解壓后的packages目錄下創(chuàng)建虛擬環(huán)境，【python-mvenvenv】在packages目錄下創(chuàng)建虛擬環(huán)境模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具3）.進(jìn)入虛擬環(huán)境，安裝RKNToolkit。啟動(dòng)虛擬環(huán)境。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具3）.進(jìn)入虛擬環(huán)境，安裝RKNToolkit。啟動(dòng)虛擬環(huán)境。

注意：若啟動(dòng)虛擬環(huán)境時(shí)，提示【無(wú)法加載文件.....因?yàn)樵诖讼到y(tǒng)上禁止運(yùn)行腳本】的報(bào)錯(cuò)提示。解決方法如下：Windows+x打開面板，選擇以管理員身份運(yùn)行PowerShell，輸入：set-executionpolicyremotesigned，接下來(lái)輸入“y”表示執(zhí)行。注意：若正常進(jìn)入虛擬環(huán)境，則跳過(guò)上述步驟。更新pip工具：【python-mpipinstall--upgradepip】模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具4）.安裝RKNToolkit，執(zhí)行命令：【pipinstall--no-index--find-links=./pip_packages-r

requirements.txt】模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具5）.啟動(dòng)RKNNToolkit，執(zhí)行命令【python-mrknn.bin.visualization】。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化2.安裝RKNNToolkit工具5）.啟動(dòng)RKNNToolkit，執(zhí)行命令【python-mrknn.bin.visualization】。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化1）.下載模型訓(xùn)練數(shù)據(jù)集模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化2）.解壓train.rar文件使用上面模型訓(xùn)練下載的數(shù)據(jù)集，在數(shù)據(jù)集目錄下打開powershell，執(zhí)行pythoncreate_test.py腳本，生成模型量化需要用到的測(cè)試數(shù)據(jù)集。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化3）.打開RKNNToolkit工具，如下圖模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化4）.選擇caffe模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化5）.填上對(duì)應(yīng)的值，如下圖。填寫完成后下滑滾輪，點(diǎn)擊下一步。根據(jù)圖表填上對(duì)應(yīng)的值，詳情可以參考Jupyter模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化5）.填上對(duì)應(yīng)的值，如下圖。填寫完成后下滑滾輪，點(diǎn)擊下一步。選擇訓(xùn)練生成的caffe模型模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化6）.填完值后點(diǎn)下一步，進(jìn)行模型量化。模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化7）.量化完成后點(diǎn)擊下一步，進(jìn)行模型轉(zhuǎn)換模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化8）.轉(zhuǎn)化完成后在設(shè)置的目錄下可以看到生成的rknn模型模型量化使用RKNNToolkit工具對(duì)模型進(jìn)行量化步驟二:使用RKNNToolkit進(jìn)行模型量化與轉(zhuǎn)換1.模型量化8）.轉(zhuǎn)化完成后在設(shè)置的目錄下可以看到生成的rknn模型文件夾中生成對(duì)應(yīng)的test.rknn模型職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)三機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練任務(wù)檢查與評(píng)價(jià)06序號(hào)評(píng)價(jià)內(nèi)容評(píng)價(jià)標(biāo)準(zhǔn)分值得分1知識(shí)運(yùn)用（20%）掌握相關(guān)理論知識(shí)，理解本次任務(wù)要求，制定詳細(xì)計(jì)劃，計(jì)劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識(shí)，能根據(jù)本次任務(wù)要求、制定合理計(jì)劃（15分）了解相關(guān)理論知識(shí)，有制定計(jì)劃（10分）無(wú)制定計(jì)劃（0分）2專業(yè)技能（40%）下載模型訓(xùn)練工具，完成數(shù)據(jù)集配置和數(shù)據(jù)轉(zhuǎn)換，對(duì)模型進(jìn)行訓(xùn)練和評(píng)估，完成模型量化。（40分）40分

下載模型訓(xùn)練工具，完成數(shù)據(jù)集配置和數(shù)據(jù)轉(zhuǎn)換，對(duì)模型進(jìn)行訓(xùn)練和評(píng)估。（25分）下載模型訓(xùn)練工具，完成數(shù)據(jù)集配置和數(shù)據(jù)轉(zhuǎn)換。（15分）沒(méi)有完成機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練實(shí)驗(yàn)。（0分）3核心素養(yǎng)（20%）具有良好的自主學(xué)習(xí)能力、分析解決問(wèn)題的能力、整個(gè)任務(wù)過(guò)程中有指導(dǎo)他人（20分）20分

具