人工智能技術(shù)及應(yīng)用 課件 ch7-車道線檢測(cè)實(shí)踐

7車道線檢測(cè)實(shí)踐LANELINEINSPECTIONPRACTICEChapter07本章目錄數(shù)據(jù)采集與標(biāo)注01環(huán)境部署02模型訓(xùn)練03模型的量化04項(xiàng)目部署與落地05本章總體介紹車道線檢測(cè)是輔助駕駛中必不可少的一項(xiàng)，它的主要目標(biāo)是通過計(jì)算機(jī)視覺和圖像處理技術(shù)，從道路圖像中精確提取出車道線的位置和形狀信息。這些提取到的車道線信息可以用于車道保持、車道偏離預(yù)警、自動(dòng)駕駛路徑規(guī)劃等應(yīng)用。通過實(shí)現(xiàn)準(zhǔn)確的車道線檢測(cè)系統(tǒng)，可以提高駕駛安全性，減少交通事故的發(fā)生，并為駕駛員提供更好的駕駛體驗(yàn)?；谝曈X的車道線檢測(cè)方法可以分為：傳統(tǒng)圖像方法和深度學(xué)習(xí)方法兩類。其中傳統(tǒng)的圖像檢測(cè)方法可以通過邊緣檢測(cè)、濾波或是顏色空間的車道線檢測(cè)等方式得到車道線區(qū)域，再結(jié)合相關(guān)圖像檢測(cè)算法實(shí)現(xiàn)車道線檢測(cè)。但面對(duì)環(huán)境明顯變化的場(chǎng)景并不能很好的檢測(cè)，工作量大且魯棒性差。而深度學(xué)習(xí)的方法有較好的魯棒性，且準(zhǔn)確率更高。它大致有基于分類和目標(biāo)檢測(cè)的方法和基于端到端圖像分割的方法等相關(guān)車道線檢測(cè)方法。而本書的車道線檢測(cè)采用的是UNet的語義分割網(wǎng)絡(luò)。本章總體介紹車道線檢測(cè)算法的流程如下圖所示。主要思路是：通過素材采集獲取訓(xùn)練要用的原始數(shù)據(jù)，再經(jīng)過標(biāo)注與生成標(biāo)簽圖兩個(gè)步驟將原始數(shù)據(jù)轉(zhuǎn)化為可以被學(xué)習(xí)訓(xùn)練的素材，然后通過模型訓(xùn)練得到相應(yīng)模型，最后經(jīng)過模型量化、轉(zhuǎn)換和部署等步驟將模型優(yōu)化并轉(zhuǎn)化成可被嵌入式平臺(tái)運(yùn)行的程序。車道線項(xiàng)目流程圖7.1數(shù)據(jù)集采集與標(biāo)注素材的獲取一般有兩種途徑，一種是自己利用相關(guān)設(shè)備如行車記錄儀獲取，另一種是通過下載公開的數(shù)據(jù)集獲取。車道線檢測(cè)相關(guān)的數(shù)據(jù)集有TuSimple、CULane、CurveLanes、BDD100k等。素材標(biāo)注使用Labelme工具，本項(xiàng)目提供的例程的“數(shù)據(jù)集”文件夾內(nèi)已經(jīng)提供原圖與對(duì)應(yīng)標(biāo)注文件，車道線識(shí)別項(xiàng)目對(duì)于車道線的標(biāo)注有以下幾點(diǎn)要求：需要標(biāo)注的內(nèi)容為圖片中人眼可以識(shí)別的車道線，包括實(shí)線、虛線、白線和黃線。對(duì)于雙線的車道線，兩條分開標(biāo)注。對(duì)于虛線中間沒有車道線的部分進(jìn)行補(bǔ)足。對(duì)于沒有車道線的圖片，直接跳過，不做處理。7.1數(shù)據(jù)集采集與標(biāo)注下圖是按以上要求所給出的標(biāo)注示例。車道線項(xiàng)目流程圖相較于分類和目標(biāo)檢測(cè)，語義分割的素材多了一步從標(biāo)簽文件到分割圖的轉(zhuǎn)換。因?yàn)檎Z義分割是像素級(jí)別的推理，每個(gè)像素點(diǎn)都有其對(duì)應(yīng)的標(biāo)簽，因此在訓(xùn)練中，它的標(biāo)簽就是和它等大的一張分割圖。7.2環(huán)境部署深度學(xué)習(xí)的框架除了PyTorch外還有TensorFlow框架，本項(xiàng)目在TensorFlow框架下訓(xùn)練，所以在進(jìn)行本章之前需要進(jìn)行TensorFlow環(huán)境的搭建，其環(huán)境總體搭建步驟如下：（1）在Ubuntu系統(tǒng)（WSL2、虛擬機(jī)或多系統(tǒng)）下搭建TensorFlow環(huán)境的docker（2）在docker環(huán)境內(nèi)安裝本項(xiàng)目的相關(guān)庫當(dāng)然，若有需求也可以在創(chuàng)建一個(gè)docker容器后，在其內(nèi)部建立conda的虛擬環(huán)境，然后安裝本項(xiàng)目需要的TensorFlow環(huán)境與相關(guān)庫。7.2環(huán)境部署7.2.1docker環(huán)境部署針對(duì)不同的顯卡，需要搭建不同的環(huán)境。本項(xiàng)目以30系顯卡為例進(jìn)行環(huán)境搭建介紹，30系顯卡需要CUDA11.1，可以使用NVIDIA提供的docker鏡像—NVIDIA-TensorFlow。如果沒有安裝過NVIDIA-docker，首先要進(jìn)行NVIDIA-docker的安裝，它是使用上述鏡像的前提，如下是安裝步驟：$distribution=$(./etc/os-release;echo$ID$VERSION_ID)$curl-s-Lhttps://nvidia.github.io/nvidia-docker/gpgkey|sudoapt-keyadd-$curl-s-Lhttps://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list|sudotee/etc/apt/sources.list.d/nvidia-docker.list$sudoapt-getupdate$sudoapt-getinstall-ynvidia-docker27.2環(huán)境部署7.2.1docker環(huán)境部署接著進(jìn)行NVIDIA-TensorFlow的docker環(huán)境部署#拉取鏡像nvidia-dockerpullnvcr.io/nvidia/tensorflow:20.10-tf1-py3#創(chuàng)建容器nvidia-dockerrun-d-it-p10022:22-p10500:5000-v/home:/home--namenvidia_tensorflownvcr.io/nvidia/tensorflow:20.10-tf1-py3#-p代表了端口的映射-p宿主機(jī)端口:容器端口這里預(yù)留了22可以用于ssh登錄5000后面會(huì)用到#進(jìn)入容器nvidia-dockerexec-itnvidia_tensorflow/bin/bash安裝TensorFlowwheel的索引pipinstallnvidia-index用官方提供的命令安裝依賴的包pipinstallnvidia-tensorflow[horovod]7.2環(huán)境部署7.2.1docker環(huán)境部署下載完成后進(jìn)入對(duì)應(yīng)的目錄，因?yàn)檫@些依賴包安裝存在一定順序，所以按以下順序執(zhí)行指令。若覺得一條一條執(zhí)行繁瑣，可以建一個(gè)后綴名為.sh的shell腳本文件，將下列指令復(fù)制進(jìn)文件后執(zhí)行sh文件名.sh指令提高效率。pipinstallgoogle_pasta-0.2.0-py3-none-any.whlpipinstallnvidia_cublas-4-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cuda_cupti-11.1.69-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cuda_nvcc-11.1.74-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cuda_cupti-11.1.69-cp36-cp36m-linux_x86_64.whlnvidia_cuda_nvcc-11.1.74-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cuda_nvrtc-11.1.74-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cuda_runtime-11.1.74-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cudnn-8.0.70-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cufft-4-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_curand-4-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cusolver-4-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_cusparse-75-cp36-cp36m-linux_x86_64.whl7.2環(huán)境部署7.2.1docker環(huán)境部署pipinstallnvidia_dali_cuda110-0.26.0-1608709-py3-none-manylinux2014_x86_64.whlpipinstallnvidia_dali_nvtf_plugin-0.26.0+nv20.10-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_nccl-2.7.8-cp36-cp36m-linux_x86_64.whlpipinstallnvidia_tensorboard-1.15.0+nv20.10-py3-none-any.whlpipinstallnvidia_tensorrt--cp36-none-linux_x86_64.whlpipinstallnvidia_tensorflow-1.15.4+nv20.10-cp36-cp36m-linux_x86_64.whlpipinstalltensorflow_estimator-1.15.1-py2.py3-none-any.whlpipinstallnvidia_horovod-0.20.0+nv20.10-cp36-cp36m-linux_x86_64.whl此外本項(xiàng)目還需要用到以下幾個(gè)Python包，讀者可以使用以下命令安裝或者直接使用項(xiàng)目中的requirements.txt導(dǎo)入。pipinstallscipy==1.1.0-i/simplepipinstallscikit-learn-i/simplepipinstalltqdm-i/simple7.2環(huán)境部署7.2.2安裝TensorFlowObjectDetectionAPITensorFlowObjectDetectionAPI是一個(gè)基于TensorFlow構(gòu)建的開源框架，用于目標(biāo)檢測(cè)任務(wù)。它提供了豐富的目標(biāo)檢測(cè)模型，其中包括了一些經(jīng)典的模型架構(gòu)，如FasterR-CNN、SSD、Mask-RCNN等，具體可見TensorFlow的GitHub的model倉庫。7.3模型訓(xùn)練項(xiàng)目文件夾為project，項(xiàng)目目錄如圖?！安渴鸫a”文件夾包含的是模型部署的代碼，“權(quán)重轉(zhuǎn)換與量化”包含的是模型量化轉(zhuǎn)換的相關(guān)代碼，本節(jié)介紹“訓(xùn)練代碼”和“數(shù)據(jù)集”文件夾部分，實(shí)現(xiàn)數(shù)據(jù)集制作與模型訓(xùn)練與保存。標(biāo)簽轉(zhuǎn)換程序、數(shù)據(jù)集制作程序和模型及訓(xùn)練程序這三部分對(duì)應(yīng)在“訓(xùn)練代碼”文件夾下，分別對(duì)應(yīng)的是ldw_draw.py、make_dataset.py和剩下其他程序，目錄結(jié)構(gòu)如圖所示。models內(nèi)存有模型程序，builders內(nèi)存有模型接口程序，utils是相關(guān)的輔助函數(shù)集合，train.py是模型訓(xùn)練程序，ckpt2pb.py是將訓(xùn)練完成后的ckpt文件轉(zhuǎn)換為pb文件的程序，eval.py是評(píng)估程序用訓(xùn)練過程中保存的pb文件進(jìn)行推理。項(xiàng)目目錄結(jié)構(gòu)traincode目錄結(jié)構(gòu)7.3模型訓(xùn)練7.3.1模型設(shè)計(jì)思想本項(xiàng)目使用UNet的語義分割網(wǎng)絡(luò)，從圖中可以看到，其形狀類似字母“U”所以被稱為UNet。參考論文《U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation》，起初UNet被用于醫(yī)學(xué)領(lǐng)域，而后UNet憑借著突出的效果被廣泛應(yīng)用。UNet本質(zhì)上是一個(gè)編碼器和解碼器的結(jié)構(gòu)，左邊是特征提取，右邊是采樣恢復(fù)原始分辨率，中間采用跳層鏈接的方式將位置信息和語義信息融合。UNet網(wǎng)絡(luò)結(jié)構(gòu)7.3模型訓(xùn)練7.3.2標(biāo)簽轉(zhuǎn)換7.1節(jié)中標(biāo)注完的素材僅僅是多了一個(gè)標(biāo)簽文件，保存了所標(biāo)注的那些多邊形的類別和位置。而實(shí)際在訓(xùn)練中用到的是像素級(jí)別的標(biāo)簽，也就是對(duì)于原圖上每個(gè)像素點(diǎn)，都會(huì)有一個(gè)對(duì)應(yīng)了類別的標(biāo)簽，這個(gè)時(shí)候就需要利用標(biāo)注文件來生成分割用的標(biāo)簽圖。本項(xiàng)目提供的標(biāo)簽轉(zhuǎn)換程序?yàn)閘dw_draw.py。詳見代碼清單7-1。將對(duì)應(yīng)腳本—ldw_draw.sh中的Path參數(shù)配置成讀者自己電腦上的標(biāo)注圖片的所在目錄，執(zhí)行腳本，結(jié)果如下。image中存放原始圖片；json中存放標(biāo)注文件；roadmap中存放分割標(biāo)簽圖片，轉(zhuǎn)換后的目錄結(jié)構(gòu)和圖片經(jīng)過轉(zhuǎn)換后的結(jié)果如圖所示。轉(zhuǎn)換后的目錄結(jié)構(gòu)轉(zhuǎn)換前后對(duì)比，原圖（左），轉(zhuǎn)換后圖（右）7.3模型訓(xùn)練7.3.3數(shù)據(jù)集制作在project下的“數(shù)據(jù)集”目錄中放置數(shù)據(jù)集，在“數(shù)據(jù)集”下再建一層子目錄，用于數(shù)據(jù)集分類。這里就以type1、type2為例，將轉(zhuǎn)化完成后的素材文件夾放入子文件夾中。對(duì)于本項(xiàng)目提供的例程，需要將“數(shù)據(jù)集”文件夾內(nèi)data文件夾放入“訓(xùn)練代碼”文件夾內(nèi)make_dataset.py所在目錄下，或者讀者可以修改make_dataset.py的相關(guān)路徑。詳見代碼清單7-2。將腳本—make_datase.sh中的dataset參數(shù)配置成data下的子目錄，樣例數(shù)據(jù)集中有兩個(gè)子目錄type1、type2，存有上一小節(jié)所轉(zhuǎn)換的相關(guān)素材。input_height和input_width根據(jù)實(shí)際情況配置，所演示的項(xiàng)目中是256*128。修改make_datase.sh中的type1、type2后分別執(zhí)行。完成后其目錄結(jié)構(gòu)如圖所示，新增兩個(gè)文件夾。數(shù)據(jù)集制作后的目錄結(jié)構(gòu)7.3模型訓(xùn)練7.3.3數(shù)據(jù)集制作新增文件夾的目錄結(jié)構(gòu)如圖所示，test：測(cè)試集圖片；test_label：測(cè)試機(jī)標(biāo)簽；train：訓(xùn)練集圖片；train_label：訓(xùn)練集標(biāo)簽；val：驗(yàn)證集圖片；val_label：驗(yàn)證集標(biāo)簽。同時(shí)，處理完的素材文件夾會(huì)被移動(dòng)到data/done下面，以便于未來多次制作數(shù)據(jù)集時(shí)不會(huì)重復(fù)操作。新增文件夾的目錄結(jié)構(gòu)7.3模型訓(xùn)練7.3.4網(wǎng)絡(luò)搭建在“訓(xùn)練代碼”文件夾下models目錄中放置需要搭建的模型文件，這里就以上面提到的UNet為例。本項(xiàng)目提供的例程在models下有一個(gè)UNet.py程序。詳見代碼清單7-3。在traincode下builders目錄，本項(xiàng)目提供一個(gè)model_builder.py程序作為創(chuàng)建模型總的接口，用于不同類型模型的選擇和搭建。importsys,osimporttensorflowastfimportsubprocess#存放模型的目錄sys.path.append("models")#載入模型的搭建函數(shù)frommodels.UNetimportbuild_unet#自定義模型名稱SUPPORTED_MODELS=["UNet"]#統(tǒng)一的模型搭建接口defbuild_model(model_name,net_input,num_classes,is_training=False):print("Preparingthemodel...") ifmodel_namenotinSUPPORTED_MODELS: raiseValueError("Themodelyouselectedisnotsupported.Thefollowingmodelsarecurrentlysupported:{0}".format(SUPPORTED_MODELS)) network=None #根據(jù)模型名稱調(diào)用對(duì)應(yīng)的模型搭建函數(shù)

ifmodel_name=="UNet": network=build_unet(net_input,num_classes,is_training=is_training) else: raiseValueError("Error:themodel%disnotavailable.Trycheckingwhichmodelsareavailableusingthecommandpythonmain.py--help") returnnetwork7.3模型訓(xùn)練7.3.5模型訓(xùn)練訓(xùn)練的代碼由相關(guān)數(shù)據(jù)的讀取、訓(xùn)練參數(shù)設(shè)置、數(shù)據(jù)增強(qiáng)、訓(xùn)練信息顯示及保存、繼續(xù)訓(xùn)練等相關(guān)部分構(gòu)成。在訓(xùn)練開始前，需要對(duì)訓(xùn)練進(jìn)行一些相關(guān)參數(shù)的設(shè)置，其中一些參數(shù)的設(shè)置將會(huì)影響訓(xùn)練模型的效果。相關(guān)參數(shù)有：num_epochs：總訓(xùn)練輪數(shù)；epoch_start_i：開始輪數(shù)，配合繼續(xù)訓(xùn)練使用，程序會(huì)自動(dòng)加載epoch_start_i-1的權(quán)重；validation_step：間隔多少輪驗(yàn)證一次模型；continue_training：是否繼續(xù)訓(xùn)練；dataset：數(shù)據(jù)集，可配置列表；imgprocess：載入圖片操作，裁剪或者縮放；input_height：網(wǎng)絡(luò)輸入的高；input_width：網(wǎng)絡(luò)輸入的寬；batch_size：每個(gè)批次圖片數(shù)量；num_val_images：每次驗(yàn)證取多少張驗(yàn)證集中的圖片；h_flip：數(shù)據(jù)增強(qiáng)是否進(jìn)行水平翻轉(zhuǎn)；v_flip：數(shù)據(jù)增強(qiáng)是否進(jìn)行垂直翻轉(zhuǎn)；brightness：數(shù)據(jù)增強(qiáng)是否隨機(jī)亮度；color：數(shù)據(jù)增強(qiáng)是否隨機(jī)添加顏色；rotation：數(shù)據(jù)增強(qiáng)隨機(jī)旋轉(zhuǎn)角度；model：訓(xùn)練的模型；savedir：保存的路徑；7.3模型訓(xùn)練7.3.5模型訓(xùn)練數(shù)據(jù)增強(qiáng)是一種在深度學(xué)習(xí)中廣泛使用的技術(shù)，用于擴(kuò)充訓(xùn)練數(shù)據(jù)集，以提高模型的泛化能力和魯棒性。數(shù)據(jù)增強(qiáng)通過對(duì)原始訓(xùn)練數(shù)據(jù)應(yīng)用一系列隨機(jī)變換或變形操作，生成額外的訓(xùn)練樣本，從而增加數(shù)據(jù)的多樣性。數(shù)據(jù)增強(qiáng)部分，程序根據(jù)讀者傳入的訓(xùn)練參數(shù)，再載入每個(gè)批次的圖片時(shí)會(huì)對(duì)圖片進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)的操作。詳見代碼清單7-4。損失函數(shù)，也稱為目標(biāo)函數(shù)或代價(jià)函數(shù)，是深度學(xué)習(xí)模型中的一個(gè)關(guān)鍵組成部分。損失函數(shù)用于度量模型的預(yù)測(cè)輸出與真實(shí)標(biāo)簽之間的差異或錯(cuò)誤程度，通過最小化該差異來優(yōu)化模型的參數(shù)。本項(xiàng)目損失函數(shù)部分采用的是focal_loss，其主要側(cè)重于根據(jù)樣本的難易程度給樣本對(duì)應(yīng)的損失增加權(quán)重。deffocal_loss(prediction_tensor,target_tensor,weights=None,alpha=0.25,gamma=2):

sigmoid_p=tf.nn.sigmoid(prediction_tensor)#創(chuàng)建一個(gè)將所有元素設(shè)置為0的張量

zeros=array_ops.zeros_like(sigmoid_p,dtype=sigmoid_p.dtype)#正樣本損失（車道線）

pos_p_sub=array_ops.where(target_tensor>zeros,target_tensor-sigmoid_p,zeros)#負(fù)樣本損失（背景）

neg_p_sub=array_ops.where(target_tensor>zeros,zeros,sigmoid_p)#-ylog(p^)-(1-y)log(1-p^)

per_entry_cross_ent=-alpha*(pos_p_sub**gamma)*tf.log(tf.clip_by_value(sigmoid_p,1e-8,1.0))-(1-alpha)*(neg_p_sub**gamma)*tf.log(tf.clip_by_value(1.0-sigmoid_p,1e-8,1.0))returntf.reduce_mean(per_entry_cross_ent)7.3模型訓(xùn)練7.3.5模型訓(xùn)練載入每個(gè)批次的圖片，語義分割的標(biāo)簽是一張圖，所以在送入網(wǎng)絡(luò)之前要對(duì)rgb對(duì)應(yīng)的標(biāo)簽做一次轉(zhuǎn)化，再進(jìn)行獨(dú)熱編碼（one-hot）。defone_hot_it(label,label_values):semantic_map=[]#label_values從csv文件中載入forcolourinlabel_values:equality=np.equal(label,colour)class_map=np.all(equality,axis=-1)semantic_map.append(class_map)semantic_map=np.stack(semantic_map,axis=-1)returnsemantic_map評(píng)估指標(biāo)部分，打印了整體分?jǐn)?shù)、各類別分?jǐn)?shù)、F1、IOU。defevaluate_segmentation(pred,label,num_classes,score_averaging="weighted"):flat_pred=pred.flatten()flat_label=label.flatten()#計(jì)算全局的分?jǐn)?shù)

global_accuracy=compute_global_accuracy(flat_pred,flat_label)#計(jì)算每個(gè)類別的分?jǐn)?shù)

class_accuracies=compute_class_accuracies(flat_pred,flat_label,num_classes)#計(jì)算精確率

prec=precision_score(flat_pred,flat_label,average=score_averaging)#計(jì)算召回率

rec=recall_score(flat_pred,flat_label,average=score_averaging)#計(jì)算F1f1=f1_score(flat_pred,flat_label,average=score_averaging)#計(jì)算IOUiou=compute_mean_iou(flat_pred,flat_label)returnglobal_accuracy,class_accuracies,prec,rec,f1,iou7.3模型訓(xùn)練7.3.5模型訓(xùn)練執(zhí)行文件夾內(nèi)的train.sh腳本后進(jìn)行訓(xùn)練，其訓(xùn)練部分過程如圖所示。訓(xùn)練過程7.3模型訓(xùn)練7.3.5模型訓(xùn)練訓(xùn)練結(jié)束后將多出一個(gè)checkpoints文件夾，如圖所示。訓(xùn)練后文件夾結(jié)構(gòu)checkpoints文件夾中包含了訓(xùn)練過程中的一些保存信息，如圖所示。訓(xùn)練信息保存文件夾結(jié)構(gòu)其中每個(gè)文件夾內(nèi)保存了對(duì)應(yīng)epoch的訓(xùn)練信息，訓(xùn)練是以ckpt的形式保存模型的，包含三個(gè)文件：（1）.mate文件保存了當(dāng)前圖結(jié)構(gòu)（2）.data文件保存了當(dāng)前參數(shù)名和值（3）.index文件保存了輔助索引信息7.3模型訓(xùn)練7.3.5模型訓(xùn)練這里需要把ckpt固化成pb模型文件，真正部署的時(shí)候，一般不會(huì)提供ckpt的模型，而是固化成pb模型。程序見ckpt2pb.py，如圖所示，其中frozen_graph.pb文件就是后續(xù)小節(jié)“模型轉(zhuǎn)換”所需要的模型保存文件。在評(píng)估階段會(huì)用到數(shù)據(jù)集中的test部分，由于目錄結(jié)構(gòu)類似，所以這一部分的代碼其實(shí)就是train中驗(yàn)證部分給單獨(dú)提取出來，用訓(xùn)練過程中保存的pb文件進(jìn)行推理，代碼詳見eval.py，運(yùn)行腳本后會(huì)從train目錄的checkpoint文件中找到model_checkpoint_path權(quán)重進(jìn)行評(píng)估。run_once參數(shù)的作用在于是否定時(shí)對(duì)權(quán)重進(jìn)行評(píng)估，eval操作是可以和train同時(shí)進(jìn)行的，因?yàn)閠rain會(huì)定期保存權(quán)重，對(duì)應(yīng)的checkpoint中model_checkpoint_path權(quán)重隨之變化，所以可以實(shí)時(shí)對(duì)權(quán)重進(jìn)行評(píng)估，如圖所示。保存節(jié)點(diǎn)文件夾結(jié)構(gòu)評(píng)估結(jié)果7.4模型的量化7.4.1RKNN量化上面的所有步驟完成后，其實(shí)如果項(xiàng)目是用在PC端的，那么這個(gè)權(quán)重已經(jīng)可以落地了，但是本章節(jié)的最終目標(biāo)是將它在AIBOX中運(yùn)行，所以，針對(duì)AIBOX的環(huán)境，需要對(duì)模型文件進(jìn)行量化。模型量化所需要用到的RKNN-toolkit的container環(huán)境詳見前面章節(jié)。本書提供的此部分代碼在“權(quán)重轉(zhuǎn)換與量化”文件夾下，結(jié)構(gòu)如圖所示。這部分的作用是將模型轉(zhuǎn)化成RV1808芯片可用的類型，從而實(shí)現(xiàn)后續(xù)的部署。其中l(wèi)dw.py是將pb文件轉(zhuǎn)換為RKNN文件的程序，resize_ldw.py是調(diào)整素材的程序，test.py用于生成后的RKNN模型的推理。ret.png是執(zhí)行推理后的結(jié)果，它表示所轉(zhuǎn)化的RKNN模型文件可以實(shí)現(xiàn)車道線的檢測(cè)，并能看出其檢測(cè)效果。RKNN模型轉(zhuǎn)換文件夾結(jié)構(gòu)7.4模型的量化7.4.1RKNN量化其中有一個(gè)注意點(diǎn)，就是圖片輸入的順序。車道線檢測(cè)的模型，用于輸入網(wǎng)絡(luò)訓(xùn)練的圖片其通道次序?yàn)锽GR，按照訓(xùn)練和部署需要統(tǒng)一的標(biāo)準(zhǔn)，部署在AIBOX上送入網(wǎng)絡(luò)推理的圖片通道次序也應(yīng)該是BGR。RKNN的量化過程中，程序會(huì)讀取一個(gè)列表中的圖像送入網(wǎng)絡(luò)量化，內(nèi)部讀取圖片的方式是按照RGB來的，和OpenCV是相反的。所以如果要用BGR的圖片進(jìn)行量化，在準(zhǔn)備數(shù)據(jù)集的時(shí)候，如果用OpenCV打開，就要做一步操作，就是BGR2RGB。雖然參數(shù)上是BGR到RGB的轉(zhuǎn)化，但本質(zhì)上是通道變更，當(dāng)OpenCV將圖片按照RGB的格式保存以后，其他默認(rèn)以RGB載入圖片的包將圖片加載后，實(shí)際得到的就是BGR。首先準(zhǔn)備好一批素材用于量化，素材需要盡可能覆蓋所有可能出現(xiàn)的場(chǎng)景，將它們的尺寸調(diào)整為網(wǎng)絡(luò)輸入的大小，并生成文件列表，程序見代碼清單7-5。然后運(yùn)行l(wèi)dw.py程序?qū)b模型轉(zhuǎn)換為RKNN模型，程序見代碼清單。7.4模型的量化7.4.1RKNN量化量化部分重點(diǎn)要講的是推理的部分，在PC上推理出正確的結(jié)果，那么在部署的時(shí)候只需要把對(duì)應(yīng)的Python代碼翻譯成C++即可。PC推理的代碼在test.py中，核心代碼片段如下。print('-->Runningmodel')outputs=rknn.inference(inputs=[img])print('done')

nout=len(outputs)foriinrange(np.array(outputs).shape[2]):l1=outputs[0][0][i][0]l2=outputs[0][0][i][1]ifl1>l2:#這里可以參考訓(xùn)練工程中的輸出節(jié)點(diǎn)來理解

#logit=tf.reshape(network,(-1,args.input_height*args.input_width,num_classes),name='logits')

#當(dāng)通道0的數(shù)值大時(shí)則該像素格推理為背景，填充0，黑色

#當(dāng)通道1的數(shù)值大時(shí)則該像素格推力為車道線，填充255，白色

img[i//img_w][i%img_w][0]=0

img[i//img_w][i%img_w][1]=0

img[i//img_w][i%img_w][2]=0else:

img[i//img_w][i%img_w][0]=255

img[i//img_w][i%img_w][1]=255

img[i//img_w][i%img_w][2]=255cv2.imwrite("ret.png",img)7.4模型的量化7.4.1RKNN量化結(jié)合代碼中注釋來解釋。推理后的輸出有4個(gè)維度，第一個(gè)維度是rk中輸出節(jié)點(diǎn)，當(dāng)前項(xiàng)目只有一個(gè)輸出，所以這一維度是1；第二個(gè)維度是圖片的張數(shù)，其實(shí)也就是batchsize，這里也是1，這兩個(gè)維度在本項(xiàng)目中沒有作用；第三個(gè)維度是在訓(xùn)練時(shí)將圖片的寬高兩個(gè)維度給轉(zhuǎn)化成了一維，還是可以按照h*w的排布來解析；第四個(gè)維度是通道，這里是對(duì)應(yīng)像素點(diǎn)上0通道的值和1通道的值，其實(shí)也就是對(duì)應(yīng)類別的分?jǐn)?shù)。在解析的過程中，只需要取分?jǐn)?shù)大的通道作為當(dāng)前像素格上的推理結(jié)果即可。下圖為推理過程及推理后的結(jié)果。推理過程推理結(jié)果原圖（左）推理后（右）7.4模型的量化7.4.2小結(jié)通過上述項(xiàng)目的量化過程可以看到，量化是整個(gè)過程中必不可少的一環(huán)，因?yàn)榱炕诩铀偻评淼耐瑫r(shí)，也是對(duì)硬件環(huán)境的一種適配。其實(shí)即便是落地在PC上的項(xiàng)目，原模型可以直接運(yùn)行的情況下，考慮到性能也會(huì)使用例如TensorRT等方式對(duì)模型進(jìn)行量化。在這個(gè)階段需要關(guān)心的只是送入網(wǎng)絡(luò)的圖片和網(wǎng)絡(luò)輸出的數(shù)據(jù)解析。為了讓模型在項(xiàng)目部署落地上有最佳的表現(xiàn)，訓(xùn)練、量化、落地這三個(gè)階段所有的素材、網(wǎng)絡(luò)輸入輸出都必須有統(tǒng)一標(biāo)準(zhǔn)。7.5項(xiàng)目部署與落地經(jīng)過上述幾個(gè)環(huán)節(jié)得到RKNN文件后，我們就能將模型移植進(jìn)RV1808芯片的嵌入式板子中了，這部分就是嵌入式開發(fā)的工作。通過AIBOX的攝像頭得到輸入圖像，經(jīng)過前面得到的模型實(shí)現(xiàn)車道線檢測(cè)，將其繪制輸出到顯示屏上。其邏輯和上一節(jié)的推理過程類似。此部分代碼例程在“部署代碼”文件夾下，其結(jié)構(gòu)如圖所示。其中build用于camke與make生成文件的存放，build_emv.cm