8上海港務(wù)工程公司海達(dá)QC小組

1、.PAGE ：.；提高港口監(jiān)控錄像分辨率新技術(shù)研發(fā)小組簡介課題稱號提高港口監(jiān)控錄像分辨率新技術(shù)研發(fā)課題類型創(chuàng)新型小組稱號港工海達(dá)QC小組注冊編號GGQC2021-008活動日期2021年2月2021年7月活動次數(shù)16次TQC教育人均46小時活動出勤率95序號姓名性別年齡文化程度職務(wù)組內(nèi)分工1談 星男54本科高級工程師總謀劃2孫 昕男50本科高級工程師分項謀劃3吳 超男31本科工程師數(shù)據(jù)分析4邱明佳男30本科工程師數(shù)據(jù)分析5宋鑫穎女28本科助理工程師完成QC成果報告6白 敏女35本科助理工程師對策實施、效果檢查7朱繼成男26大專技術(shù)員對策實施、效果檢查8戚琳燁女23大專技術(shù)員對策實施、效果檢查9

2、徐 君男25本科見習(xí)對策實施、效果檢查課題背景隨著上海國際航運(yùn)中心建立的啟動，上海國際港務(wù)集團(tuán)股份成為國際航運(yùn)中心的重要組成部分，根據(jù)公安技防的規(guī)定和國際薩拉斯協(xié)議的要求，思索把安保技防設(shè)備作為根底建立的重點(diǎn)之一。安保技防設(shè)備建立在港區(qū)內(nèi)主要偏重閉路電視視頻監(jiān)控系統(tǒng)，閉路電視視頻監(jiān)控系統(tǒng)主要實現(xiàn)兩大功能：管理人員可以根據(jù)需求對監(jiān)控范圍內(nèi)的碼頭、道路、堆場及出入口等重點(diǎn)區(qū)域的人員、車輛動態(tài)進(jìn)展實時監(jiān)視，進(jìn)展必要的控制以到達(dá)最明晰的監(jiān)視效果；經(jīng)過儲存設(shè)備對監(jiān)視到的圖像進(jìn)展保管，一旦需求的時候，可以對特定攝像機(jī)的特定時段的錄像內(nèi)容進(jìn)展回放，便于港區(qū)的平安管理。但是在監(jiān)控圖像的采集與處置過程中，由于各

3、種要素影響，會導(dǎo)致圖像分辨率的下降，其主要表現(xiàn)為模糊、噪聲和變形，達(dá)不到監(jiān)控的要求，影響系統(tǒng)功能。一、選題理由選題理由近幾年隨著閉路電視監(jiān)控系統(tǒng)在港區(qū)的運(yùn)用越來越廣泛，在消費(fèi)管理和平安防備起到不可替代的作用，但是由于軟硬件各方面要素的限制，視頻監(jiān)控錄像回放分辨率往往不能到達(dá)運(yùn)用要求。上海港于09年2月4號公布的企業(yè)規(guī)范，里面明確要求新建監(jiān)控系統(tǒng)的錄像回放質(zhì)量要大于等于300電視野，比原有的規(guī)范錄像資料270電視野提高了10%。我公司作為上海市專業(yè)從事技術(shù)防備行業(yè)的從業(yè)單位，為上海港提供監(jiān)控系統(tǒng)的安裝和維護(hù)效力。為滿足港區(qū)消費(fèi)調(diào)度、平安防備要求，采用各種技術(shù)手段提高監(jiān)控圖像錄像回放分辨率就顯得極

4、為重要。 問題的提出目前港區(qū)內(nèi)原有的設(shè)備圖像回放質(zhì)量停留在270線程度。無法滿足消費(fèi)平安回放質(zhì)量300線的規(guī)范要求?；胤艜r分辨率較低，無法滿足消費(fèi)平安管理的要求。確定課題本著“用戶至上的理念，為滿足港區(qū)消費(fèi)調(diào)度、平安防備要求，同時思索到港區(qū)固定資產(chǎn)管理的需求，公司提出必需花盡能夠小的經(jīng)濟(jì)代價處理視頻圖像分辨率不高的問題，小組成員接受挑戰(zhàn)選定課題為：提高港口監(jiān)控錄像分辨率新技術(shù)研發(fā)二、確定目的采用盡能夠低的經(jīng)濟(jì)代價提高電視監(jiān)控系統(tǒng)視頻圖像回放分辨率。根據(jù)的企業(yè)規(guī)范1.將原先圖像分辨率270電視野360*270提高到300電視野400*300以上；另根據(jù)中電視監(jiān)控系統(tǒng)的視頻圖像技術(shù)目的要求2.回放

5、圖像明晰度要求：峰值信噪比28；3.回放圖像復(fù)原度要求：平均絕對差0.14.回放圖像視覺要求：信噪比改善因子7三、提出各種方案并確定最正確方案方案的提出與確定1.課題分析要提高電視監(jiān)控系統(tǒng)視頻圖像的分辨率，首先需求對視頻圖像分辨率不高的緣由進(jìn)展分析，對于視頻圖像成像儲存的環(huán)節(jié)進(jìn)展分析，才干根據(jù)不同的緣由采取不同的處理方案。電視監(jiān)控系統(tǒng)的視頻圖像的運(yùn)用分為4個步驟：圖像采集、圖像傳輸、圖像儲存、圖像回放。圖像采集：圖像采集就是利用攝像機(jī)中電子傳感器把光學(xué)影像轉(zhuǎn)換成電信號，以便與傳輸及儲存。傳感器的外形和尺寸、光學(xué)部件性能的好壞直接影響圖像的分辨率。圖像傳輸：圖像傳輸就是利用光纜、電纜、無線等方式

6、將采集來的圖像傳輸?shù)斤@示或者儲存設(shè)備。在傳輸過程中，會引入不同類型的噪聲，如高斯噪聲、椒鹽噪聲等，而且噪聲的引入方式也不同，或為加性噪聲、或為乘性噪聲，這些都會直接影響到圖像的分辨率。圖像儲存：目前模擬錄像機(jī)已根本淘汰，運(yùn)用最廣是數(shù)字硬盤錄像機(jī)，根本原理是將模擬的音視頻信號經(jīng)過數(shù)據(jù)緊縮方式轉(zhuǎn)變?yōu)镸PEG數(shù)字信號存儲在硬盤上。數(shù)字化采集過程也會降低圖像分辨率。圖像回放：圖像回放就是重現(xiàn)存儲在系統(tǒng)中的視頻圖像資料。2.方案的提出根據(jù)視頻監(jiān)控系統(tǒng)的任務(wù)原理，針對視頻圖像運(yùn)用的各個環(huán)節(jié)，2021年2月15日小組成員利用頭腦風(fēng)暴法將之歸納為硬件和軟件兩大類，提出了5種方案建議，并將結(jié)果用親和圖整理如下：

7、親和圖3.方案的初步比較優(yōu)化攝像機(jī)傳感器固有的采樣頻率限制了圖像的空間分辨率，目前在監(jiān)控系統(tǒng)中廣泛運(yùn)用的是CCD傳感器，提高分辨率最直接的方法是降低像素尺寸，提高單位面積的像素數(shù)目。優(yōu)點(diǎn)：明顯提高圖像分辨率，可直接提升港區(qū)視頻回放分辨率至300電視野以上，預(yù)期效果良好；作為成熟的產(chǎn)品，操作簡便，可操作性強(qiáng)。缺陷：改換攝像機(jī)費(fèi)用太高，經(jīng)濟(jì)性很差；以港區(qū)為例，前端攝像機(jī)50臺左右，改換資料費(fèi)就將近200多萬，本錢太高優(yōu)化傳輸系統(tǒng)圖像傳輸過程中引進(jìn)的噪聲會直接影響到圖像的分辨率。對傳輸系統(tǒng)進(jìn)展優(yōu)化，比如更新為先進(jìn)的光纜傳輸系統(tǒng)、添加長間隔 補(bǔ)償器、添加視頻抗干擾器等，可以提高圖像的信噪比，相應(yīng)提高圖

8、像分辨率。優(yōu)點(diǎn)：一定程度提高圖像分辨率；缺陷：改換傳輸設(shè)備費(fèi)用較高，經(jīng)濟(jì)性不好，以上文某港區(qū)為例，假設(shè)將線纜全部改換，工程耗資約80萬，況且老港區(qū)進(jìn)展線路更新施工難度太大；要根據(jù)不同的噪聲疊加情況采取不同的措施，難度較大，實現(xiàn)比較困難。優(yōu)化錄像機(jī)思索到錄像資料儲存時間的限制，攝像機(jī)采集到的圖像在儲存時采用緊縮的格式，去除了不用要的高頻部分，相應(yīng)的視頻圖像那么損失了圖像細(xì)節(jié)，即降低了分辨率。假設(shè)改換硬盤錄像機(jī)，減少緊縮比例，那么可以明顯提高圖像分辨率。優(yōu)點(diǎn)：明顯提高圖像分辨率；可操作性較好缺陷：需求改換硬件，目前1臺硬盤錄像機(jī)約需1.5萬，假設(shè)全部改換，費(fèi)用較高，性價比不高；硬件遭到工藝程度影響

9、，提高有限。要兼顧存儲時間，假設(shè)存儲文件太大，分辨率即使有所提高，錄像保管時間將大大縮短，不能滿足用戶的要求。優(yōu)化錄像格式針對視頻圖像儲存的步驟：采樣、量化、編碼。由于硬盤錄像機(jī)直接影響監(jiān)控系統(tǒng)的分辨率，假設(shè)對儲存過程的參數(shù)進(jìn)展調(diào)整，例如改動編碼格式，提高錄像文件所含信息量，也可以提高視頻圖像的分辨率。優(yōu)點(diǎn)：提高圖像分辨率；缺陷：目前視頻格式為成熟格式，重新調(diào)整難度太大。錄像保管時間將大大縮短，不能滿足用戶的要求。存儲圖像處置視頻監(jiān)控主要功能之一就是在發(fā)生突發(fā)事件時能進(jìn)展圖像回放，往往在需求監(jiān)控的區(qū)域能夠事先沒有思索到高清錄像，回放效果不盡如人意，這時候再進(jìn)展設(shè)備更新也來不及了，只能在現(xiàn)有的圖

10、像資料的根底上進(jìn)展軟件處置，利用軟件的方法提高視頻圖像分辨率。優(yōu)點(diǎn)：運(yùn)用范圍廣，屬于事后彌補(bǔ)，適用性強(qiáng)；根本沒有硬件投資，在原有根底上進(jìn)展軟件處置，經(jīng)濟(jì)性很好；立足現(xiàn)有設(shè)備，大批原有設(shè)備可以得到利用，為港區(qū)改造節(jié)約大筆資金，提高監(jiān)控系統(tǒng)現(xiàn)代化程度。 缺陷：沒有現(xiàn)成閱歷方法可自創(chuàng)，軟件處置計算繁瑣，實現(xiàn)難度較大。 我們對5個方案進(jìn)展了初步比較匯總結(jié)果如下：類型序號方案缺陷方案選擇硬件方法1優(yōu)化攝像機(jī)改換攝像機(jī)費(fèi)用太高，經(jīng)濟(jì)性很差；由于港區(qū)實踐情況，對于設(shè)備更新本錢太高，不具可行性。不選擇2優(yōu)化傳輸系統(tǒng)全部更新傳輸系統(tǒng)本錢太高，不具可行性，針對各種類型的疊加噪聲進(jìn)展處置那么比較復(fù)雜，不易構(gòu)成規(guī)范工

11、法。不選擇3優(yōu)化錄像機(jī)需求部分改換設(shè)備，性價比不是很高，但思索到錄像機(jī)是目前監(jiān)控系統(tǒng)的瓶頸，一旦錄像機(jī)上分辨率有提高，那么可明顯提高錄像資料的分辨率。選擇軟件方法4優(yōu)化錄像格式目前視頻格式為成熟格式，重新調(diào)整難度太大。要兼顧存儲時間，假設(shè)存儲文件太大，分辨率即使有所提高，儲存時間將大大縮短，不能滿足用戶的要求。不選擇5儲存圖像處置沒有現(xiàn)成閱歷方法可以自創(chuàng)，軟件處置計算繁瑣，實現(xiàn)難度較大。經(jīng)過方案改良可以實現(xiàn)選擇4.方案的實驗比較2021年2月19日，小組成員對可采用的兩個方案進(jìn)展了現(xiàn)場實驗對比：實驗背景 首先選取港區(qū)現(xiàn)場原始錄像資料截圖，港區(qū)視頻監(jiān)控系統(tǒng)原有錄像機(jī)為杭州?？低暤腄S-8004

12、HC-S，錄像分辨率為MPEG-4的2CIF格式302*288。圖1：原始錄像截圖3#方案：改換錄像機(jī)港區(qū)視頻監(jiān)控系統(tǒng)原有錄像機(jī)為杭州?？低暤腄S-8004HC-S，錄像分辨率為MPEG-4的2CIF格式302*288，經(jīng)過改換硬盤錄像機(jī)：杭州海康威視的D1格式高清硬盤錄像機(jī)DS-8004HF-S，錄像分辨率到達(dá)MPEG-4的4CIF格式704*576，實際上提高了2倍，錄像截圖效果如以下圖所示，可以看到圖像質(zhì)量無論在視頻分辨率還是圖像的顏色飽和度各個方面有明顯提高。圖2：改換設(shè)備后錄像截圖但是經(jīng)過改換硬件的方式經(jīng)濟(jì)性不理想，以該港區(qū)為例，共配置攝像機(jī)32臺，八路硬盤錄像機(jī)3臺，四路硬盤錄像

13、機(jī)3臺，同時由于錄像資料的提高，相應(yīng)的錄像文件所需硬盤空間也相應(yīng)變大，為滿足存儲時間的要求，還需求添加硬盤存儲設(shè)備，加上相應(yīng)的安裝調(diào)試費(fèi)用，假設(shè)要全部改換至D1格式的高清硬盤錄像機(jī)那么需求：八路硬盤錄像機(jī)3臺：9600*3=28800元四路硬盤錄像機(jī)3臺：6400*3=19200元添加1T硬盤48塊：950*48=45600元安裝調(diào)試費(fèi)用：1.5萬元合計約10.8萬元，費(fèi)用不菲。同時，經(jīng)過改換硬件的方法還有一個很大的缺陷，性能目的的提升受限于硬件的消費(fèi)程度，會產(chǎn)生一個瓶頸。圖3：高清錄像截圖的部分放大如上圖中所見改換高清設(shè)備以后整幅圖像分辨率提高了，但是假設(shè)將某一部分進(jìn)展放大，那么會發(fā)現(xiàn)局部分

14、辨率依然達(dá)不到要求。這種情況很難經(jīng)過更新設(shè)備進(jìn)一步提高分辨率。5#方案：視頻圖像的軟件處置采用基于信號處置的軟件方法對圖像的空間分辨率進(jìn)展提高，對圖1進(jìn)展處置，得出結(jié)果如下：圖4：經(jīng)過軟件處置的視頻截圖軟件處置視覺效果較為明顯，而且運(yùn)用范圍廣，屬于事后彌補(bǔ)，適用性強(qiáng)；根本沒有硬件投資，在原有根底上進(jìn)展軟件處置，經(jīng)濟(jì)性很好；立足現(xiàn)有設(shè)備，大批原有設(shè)備可以得到利用，為港區(qū)改造節(jié)約大筆資金，提高監(jiān)控系統(tǒng)現(xiàn)代化程度。5.選定方案由于3#方案較易實現(xiàn)，而5#方案，雖然無論在經(jīng)濟(jì)本錢還是預(yù)期效果方面均優(yōu)于3#，但實現(xiàn)相對較為困難，兩者各有優(yōu)勢，為了表達(dá)QC活動的民主性，小組成員經(jīng)過討論決議采用打分方式對兩

15、個方案進(jìn)展選優(yōu)，確定最正確方案。各方案的分析及評價表序號方案可行性分析評價小計加權(quán)總分能否采用規(guī)范權(quán)數(shù)宋鑫穎吳 超邱明佳談 星孫 昕戚琳燁徐 君朱繼成1優(yōu)化錄像機(jī)費(fèi)用較高，提高分辨率效果較好，提高一定程度以后再晉級硬件有瓶頸難易性0.2275.418.6不采用經(jīng)濟(jì)性0.493.6需時間0.1121.2預(yù)期效果0.3288.42視頻圖像處置費(fèi)用較低，提高分辨率效果略差，可行性較強(qiáng)，如進(jìn)一步伐整圖像處置軟件算法可到達(dá)要求難易性0.2112.223.6可采用經(jīng)濟(jì)性0.43012需時間0.1222.2預(yù)期效果0.3247.2：4分 ：3分 ：2分 ：1分 制表人：宋鑫穎 日期：2021年3月10日評價

16、結(jié)果： 我們采用“歸一法對該工程實施經(jīng)濟(jì)性、需時間及預(yù)期效果進(jìn)展加權(quán)評價，操作難易性主要對兩種優(yōu)化方法的實現(xiàn)難易度進(jìn)展評價，由于對于監(jiān)控圖像的分辨率提高，技術(shù)上要求較高，難度加大不可防止，加權(quán)系數(shù)為0.2；經(jīng)濟(jì)性指技術(shù)措施本錢，由于本工程中心思念就是以盡能夠低的經(jīng)濟(jì)代價提高電視監(jiān)控系統(tǒng)視頻圖像回放分辨率。本著“效力客戶目的，費(fèi)用加權(quán)相對較大采用0.4；需時間主要指對新技術(shù)開發(fā)周期長短評價，由于本工程時間要求不是特別嚴(yán)厲，加權(quán)系數(shù)為0.1；預(yù)期效果指到達(dá)提高分辨率目的值的能夠性，加權(quán)系數(shù)為0.3。綜合得分總分值應(yīng)是32分。我們把得分率超越60%即23.6分以上的方案即視頻圖像處置作為最正確方案。

17、6.細(xì)化方案圖像處置原理視頻圖像處置方案，其中心思想是用時間帶寬獲取同一場景的多幀圖像序列經(jīng)過運(yùn)算合成得到高分辨率圖像，實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換，使得重建后圖像的視覺效果超越任何一幀低分辨率圖像。以下圖表示了高、低分辨率圖像像素之間的關(guān)系。圖中左邊三幀Y1，Y2，Y3具有相對位移的低分辨率圖像，經(jīng)過對錄像過程中圖像變化規(guī)律即運(yùn)動的估計，進(jìn)展相應(yīng)的插值運(yùn)算，可以合成得到如下圖的高空間分辨率圖像X。圖像處置方法分類視頻圖像處置分類目前視頻圖像處置方法主要分為頻域和空域兩大類，其中空域又可以分為最大后驗概率估計方法MAP、凸集投影算法POCS和混合MAP/POCS方法三種：1頻域法頻域方法實

18、踐上是在頻域內(nèi)處理圖像內(nèi)插問題，其主要方法主要利用傅里葉變換的移位性質(zhì)，對原始圖像進(jìn)展摸轉(zhuǎn)數(shù)變換，使圖像轉(zhuǎn)變?yōu)榭尚拚母道锶~方程模型。優(yōu)點(diǎn)：實際簡單，運(yùn)算復(fù)雜度低，很容易實現(xiàn)并行處置，具有直觀的去變形超分辨率機(jī)制。缺陷：所基于的實際前提過于理想化，不能有效地運(yùn)用于多數(shù)場所，只能局限于全局平移運(yùn)動和線性空間不變降質(zhì)模型，包含空域先驗知識的才干有限。2空域法空域方法主要在空間域分布上進(jìn)展圖像重建，如以下圖所示，對一系列低分辨率圖像所含像素信息進(jìn)展定位后組合成一張高分辨率圖片。空域方法適用范圍較廣，主要包括非均勻樣本內(nèi)插法、迭代反投影方法、集合論方法如凸集投影：POCS、統(tǒng)計復(fù)原方法最大后驗概率估計

19、MAP 和最大似然估計ML、混合MAP/POCS 方法以及自順應(yīng)濾波方法等。而目前凸集投影法；最大后驗概率估計；混合MAP/POCS 方法較為適宜本技術(shù)的目的最大后驗概率估計方法優(yōu)點(diǎn)：在解中可以直接參與先驗約束、能確保解的存在和獨(dú)一、降噪才干強(qiáng)和收斂穩(wěn)定性高等；即該方法可以保證圖像明晰度，減少干擾信號在運(yùn)算過程中的累加對圖像所呵斥的影響，提高信噪比。缺陷：運(yùn)算速度較慢和運(yùn)算量大。另外，由于該方法可以過濾細(xì)微干擾信號數(shù)據(jù)，同時也會將圖像的細(xì)微部分進(jìn)展過濾、排除，因此，由這類方法獲得的高分辨率圖像上的細(xì)節(jié)容易被忽略，平均絕對差相對較高，不利于圖像有效復(fù)原。凸集投影方法優(yōu)點(diǎn)：可以方便地參與先驗信息，

20、可以很好地堅持高分辨率圖像上的邊緣和細(xì)節(jié)；得到圖像平均絕對誤差較低，即可以有效保證圖像復(fù)原度。缺陷：解不獨(dú)一、解依賴于初始估計、收斂慢、運(yùn)算量大和收斂穩(wěn)定性不高等。即運(yùn)算過于復(fù)雜，且不穩(wěn)定導(dǎo)致圖像信噪比改良因子較低，圖像視覺效果較差?；旌螹AP/POCS方法把MAP和POCS兩種算法合并為一致的算法。提出了一種把MAP和非橢球約束結(jié)合在一同的混合算法，這種方法即可保證圖像明晰度和復(fù)原度又可有效提高圖像視覺效果。實際證明，梯度下降法能保證這種混合MAP用OCS方法收斂到全局最優(yōu)解。3方法的初步比較類型序號方案缺陷方案選擇頻域法1傅立葉變換求解頻譜方程所基于的實際前提過于理想化，不能有效地運(yùn)用于多

21、數(shù)場所。不選擇空域法2最大后驗概率估計方法MAP收斂慢和運(yùn)算量大。另外，最大后驗概率估計方法的邊緣堅持才干不如凸集投影方法，由這類方法獲得的高分辨率圖像上的細(xì)節(jié)容易被平滑掉。不選擇3凸集投影方法POCS解不獨(dú)一、解依賴于初始估計、收斂慢、運(yùn)算量大和收斂穩(wěn)定性不高不選擇4混合MAP/POCS方法結(jié)合MAP和POCS二者優(yōu)點(diǎn)，計算速度快，圖像重建效果好選擇7.總結(jié)結(jié)合以上分析，我們預(yù)備采用空域方法中的混合MAP/POCS方法對港區(qū)已儲存錄像中的片段經(jīng)過軟件方法進(jìn)展合成，復(fù)原現(xiàn)場真實環(huán)境。四、制定對策選定最正確方案后，小組成員討論確定了軟件處置實施流程圖：實施步驟如下： 步驟一：確定各項圖像處置參數(shù)

22、，并初步合成需重建低分辨率圖像，對圖像進(jìn)展模轉(zhuǎn)數(shù)處置； 步驟二：對圖像進(jìn)展配準(zhǔn)，對參考幀進(jìn)展運(yùn)動估計，即對多幀圖像的數(shù)字模型進(jìn)展疊加處置；步驟三：對圖像進(jìn)展數(shù)字模型復(fù)核運(yùn)算，保證重建圖像后的視覺效果；根據(jù)流程圖制定了相應(yīng)的研發(fā)對策：序號工程對策目的措施地點(diǎn)責(zé)任人完成時間1圖像合成確定圖像重建參數(shù)確定運(yùn)動估計精度、插值運(yùn)算參數(shù)、圖像重建幀數(shù)；控制峰值信噪比281.參數(shù)確定2.數(shù)字模型建立3.初步運(yùn)轉(zhuǎn)實驗室吳 超朱繼成2021.32圖像配準(zhǔn)實驗配準(zhǔn)準(zhǔn)確測定一系列圖像之間對應(yīng)像素的運(yùn)動估計；配準(zhǔn)后平均絕對值誤差0.11.圖像配準(zhǔn)2.繼續(xù)改良實驗室邱明佳孫 昕2021.43圖像校核實驗校核將不同圖像的

23、有效像素經(jīng)過插值運(yùn)算重建一幀圖像。1.確定校核次數(shù)2.重建圖像實驗室宋鑫穎白 敏2021.4五、對策實施實施一、圖像合成1.參數(shù)確定影響圖像重建效果主要有三個要素：運(yùn)動估計精度、插值運(yùn)算算法和圖像重建次數(shù)。運(yùn)動估計精度：即是測定低分辨率圖像和參考幀之間的像素位移參數(shù)，假設(shè)是針對每一個像素進(jìn)展測定，那么易受噪聲影響，估計不夠可靠，而且運(yùn)算量添加。普通來說，基于塊的運(yùn)動估計，當(dāng)前幀被劃分為圖像塊，以塊為單位進(jìn)展測定。塊的大小直接影響重建效果和計算復(fù)雜度。插值運(yùn)算算法：常用的插值函數(shù)有最近鄰點(diǎn)函數(shù)1維、雙線性函數(shù)2維和雙三次插值函數(shù)3維等等。算法越復(fù)雜那么圖像質(zhì)量相應(yīng)提高，假設(shè)是復(fù)雜到一定程度，那么

24、在明顯加重了計算負(fù)擔(dān)的同時，圖像質(zhì)量提高并不顯著。因此適宜的算法對重建效果影響很大。圖像重建次數(shù)：即參與圖像重建的低分辨率圖像幀數(shù)，根據(jù)超分辨率圖像重建實際，圖像重建次數(shù)越多那么重建效果越好，但是計算復(fù)雜度也越高，適用性和經(jīng)濟(jì)性會下降，因此選擇一個適中的重建次數(shù)參數(shù)顯得極為重要。2021年3月3日8日，我們小組進(jìn)展了專題研討，運(yùn)用正交實驗法進(jìn)展了實驗分析1實驗?zāi)康模捍_定運(yùn)動估計精度、插值運(yùn)算算法、圖像重建幀數(shù)的最正確組合2評價目的：峰值信噪比。3確定要素：運(yùn)動估計精度、插值運(yùn)算算法、重建次數(shù)3個要素4確定程度：對每個要素確定了3個程度序號A運(yùn)動估計精度塊大小B插值運(yùn)算算法C圖像重建次數(shù)次13*

25、31最近鄰點(diǎn)函數(shù)626*62雙線性函數(shù)839*93雙三次插值函數(shù)105選定適宜的正交表選用 L9(34) 表 根據(jù)上述確定的3個程度與3個位級6實施實驗2021年3月56日我們根據(jù)正交表設(shè)計的實驗要求進(jìn)展了共9次不同條件要素組合的實驗室測試，結(jié)果如下：ABC峰值信噪比113*3113(10)22.4226*6111(6)28.1339*9112(8)26.6413*322(8)26.5526*623(10) 27.3639*921(6)23.2713*33(3)1(6)23.9826*63(3)2(8)29.3939*93(3)3(10)28.8T172.877.175.2T284.77782

26、.4T378.68278.5/T124.225.325.1/T228.225.727.4/T326.226.326.1R11.957.2初定優(yōu)先程度A2B3C27結(jié)果分析：看一看：實驗結(jié)果中第8號信噪比最高,即初定優(yōu)程度A2B3C2算一算：確定較優(yōu)位級, A: IIIIII, B: II I III, C: I III C B;A為主要要素, C為重要要素, B為次要要素實驗要素影響趨勢：圖中我們可以看到，當(dāng)運(yùn)動估計塊取6*6，雙三次插值函數(shù)時峰值信噪比最大即圖像質(zhì)量最好，另外隨圖像重建次數(shù)提高，峰值信噪比有所提高。8結(jié)論分析：隨運(yùn)動估計圖像塊添加信噪比添加，當(dāng)塊精度超越6*6時易受噪聲影響，

27、估計不夠可靠，而且運(yùn)算量添加導(dǎo)致圖像質(zhì)量下降；當(dāng)圖像重建次數(shù)采用8次信噪比最大，隨著重建次數(shù)添加，噪聲信號逐漸加大，信噪比下降。實驗結(jié)果A2B3C2完全滿足趨勢影響,所以我們決議運(yùn)動估計精度采用6*6圖像塊，插值運(yùn)算采用雙三次插值函數(shù)，圖像重建采用8幀圖片進(jìn)展運(yùn)算。2.數(shù)字模型建立小組成員根據(jù)所獲得的參數(shù)建立了圖像合成的數(shù)字模型：建模方式：將延續(xù)兩幀低像素圖片進(jìn)展分塊，并根據(jù)每塊特征值進(jìn)展定位，每個單塊為6*6個像素，根據(jù)每個像素的特征采集相應(yīng)的數(shù)據(jù)構(gòu)成矩陣A及矩陣A1類似矩陣，并經(jīng)過雙三次插值函數(shù)進(jìn)展計算，獲得新矩陣B雙插值計算方式： 經(jīng)過對矩陣A及矩陣A1對應(yīng)像素的周邊像素配準(zhǔn)確定該像素估

28、計值，以先橫向，后縱向單個像素運(yùn)算的方式進(jìn)展。3.初步運(yùn)轉(zhuǎn) 2021年3月710日，我們對正交法確定的實驗參數(shù)進(jìn)展了驗證，共選擇了5組不同的實驗樣本，實驗結(jié)果如下：樣本組號ABCDE峰值信噪比29.228.728.929.129.0經(jīng)過實驗可以看出，對比目的值，峰值信噪比都大于28，均到達(dá)事先選定的目的值范圍，故此組參數(shù)的選擇是可行的。9實施效果：根據(jù)本實施中確定的參數(shù)組合，我們進(jìn)展了大范圍實施，在港區(qū)內(nèi)抽取大量樣本100個樣本組進(jìn)展視頻圖像的優(yōu)化，經(jīng)過優(yōu)化的峰值信噪比分布如以下圖所示。從圖中可以看出，信噪比在28.529.5之間呈正態(tài)分布，分布區(qū)間滿足事先設(shè)定的目的值的要求，進(jìn)一步驗證了本參

29、數(shù)組合的可行性。 實施結(jié)果：完成目的，實施有效實施二、圖像配準(zhǔn)1.圖像配準(zhǔn)定義圖像配準(zhǔn)定義為兩幅圖像之間的空間變換和灰度變換，配準(zhǔn)的目的就是要使兩幀圖像之間的某種類似度準(zhǔn)那么到達(dá)最大。如以下圖所示，由多幀具有規(guī)范位移的低分辨率圖像(b)(e)按照規(guī)范位移把低分辨率圖像的像素放在高分辨率圖像中適當(dāng)位置即可重構(gòu)高分辨率圖像(a)。假設(shè)是圖像配準(zhǔn)算法選擇的不好，重建出來的圖像就會產(chǎn)生變形，引起分辨率下降，由于位移參數(shù)無法準(zhǔn)確測定，這里還是采用經(jīng)過測定重建圖像的平均絕對值誤差來評價配準(zhǔn)效果：圖像配準(zhǔn)序列圖像相關(guān)幀之間的運(yùn)動參數(shù)可以用2個參數(shù)來表示：程度偏移rx、垂直偏移yr，即橫向平移及縱向平移根據(jù)傅

30、立葉變換FT的位移性質(zhì)，頻域的相位變化相應(yīng)于空域的平移變化，基于FT的圖像配準(zhǔn)方法的根本思想是準(zhǔn)確測定傅立葉變換函數(shù)的相位變化，就能準(zhǔn)確測定幀間平移。2.繼續(xù)改良發(fā)現(xiàn)問題2021年4月1日，小組成員在本實施進(jìn)展過程中，根據(jù)傅立葉變換算法對5組樣本數(shù)據(jù)進(jìn)展實驗驗證，驗證數(shù)據(jù)如下：樣本組號ABCDE平均絕對誤差0.120.170.130.110.18 根據(jù)目的值要求，所合成圖像平均絕對值誤差必需小于0.1，而目前無到達(dá)目的值要求圖像，不合格率到達(dá)了100%，我們小組立刻對這一景象進(jìn)展了緣由分析。查找緣由、提出處理方案2021年4月15日，我們QC小組召開專題討論，研討這一景象，經(jīng)過對比樣本，發(fā)現(xiàn)樣

31、本組A、C圖像變化較為平緩，多為全局平移運(yùn)動，而樣本組B、D、E那么圖像變化較為猛烈，存在圖像旋轉(zhuǎn)景象?；诟盗⑷~變換的配準(zhǔn)算法可以準(zhǔn)確測定程度偏移rx、垂直偏移yr兩個參數(shù)。未對旋轉(zhuǎn)參數(shù)進(jìn)展準(zhǔn)確的估計，而實踐圖像中，幀間旋轉(zhuǎn)是存在的，如樣本組B、D、E的情況下，基于傅立葉變換的頻域配準(zhǔn)算法就不能有效地對圖像進(jìn)展配準(zhǔn)，因此需求對該算法進(jìn)展改良。改良配準(zhǔn)算法由傅立葉變換的配準(zhǔn)算法求出平移參數(shù)后，再由基于光流場的配準(zhǔn)得到的旋轉(zhuǎn)參數(shù)對低分辨率圖像進(jìn)展旋轉(zhuǎn)補(bǔ)償，可以得到一個不錯的配準(zhǔn)算法。在傅立葉域中表示為確定好改良后的配準(zhǔn)算法以后，我們對之前的樣本組進(jìn)展了驗證，選擇了之前5組不同的實驗樣本，實驗結(jié)果

32、如下：樣本組號ABCDE平均絕對誤差0.090.020.030.080.06經(jīng)過實驗可以看出，對比目的值，平均絕對值誤差，均到達(dá)事先選定的目的值范圍，故該改良配準(zhǔn)算法的選擇是可行的。4實施效果：根據(jù)本實施中確定的配準(zhǔn)算法，我們進(jìn)展了大范圍實施，在港區(qū)監(jiān)控資料內(nèi)抽取大量樣本100個樣本組進(jìn)展視頻圖像的優(yōu)化，經(jīng)過優(yōu)化的峰值信噪比分布如以下圖所示。從圖中可以看出，平均絕對值誤差在0-0.1之間呈正態(tài)分布，分布區(qū)間滿足事先設(shè)定的目的值的要求，進(jìn)一步驗證了本配準(zhǔn)算法的可行性。 實施結(jié)果：完成目的，實施有效實施三、圖像校核1.確定校核次數(shù)發(fā)現(xiàn)問題2021年4月25日小組成員以閱歷對輸出的圖像進(jìn)展兩次校核后輸出，發(fā)現(xiàn)圖像細(xì)部構(gòu)造雖然非常明晰，但重建后圖像平滑程度缺乏，存在鋸齒景象。根據(jù)規(guī)范要求，圖像信噪比改善因子應(yīng)7。2021年4月26日小組成員對重建后圖像進(jìn)展了檢測：信噪比平均絕對值誤差信噪比改善因子檢測結(jié)果290.084