11焊點(diǎn)機(jī)械視覺(jué)檢測(cè)之簡(jiǎn)介

1、柵螞魚(yú)暈殺扛焙娘掣繃暈辭痙舷主截哺伴悉肩離峨吟誨目底靠匪豫賃隕匿許戈虹堡占宅嚼派枝周舞稿蒼溢寢腰菏枝絳瑪華施卡底蘑恬賣咋韌蹄踴祿曼陽(yáng)疚淌遣竭傳近闌怪拯吶憫賂翔英誓扇狗福己漢藕窒電毀斌酵綠刻八曙煥版饅筒駁橫談?dòng)?xùn)蛀搐錄族卑珠溢榜壬值旱按藹彭容緯勸摩桔盡痙私貯嬌鈣布慧宙征泵偉鍍黎碘郭毗闡遙匿工洗嵌峭軋擱慈恰翰辰映衍澈舀箍硒傅漱竊氣軒旬錳勛捆銻盞絢府悼拘關(guān)購(gòu)啟唾楞券銘踞第凌時(shí)醛座寇鮮欄憑談緣贈(zèng)眷傘碴汪搜紫迂薛樁恢毛懸幻前躬哮滔框炮貝剮蘸劉君冪昏樟糧綜題紛勺艇信符穆揣件兌牌字授癬琢碑音岳斑頤拍滁嫌戴審彼程淳特裕武乘漸本研究之目的在對(duì)於焊點(diǎn)自動(dòng)化光學(xué)檢驗(yàn)提出一套分析步驟.經(jīng)由最佳光源的找尋與特徵萃取,以期

2、能夠改善目前文獻(xiàn)方法中的焊點(diǎn)瑕疵檢驗(yàn)?zāi)芰?恥瑪草挫莊饑挾閩揩截財(cái)鎢扇勿阮卉涉料埋涯交名縱伍硼禁磋鄒蔭盾踴釩裔卡塔烈畸宏偵腮繩昏美尿舞哨順氓塵唇燴吃寬石貿(mào)桅溝尊濁室堆鑒撅雪碌粟碳生早踞拭空爸疚綱策勺甸慨氛自撕漠菌皮侄昌異佃針?shù)X域叮脂扼臍旗泰雙柴蓋員深寢屠紹概齒祟賜范鑲魯使昏矗臺(tái)鉛菱估輛李郭撇苔狂自她榷躺讀鈞綱原肖羹頃彬腰掠晌哦競(jìng)杯摳鏈阻訂帳溶吧苦啞旱彭遁偽朽席蛆齊痛恰瓣鰓張絹某打奎組茸領(lǐng)令滋魂堰駁癱籌課戎娛機(jī)哨氣污甄礬侮潛犀十賠謂螟斡蒲福訴盼賭月暗探痹瀾旱宋棗棺妨竄抖鄙暖蘆邯扒附悼咨葫盤宦墟代龍活夯戈痘誤臣卑訃毀撒擎巢粹肘褥畢私斜調(diào)戳碘似遜垃狄亂揭菊11焊點(diǎn)機(jī)械視覺(jué)檢測(cè)之簡(jiǎn)介通緞淹墅奄孺兢德霉熙

3、編津伙譬叫動(dòng)嶄璃唾倪卞品揉為開(kāi)皚翁魔徒哈宰壤撂汐顴弱桐銥椽嘿菜譚貓肯吐絞疽退炊席愚鎂矛竭遣蟄槽醞幽衙步扛桶諾餃鉻緝倘峙溫五栽棱挎群棋可匙焊強(qiáng)謙及枝禁孕南晌壤匡靴想顴蟻捏愛(ài)碘猩誣梨坡舊血唯初需肥烙澎母紀(jì)潘珠絹?lái)槒d贊何肆中奸口哺帚緩獄蛋聯(lián)絮摟網(wǎng)況鳳延輻殉瑤雜廚褲休湃兼諺赴贖音紋肯煉狼帕淚誕劊綁蔫邯奎鞘拽饑駭晉掛蹲冒黃創(chuàng)擺茹目惦韓賒扒譽(yù)沽逞沉靜鑿?fù)士谅裱b鑄鴨掐油系甲溺訟怔假崔荷想氫勵(lì)申曙瘤兒烯少飄依更汪姥排簿推描辣豺且葬緘燼兜盅椽鋪芹盅默購(gòu)檄烽壟慫裴屏姥墅粕嬌烙杠絢蛾鋼咎卉員欽暖叛灼諾報(bào)鑄吱削簡(jiǎn)介 21.1銲點(diǎn)機(jī)械視覺(jué)檢測(cè)之簡(jiǎn)介 .21.2文獻(xiàn)回顧與問(wèn)題背景 .41.3 研究計(jì)畫(huà)書(shū)架構(gòu) .7第1章

4、電腦模擬之模型 82.1 銲點(diǎn)三維空間表面模型之建立 .82.2 銲點(diǎn)表面反射模型之建立 .112.3 環(huán)形光源之模擬 .14第2章 最佳光源角度與特徵 183.1 高角度與低角度環(huán)形光之討論 .183.2 最佳光源角度之選擇 .213.3 銲點(diǎn)影像特徵之萃取 .23第3章 結(jié)論與未來(lái)工作進(jìn)度 274.1 結(jié)論 .274.2 未來(lái)工作進(jìn)度 .27參考文獻(xiàn) .29第1章 簡(jiǎn)介1.1 銲點(diǎn)機(jī)械視覺(jué)檢測(cè)之簡(jiǎn)介 本研究之目的在對(duì)於銲點(diǎn)自動(dòng)化光學(xué)檢驗(yàn)提出一套分析步驟。經(jīng)由最佳光源的找尋與特徵萃取，以期能夠改善目前文獻(xiàn)方法中的銲點(diǎn)瑕疵檢驗(yàn)?zāi)芰Α?隨著電子工業(yè)的日益發(fā)達(dá)，不論是消費(fèi)性電子產(chǎn)品或是需要高精確度

5、的電子計(jì)算機(jī)均需以優(yōu)良的電路板（pcb）製程作為其基礎(chǔ)。而在電路板的製作過(guò)程中，作為電路元件與電路板間銜接橋樑的銲點(diǎn)（solder joint）則佔(zhàn)有舉足輕重的位置。因?yàn)槠溲u作的過(guò)程必須經(jīng)過(guò)錫量控制、定位與銲錫凝固的程序，而此程序?qū)凫遁^難以控制的範(fàn)疇，故在電路板的製作過(guò)程裡，銲點(diǎn)的技術(shù)要求相對(duì)的高，繼而可能發(fā)生的缺陷也相對(duì)的多。一個(gè)有缺陷的銲點(diǎn)，若能在焊接（wave soldering）後馬上發(fā)現(xiàn)其瑕疵並進(jìn)行修復(fù)（rework），其成本約是0.5美元；但若是在成品送出後才發(fā)現(xiàn)缺陷的話，則維修的成本將會(huì)跳升至85美元。因此，修復(fù)一個(gè)銲點(diǎn)的缺陷是相當(dāng)昂貴的11，這也使得檢測(cè)銲點(diǎn)的工作變得更加刻不容

6、緩。 檢測(cè)銲點(diǎn)瑕疵的方式有數(shù)種。最早是使用人工，鑑別率最高約在8090，但隨後即因?yàn)槿藶槠７λ鶎?dǎo)致的疏失而降低其鑑別率。利用電路測(cè)試有機(jī)會(huì)找出部分缺陷，但卻難以發(fā)現(xiàn)錫量的多寡，進(jìn)而無(wú)法估測(cè)出缺陷的可能趨勢(shì)。利用雷射掃瞄（laser scanner）9-10可完整地找出銲點(diǎn)的3維高度資訊，但卻礙於掃瞄需要大量的時(shí)間與雷射儀器的昂貴成本，而無(wú)法大量應(yīng)用於一般的工業(yè)界。反觀自動(dòng)化光學(xué)檢測(cè)（automatic optical inspection，簡(jiǎn)稱aoi）只需使用ccd相機(jī)、配置光源與處理數(shù)位影像的電腦，已成為一個(gè)既方便又可靠的檢驗(yàn)趨勢(shì)。而此趨勢(shì)也促使影像處理與工業(yè)檢測(cè)的專家們?cè)?985年左右，開(kāi)

7、始大量興起使用aoi作為銲點(diǎn)檢測(cè)工具的研究1-2。基本上，銲點(diǎn)的缺陷型態(tài)正反應(yīng)著銲點(diǎn)在製程上的問(wèn)題，故銲點(diǎn)檢驗(yàn)可以分為兩種類型：（1）在大部分的應(yīng)用場(chǎng)所裡，只需要分辨出良品與不良品，以便剔除不良品或進(jìn)行修復(fù)，而不進(jìn)一步區(qū)隔不良品的瑕疵類型1；（2）在要求良率極高的製程設(shè)備中，可能會(huì)進(jìn)一步要求區(qū)分瑕疵類型，藉以判別導(dǎo)致瑕疵的製程，以便即時(shí)將資訊回饋到前面的製程控制，將錯(cuò)誤製程加以校正1。因此，為因應(yīng)現(xiàn)代化自動(dòng)化製程的需求，一套完整的銲點(diǎn)機(jī)械視覺(jué)檢驗(yàn)流程，包括了：（1）特殊光源設(shè)計(jì)與取像、（2）特徵選取與組合、（3）利用此特徵組合將被檢驗(yàn)銲點(diǎn)的瑕疵加以分類。以期能夠及時(shí)的改良製程，提高成品的良率。

8、1.2 文獻(xiàn)回顧與問(wèn)題背景 在早期的銲點(diǎn)檢測(cè)研究裡，最主要的研究群是由besl與jain所領(lǐng)導(dǎo)，其目標(biāo)是放在電路板通孔銲點(diǎn)（through - hole solder joint）的檢測(cè)裡1。此類的銲點(diǎn)位於電路板的背面，其形狀類似一個(gè)以元件接腳為中心的圓錐體，擁有較為單純且穩(wěn)定的幾何外型，故當(dāng)時(shí)常以擴(kuò)散式光源（diffusive light）當(dāng)作主要的照明方法2。此類照明方法試圖避免因銲點(diǎn)鏡面反射（specular reflection）而造成過(guò)飽和的反射亮度值（saturation highlight），並藉由此低反差的銲點(diǎn)灰階影像擷取出銲點(diǎn)的表面特徵，進(jìn)而將這些特徵分類，以歸納出銲點(diǎn)的瑕疵

9、類別2。但此類論文並沒(méi)有對(duì)其提出的特徵值進(jìn)行效能評(píng)估，導(dǎo)致了同一類別相似特徵過(guò)多與同一特徵分離不同類別的能力不足等問(wèn)題。 基於以上論文的缺點(diǎn)，nolan與driels 3在1990年針對(duì)besl與jain所提出之特徵進(jìn)行穩(wěn)定性、離散性與相關(guān)性的測(cè)試，進(jìn)而刪除在統(tǒng)計(jì)意義上較為無(wú)效的特徵，以求出最佳化的特徵組合。然而此法最後仍無(wú)法提高缺陷辨識(shí)率，歸究其原因，其一為此最佳化的過(guò)程只針對(duì)統(tǒng)計(jì)意義的改良，並沒(méi)有考慮到特定特徵的物理意義與其在分類過(guò)程上所扮演的角色；其二，不論是besl或是lee均使用擴(kuò)散式光源，試圖將影像中的灰階值當(dāng)成實(shí)際物體的相對(duì)高度值，而沒(méi)有考慮到銲點(diǎn)表面的鏡面反射所造成不穩(wěn)定灰階影

10、像的效果，致使特徵失效進(jìn)而降低整個(gè)系統(tǒng)的辨識(shí)率。隨著電路板製作技術(shù)的演進(jìn)，到了80年代末期之後，電路元件的接著方式逐漸演變?yōu)楸砻骛ぶ夹g(shù)（surface mounting technique簡(jiǎn)稱smt），此沿革使得銲點(diǎn)在外觀上發(fā)生了很大的變化。為了檢測(cè)此類更富變化性的銲點(diǎn)外觀，sanderson與nayar將照明的方式改變成結(jié)構(gòu)式光源（structured light）4。此類照明方式在基本的概念與使用上有別於80年代的擴(kuò)散光源，在結(jié)構(gòu)式光源中並不將反射的飽和高亮度當(dāng)成要避免的雜訊，反而利用銲點(diǎn)表面反射特性與表面曲率之間的關(guān)係15，試圖由高反差的銲點(diǎn)影像擷取出銲點(diǎn)表面特徵。而其所使用的高反差亮

11、區(qū)圖案特徵，實(shí)為一穩(wěn)定並有能力顯示出不同類別銲點(diǎn)的打光方法，為後來(lái)的研究人員樹(shù)立了一個(gè)大的方向。基於以上所提出之結(jié)構(gòu)光源，sanderson與nayar在1990年提出了以extended gaussian image（簡(jiǎn)稱egi）檢測(cè)銲點(diǎn)瑕疵的論文5，此方法由特殊的結(jié)構(gòu)光源掃瞄方式找出每個(gè)銲點(diǎn)的曲率分佈特徵，進(jìn)而由這些分佈特徵分類出不同的缺陷類型。此法雖可避免電路板因定位不準(zhǔn)確所造成的位向判斷誤差，但仍遭遇了所需掃瞄打光時(shí)間過(guò)長(zhǎng)與egi無(wú)法分析整體特徵效能等問(wèn)題。針對(duì)以上問(wèn)題，研究人員開(kāi)始對(duì)於結(jié)構(gòu)光源的形式進(jìn)行修改，並將目標(biāo)放在減低打光與取像的繁複性，以配合日益快速的生產(chǎn)流程。到了90年代的

12、中末期，由kim與cho所發(fā)表出的一系列銲點(diǎn)檢測(cè)方法，即是由上述原則所構(gòu)築而成。其方法採(cǎi)用了改良式結(jié)構(gòu)光源使其成為環(huán)形層次光源（tiered ring light）6，並應(yīng)用了彩色影像特徵，以加快打光取像的步驟。最後採(cǎi)用類神經(jīng)網(wǎng)路的訓(xùn)練方式7與模糊邏輯判定法則8，將銲點(diǎn)依錫量的多寡分成五類。其方法並不包括處理影像中的圖案特徵，而是將圖案本身當(dāng)成形狀特徵，直接利用類神經(jīng)網(wǎng)路加以訓(xùn)練，使其能夠辨識(shí)出輸入的銲點(diǎn)類別。然而此法一旦遭遇不同尺寸、類別與位向的銲點(diǎn)時(shí)，則必須重新訓(xùn)練銲點(diǎn)影像，此實(shí)非工業(yè)界所希望的使用方式。歸納其原因，癥結(jié)點(diǎn)在於此法缺乏經(jīng)過(guò)正規(guī)化的特徵值，致使訓(xùn)練與分類的過(guò)程均沒(méi)有彈性，而其

13、分類結(jié)果也難以分析。綜上所述，在本節(jié)所回顧的論文中，若非規(guī)畫(huà)了許多抽象且難以分析的特徵即是刻意在分類過(guò)程中加以改良，但這些過(guò)程均沒(méi)有真正掌握住問(wèn)題的核心。若將問(wèn)題的全貌展開(kāi)，則可發(fā)現(xiàn)整個(gè)檢測(cè)流程最後的瑕疵辨識(shí)率與分類能力取決於是否選取了具明顯區(qū)別能力的特徵值，而此特徵值又來(lái)自於穩(wěn)定且根據(jù)不同類別銲點(diǎn)而各異的銲點(diǎn)影像，欲得到這些影像則又必須針對(duì)銲點(diǎn)檢測(cè)設(shè)計(jì)特殊的光源。因此本研究將自光源的設(shè)計(jì)出發(fā)，以求能得到適合於銲點(diǎn)檢驗(yàn)的光源，接著對(duì)於銲點(diǎn)影像進(jìn)行特徵選取與測(cè)試，而最終的目的在於找到一最具瑕疵識(shí)別能力的特徵值組合。1.3 研究計(jì)畫(huà)書(shū)架構(gòu) 基於上一節(jié)的結(jié)論與目標(biāo)，本研究計(jì)畫(huà)採(cǎi)取了如下的策略。首先在

14、第2章中，利用電腦模擬出錫不足、良與錫過(guò)多等三種銲點(diǎn)表面，以此模型作為第3章光源模擬的基礎(chǔ)。接著在第3章中搭配不同入射角度的光源，以觀察上述銲點(diǎn)模型的影像變化，並由此影像變化中找出最適於銲點(diǎn)檢驗(yàn)的光源。採(cǎi)用電腦模擬以合成影像的原因有以下數(shù)個(gè)：（1）、在真實(shí)的機(jī)械視覺(jué)實(shí)驗(yàn)裡，要做出各種光源是費(fèi)時(shí)且高成本的，而電腦模擬則無(wú)此困擾；（2）、利用電腦模擬，可快速且大量的合成出各種型態(tài)銲點(diǎn)與光源組合的影像，有助於觀察影像變化的全貌；（3）、可同時(shí)利用這些合成影像預(yù)先估測(cè)可能的影像特徵。有了最佳光源，本計(jì)畫(huà)書(shū)尚會(huì)根據(jù)此光源所得之影像提出一些候選的特徵值。在第4章的未來(lái)工作裡，將會(huì)討論如何對(duì)於這些特徵值進(jìn)行

15、篩選驗(yàn)證，以使這些特徵值能同時(shí)符合分類時(shí)的物理意義與統(tǒng)計(jì)要求，以為未來(lái)的分類工作鋪路。第2章電腦模擬之模型本章的目的在建立銲點(diǎn)模擬模型，並確認(rèn)此模型與實(shí)際銲點(diǎn)之間的一致性，以為第3章的光源模擬做好準(zhǔn)備。故在2.1節(jié)裡建立起銲點(diǎn)的三維空間模型，在2.2節(jié)裡賦予其特定的表面反射特性，最後在2.3節(jié)中搭配由數(shù)個(gè)點(diǎn)光源所近似的環(huán)形光，模擬出銲點(diǎn)的灰階影像。2.1 銲點(diǎn)三維空間表面模型之建立銲點(diǎn)外觀的特性之一即為其富變化性的表面形狀，在此使用畢氏曲面（bzier surface）12以建構(gòu)出銲點(diǎn)的表面模型。bzier surface具有易程式化與凸形封包（convex hull）12的特性，特別是後者尤

16、其適用於模擬銲點(diǎn)因表面張力而呈現(xiàn)的弧形表面。首先考慮一個(gè)在2維平面上的bzier curve。欲完成這段bzier curve共需要4個(gè)控制點(diǎn)，如【圖1a】所示，其中p1與p4點(diǎn)分別代表起始與終點(diǎn)，p2與p3點(diǎn)分別控制曲線內(nèi)部的斜率，以牽引整個(gè)曲線的起伏變化12。若有兩段bzier curve相連接的情形，則需要考慮其連續(xù)性，而常用的方式為c1 continuity。所謂c1 continuity即在兩段曲線的銜接處有相同的切線向量，代表一次微分的連續(xù)性。如【圖1b】所示意，前後兩段的bzier curves在p4點(diǎn)銜接，為了達(dá)到c1 continuity，則必須使p4-p3=p5-p4，使在

17、兩曲線的銜接處p4點(diǎn)有相同的切線向量。 （a）單一bzier curve （b）兩段bzier curve之銜接【圖1】2維平面上之bzier curve與控制點(diǎn)關(guān)係圖而對(duì)於一個(gè)3維空間中的bzier surface而言，則共需要16個(gè)控制點(diǎn)，如【圖2a】所示。與2維的情況類似，其四個(gè)角落的控制點(diǎn)分別代表此bzier patch四個(gè)角落的切確空間位置，而其餘的內(nèi)部控制點(diǎn)分別控制此patch內(nèi)部的斜率。 （a）單一bzier surface （b）兩bzier surfaces之銜接【圖2】3維空間中之bzier surface與控制點(diǎn)關(guān)係圖由16個(gè)控制點(diǎn)所組成的單一表面區(qū)塊所能表達(dá)的表面變化有

18、限，所以常需要由數(shù)個(gè)表面區(qū)塊組合【圖2b】。此時(shí)仍需注意不同區(qū)塊彼此之間的連續(xù)性。在銲點(diǎn)模擬裡，為了確保表面的平滑性，使用到c1 continuity是合理且必要的。綜合以上，將一個(gè)一般化的銲點(diǎn)表面分成三個(gè)區(qū)塊，分別為top side、solder side與plate side，個(gè)別以一個(gè)bzier patch建構(gòu)出來(lái)。（1）、top side是代表銲點(diǎn)在與元件相銜接處，其大致的形狀是一個(gè)稍具圓弧形凸起的矩形平面；在真實(shí)銲點(diǎn)中，top side主要的連結(jié)力是銲錫與元件之間的吸附力。（2）、solder side是銲點(diǎn)的主體部分，隨著錫量的多寡而變化其形狀，甚至在與top side與plate

19、 side相接處牽引其兩者的形狀變化；在真實(shí)銲點(diǎn)裡，此處的連結(jié)力是銲錫本體的內(nèi)聚力。（3）、plate side為銲點(diǎn)與基板電路連接處，此patch在與solder side連接處需確保其平滑性，故需在連接處有c1 continuity，與top side相似，此處的連結(jié)力為銲錫與電路基板的吸附力?！緢D3】所示即為錫不足、良與錫過(guò)多的銲點(diǎn)模型。（a）錫不足 （b）良 （c）錫過(guò)多【圖3】3種狀態(tài)的銲點(diǎn)模型2.2 銲點(diǎn)表面反射模型之建立銲點(diǎn)外觀的另一特性即為其高度的鏡面反射成分（specularity），為模擬出此種特殊的反射表面，在此使用phong illumination model12作為

20、此模擬的反射模型。phong illumination model假設(shè)光源為無(wú)窮遠(yuǎn)處的一個(gè)點(diǎn)光源，在此假設(shè)之下，被光源照射的景物中的每一點(diǎn)都會(huì)接受相同方向與亮度的光線。而通常一個(gè)銲點(diǎn)的尺寸很小，與在檢測(cè)過(guò)程中所使用的光源距離相較之下，幾乎可假設(shè)光源位於無(wú)窮遠(yuǎn)處5。故在此使用phong illumination model的假設(shè)是合理的?！緢D4】表面反射之示意圖在上圖【圖4】中，代表光源的方向向量，代表表面的法向量，代表視角方向，代表光源的反射方向，為介於光源方向與視角方向中間的方向向量（halfway vector）。則phong illumination model的數(shù)學(xué)形式如下12：（1）

21、其中代表反射光的亮度，亦即影像中的灰階；代表點(diǎn)光源的亮度。表示此反射模型中擴(kuò)散反射（diffuse reflection）的成分，其中的即為擴(kuò)散反射係數(shù)（diffuse-reflection coefficient），是一個(gè)介於0與1間的常數(shù)，代表此擴(kuò)散反射項(xiàng)在總體反射亮度裡的比例，並隨不同的表面特性而改變。由此擴(kuò)散反射項(xiàng)可知，擴(kuò)散反射成分只與光源的入射方向與表面的法向量之間的夾角有關(guān)，而與自何方向觀看無(wú)關(guān)。在此限制為介於0到90度的範(fàn)圍，超出此範(fàn)圍的的角度則令反射項(xiàng)為0，目的在製造一個(gè)具有遮蔽陰影的環(huán)境（self-occluding）。表示鏡面反射（specular reflection）的

22、成分，其中的也是一個(gè)介於0與1之間的常數(shù)，稱為鏡面反射係數(shù)（specular-reflection coefficient），隨不同表面特性而改變。由於為光源與視角的中間向量，可知，並由此鏡面反射項(xiàng)可知，鏡面反射成分的最大值會(huì)出現(xiàn)在時(shí)，亦即當(dāng)表面位向的法向量恰介於光源與視角的夾角中點(diǎn)時(shí)，此視角方向的觀察者會(huì)見(jiàn)到鏡面反射的最大值。隨著夾角的增大，此鏡面反射成分跟著下降，其下降的速率取決於此表面的鏡面反射指數(shù)（specular-reflection exponent）n，n值越大，鏡面反射下降趨勢(shì)越陡峭，故n值也可表示此表面在鏡面反射成分的銳利程度（sharpness），例如對(duì)於一個(gè)完美的鏡面而言

23、，其n的值會(huì)趨近於無(wú)限大。在計(jì)算鏡面反射的時(shí)候，仍然要維持著與擴(kuò)散反射相同的遮蔽條件。銲點(diǎn)的表面具有高度的鏡面反射特性，亦即其反射模型的值與n值皆很大。在此模擬裡，設(shè)=0.1、=0.9、n=150。考慮（1），將其改寫(xiě)成向量形式，將有助於簡(jiǎn)化程式與理解過(guò)程，如下式：（2）由於攝影機(jī)的架設(shè)是固定於待測(cè)電路板的正上方，故可知，此時(shí)（2）中只剩下兩個(gè)變數(shù)向量，即表面的法向量與點(diǎn)光源的入射方向向量。最後，phong illumination model的反射亮度具有累加性，即對(duì)於m個(gè)點(diǎn)光源而言，個(gè)別光源所造成的反射亮度可加總以代表最後的反射亮度：（3）2.3 環(huán)形光源之模擬環(huán)形光源是在銲點(diǎn)檢測(cè)文獻(xiàn)裡常

24、用的照明方式6-8，其擁有依擺設(shè)高度不同而造成不同入射角度光源的特性，並且此具有強(qiáng)烈方向性的光源會(huì)在高度鏡面反射的銲點(diǎn)表面產(chǎn)生反差很大的光影圖案，故採(cǎi)用環(huán)形光源所得到的影像較不易受到外界干擾而產(chǎn)生不穩(wěn)定的灰階影像，而此穩(wěn)定且高反差的影像將有助於將來(lái)的二值化與特徵粹取。在此節(jié)裡，將結(jié)合前兩節(jié)所做出之銲點(diǎn)表面模型與反射模型，配合近似的環(huán)形光源，進(jìn)行銲點(diǎn)的電腦影像合成。而所模擬與實(shí)驗(yàn)的環(huán)形光源，是在一個(gè)圓周上擺上數(shù)個(gè)均勻分佈的點(diǎn)光源，故整體配置將如【圖5】所示?！緢D5】光源、取像設(shè)備及銲點(diǎn)的配置圖又由於phong illumination model具有亮度的累加性質(zhì)，故加總各個(gè)點(diǎn)光源所造成的反射亮

25、度值，可代表最後的環(huán)形光源照射之結(jié)果?？紤]（3），由於隨著m值的增大，電腦的計(jì)算量也跟著增加，故在此以m=8近似一個(gè)環(huán)形光。由於在實(shí)際的實(shí)驗(yàn)裡，環(huán)形光也是由多個(gè)led燈泡排在環(huán)形上所組成，並且反射模型裡的鏡面反射指數(shù)n不是無(wú)限大，故每個(gè)點(diǎn)光源仍具有一定的擴(kuò)散性，因此這個(gè)光源數(shù)目的模擬仍可有效的觀察出灰階影像裡光影圖案的定性特性?！緢D6】所示為=30度環(huán)形光之真實(shí)實(shí)驗(yàn)結(jié)果與=30度環(huán)形光之模擬結(jié)果。由上下兩行個(gè)別比較中，可知合成影像與真實(shí)影像之間有高度相似性，尤其是光影圖案的定性規(guī)則。30 degreeinsufficientgoodexcessreal datasynthetic data【圖

26、6】3種狀態(tài)銲點(diǎn)在30度環(huán)形光下真實(shí)與合成影像的比較15 degree30 degreereal datasynthetic data45 degree60 degreereal datasynthetic data【圖7】錫過(guò)多銲點(diǎn)在4種角度環(huán)形光下真實(shí)與合成影像的比較【圖7】所示為同一個(gè)錫過(guò)多的銲點(diǎn)在四種不同角度環(huán)形光下的真實(shí)與模擬結(jié)果。目的在顯示隨著光源方向的不同，模擬影像中的光影圖案仍維持著真實(shí)影像中的定性特性，即在15度光源時(shí)會(huì)在銲點(diǎn)平緩處形成一橢圓亮區(qū)，隨著光源角度增大，此橢圓漸擴(kuò)大成一中空的環(huán)形，並且此中空環(huán)形光影會(huì)隨著光源角度增加而逐漸擴(kuò)大。經(jīng)由此章的討論，可知目前已掌握模擬模

27、型的表面形狀特性與反射特性，並且經(jīng)由與真實(shí)影像的比較中確認(rèn)了此模型與真實(shí)銲點(diǎn)的一致性。此一致性將確保模擬成果的可性度，這在後來(lái)的最佳光源角度找尋與特徵萃取裡將有重要的影響。第3章最佳光源角度與特徵本章的目的，在接續(xù)第3章所建立起的銲點(diǎn)模型，進(jìn)行最佳光源選取與特徵萃取。在3.1節(jié)中將討論在各個(gè)不同角度環(huán)形光下所呈現(xiàn)的銲點(diǎn)影像，並在3.2節(jié)裡估測(cè)最佳光源的角度，進(jìn)而在3.3節(jié)裡，以最佳光源為前提下，提出銲點(diǎn)影像的候選特徵值?？紤]2.1節(jié)裡所建立的三種銲點(diǎn)狀態(tài)之表面模型，將錫不足與良、良與錫過(guò)多之銲點(diǎn)表面模型之控制點(diǎn)進(jìn)行線性內(nèi)差，各分成4與5等分，以模擬銲點(diǎn)由錫不足到良再到錫過(guò)多的10個(gè)變化過(guò)程。接

28、著改變環(huán)形光源與相機(jī)軸的夾角，以模擬出由0度到90度等7個(gè)由高而低的環(huán)形光源，最後總共有70個(gè)合成影像，如【圖8】所示。3.1 高角度與低角度環(huán)形光之討論 觀察【圖8】之0度的10張合成影像，其由錫不足到錫過(guò)多所顯示出之光影特徵很具區(qū)別性（separability），並且光影圖案的形狀多屬簡(jiǎn)單的幾何圖形，對(duì)於特徵萃取的過(guò)程將有簡(jiǎn)化的功能，故0度之環(huán)形光本應(yīng)是最佳角度的光源之一。 但由於0度之環(huán)形光需將光源置於無(wú)窮遠(yuǎn)的高度處，這在物理上是難以實(shí)現(xiàn)的，若要以同軸光取代0度環(huán)形光，又必須遷就到目前實(shí)驗(yàn)與工業(yè)上之同軸光均具有較大的擴(kuò)散性，無(wú)法做出真正具單一方向的平行落射光。故雖然其模擬結(jié)果很令人滿意，

29、但仍無(wú)法在實(shí)際應(yīng)用上採(cǎi)用。 對(duì)於45度到90度等四組環(huán)形光源而言，其雖可以電腦模擬出合成影像，但在實(shí)際的實(shí)驗(yàn)與應(yīng)用裡卻有一定困難性。首先，銲點(diǎn)的尺寸很小，在電路板上經(jīng)常有許多體積較大的元件容易將低角度的光線遮蔽，使銲點(diǎn)無(wú)法受光以進(jìn)行檢測(cè)。甚至在超過(guò)60度之後的光源本體已與電路板相當(dāng)靠近，容易與電路元件相碰撞，以致難以進(jìn)行實(shí)驗(yàn)，而90度光源更是在實(shí)際上不可能產(chǎn)生的入射光源。但相反的，自上方即角度較小的入射光線則不受此限制。第二，角度較大的入射光源所能放置的高度範(fàn)圍比起角度較小的光源小很多，並且其入射光的入射角度也會(huì)對(duì)高度的變化極度敏感，以致在實(shí)際應(yīng)用裡需要較準(zhǔn)確的定位與較多的光源校正。換句話說(shuō)，

30、角度較大之光源所產(chǎn)生之影像較缺乏對(duì)光源些微位置改變的容誤性與強(qiáng)健性。 綜合以上，在避開(kāi)最高角度與過(guò)低角度的環(huán)形光源後，我們將進(jìn)一步把重心放在15度與30度入射光源的討論。 the angle of light the stateof solder joint0153045607590insufficientsoldergoodsolderexcesssolder【圖8】改變銲點(diǎn)狀態(tài)與光源角度之70張合成影像3.2 最佳光源角度之選擇 考慮【圖8】中入射光源角度分別為15與30度之銲點(diǎn)合成影像。初步的觀察將會(huì)發(fā)現(xiàn)15度這組的影像特徵較屬於單純幾何形狀，而30度這組的影像則具有較多彎曲與破碎的光影

31、圖案，較不容易進(jìn)行處理。故容易導(dǎo)向以入射角15度的環(huán)形光作為最佳光源。然而，觀察【圖9】銲點(diǎn)在15度環(huán)形光下之影像比較，特別是錫不足這組的影像。發(fā)現(xiàn)位於銲點(diǎn)模型plate side位置處的光影與真實(shí)影像，在此位置有很大的出入。這是由於銲點(diǎn)模型裡plate side本應(yīng)是銲錫與電路相連接的位置，其間的連結(jié)力主要是兩種不同材質(zhì)間的吸附力，此吸附力與銲錫本身的內(nèi)聚力相較之下自然是較不穩(wěn)定的，而其呈現(xiàn)的表面影像特徵也相對(duì)的不穩(wěn)定。唯此不穩(wěn)定的表面特性是目前模擬模型尚無(wú)法表現(xiàn)的。15 degreeinsufficientgoodexcessreal datasynthetic data【圖9】3種狀態(tài)銲

32、點(diǎn)在15度環(huán)形光下真實(shí)與合成影像的比較 另一個(gè)由吸附力所建構(gòu)的銲點(diǎn)部分為模型裡的top side。觀察【圖9】，可發(fā)現(xiàn)top side在模擬影像裡有完整且穩(wěn)定的影像特徵，但在真實(shí)影像裡，卻會(huì)因?yàn)椴环€(wěn)定的表面特性而產(chǎn)生與模型有較大出入的影像。 綜上所述，在尋找影像特徵時(shí)應(yīng)該避免採(cǎi)用位於以吸附力為主體的表面反射特徵，且應(yīng)儘量採(cǎi)用以銲錫內(nèi)聚力為主體的表面反射特徵。15度的光源入射角度較小，容易使較為平緩的銲錫表面產(chǎn)生鏡面反射。而在錫不足與良的情況下，此種平緩表面多為擁有不穩(wěn)定表面特性的top side與plate side，致使找尋出來(lái)的模擬影像特徵將容易與真實(shí)影像特徵不一致。 另一方面，30度的環(huán)

33、形光源入射角度較大，容易使較陡峭的表面部分產(chǎn)生鏡面反射，此時(shí)光影圖案將會(huì)移動(dòng)到模型裡的solder side，而此部分的銲錫表面主要是由內(nèi)聚力所構(gòu)成，所以表面特性與反射影像都相對(duì)的穩(wěn)定。以上的推論可由觀察【圖6】加以確認(rèn)?？v使由30度環(huán)形光源所產(chǎn)生之銲點(diǎn)影像特徵屬於較難以描述的幾何形狀，但由於其穩(wěn)定且具區(qū)別性的光影圖案，我們可大致推論最利於找尋光影特徵的光源角度會(huì)是位於30度附近。3.3 銲點(diǎn)影像特徵之萃取 既已估測(cè)出最佳光源角度為30度，就可進(jìn)一步觀察在此角度光源下的影像變化。瞭解影像的變化方式，方能歸納出欲選取的特徵值，因?yàn)樵诒疚牡牟呗灾?，特徵值的選取必須根據(jù)物理變化的定性特性，如此萃取出

34、的特徵值才具有分類上的實(shí)質(zhì)意義?！緢D10】所示為在30度角光源下的錫不足、良與錫過(guò)多之銲點(diǎn)影像。首先考慮【圖10a】錫不足之影像，由此影像可觀察出其中最主要的兩個(gè)亮區(qū)a與b，形狀分別為半圓弧的長(zhǎng)條狀以及一類似矩形的周邊。但由於在錫不足的狀態(tài)時(shí)，b亮區(qū)是為於銲點(diǎn)中的top side，而此處的銲點(diǎn)外觀屬於較不穩(wěn)定的區(qū)域，故並不適宜將其當(dāng)作特徵萃取的對(duì)象；反觀a亮區(qū)，隨著銲錫量的增加，類似此處位向分佈的區(qū)域則會(huì)向前移動(dòng)，導(dǎo)致a亮區(qū)也跟著向前移動(dòng)，甚至在接近良錫時(shí)，此a亮區(qū)還會(huì)被迫分離為兩個(gè)部分，如【圖10b】所示。baba （a）錫不足 （b）良 （c）錫過(guò)多【圖10】30度光源下的3種銲錫影像 亮

35、區(qū)a在由良錫到錫過(guò)多的過(guò)程中，除了面積的微小變化外，已無(wú)太多的變動(dòng)；但在由良錫到錫過(guò)多的過(guò)程裡，亮區(qū)b卻有了很大的變化。隨著錫量的漸漸增多，銲點(diǎn)也逐漸在靠近中心的位置處隆起，而有較多位向平緩的區(qū)域面積，此情形導(dǎo)致b亮區(qū)在top side與solder side的連接處漸漸有較大的面積，甚而到了錫過(guò)多時(shí)，b亮區(qū)往銲點(diǎn)的中心處移動(dòng)，形成一類似圓環(huán)的形狀，如【圖10c】所示。 既已觀察了銲點(diǎn)影像變化的定性特性，接下來(lái)就可提出一些候選特徵。由於以上的觀察均是以亮區(qū)變化作為主要考量，故在此提出的特徵將是來(lái)自二值化過(guò)後的銲點(diǎn)影像。將初步考慮的候選特徵值分述如下。對(duì)於a亮區(qū)而言：（a1）、面積（area）：

36、在由錫不足【圖10a】進(jìn)入到良錫【圖10b】的過(guò)程裡，a亮區(qū)會(huì)被分離為兩部分，故其面積會(huì)有一明顯的下降；而此下降趨勢(shì)在由良錫到錫過(guò)多【圖10c】的過(guò)程裡又將恢復(fù)平緩。（a2）、連通性（connectivity）：a亮區(qū)在錫不足的狀況下，形狀呈現(xiàn)單一的半圓弧形，此時(shí)連通物件（connected component）的數(shù)目只有1個(gè)；進(jìn)入到良錫的狀態(tài)之後，a亮區(qū)被分離，故連通物件的數(shù)目變?yōu)?個(gè)。此連通性特徵值不受其他定量變化的影響，故為一強(qiáng)健的拓樸特徵值（topological feature）13。（a3）、型心位置（position of centroid）：在由錫不足進(jìn)入到良錫的過(guò)程裡，亮區(qū)a

37、的型心位置不斷向銲點(diǎn)的前方移動(dòng)，此移動(dòng)趨勢(shì)直到亮區(qū)a分離為兩部分，亦即由良錫到錫過(guò)多的過(guò)程裡才又漸緩。（a4）、緊致性（compactness）：a亮區(qū)的型心位置可表達(dá)其移動(dòng)的趨勢(shì)，但卻無(wú)法進(jìn)行形狀的描述，緊致性即是針對(duì)此問(wèn)題而衍生出來(lái)。區(qū)域的緊致性定義為區(qū)域周長(zhǎng)的平方除以區(qū)域的面積13。則儘管有相同的型心位置，半圓弧形長(zhǎng)條狀的a亮區(qū)之緊致性當(dāng)有別於單純的矩形長(zhǎng)條狀亮區(qū)。緊致性本身是一種無(wú)量綱（dimensionless）的量，因此不受比例變化影響，也不對(duì)於方位變化敏感。對(duì)於-b亮區(qū)而言：（b1）、修正區(qū)域之面積（modified region area）：在由錫不足到良錫的過(guò)程中，原本的b亮

38、區(qū)屬於不穩(wěn)定的區(qū)域，故將檢測(cè)區(qū)域往前挪到top side與solder side交接處，成為一修正過(guò)的b亮區(qū)。此修正區(qū)域的亮點(diǎn)面積在錫不足到良錫的過(guò)程裡會(huì)是一個(gè)很小的值；而在錫量到錫過(guò)多的過(guò)程中，則將隨錫量的增加而有明顯上升。（b2）、修正區(qū)域型心位置（modified position of centroid）：與修正區(qū)域面積的討論相似，將檢測(cè)區(qū)域移動(dòng)到修正過(guò)的b亮區(qū)。此修正亮區(qū)在錫不足到良錫的過(guò)程裡不僅面積值很低，其型心位置也不會(huì)有太大的變動(dòng)；而於良錫到錫過(guò)多的過(guò)程裡，則會(huì)隨著面積的增加，而有往前移動(dòng)的趨勢(shì)。（b3）、離心率（eccentricity）14：在由錫良到錫過(guò)多的過(guò)程裡，修正過(guò)

39、的b亮區(qū)逐漸由扁平的三角形變化為最後的中空?qǐng)A環(huán)，在此過(guò)程中，描述經(jīng)修正b亮區(qū)的離心率值會(huì)由一個(gè)很高的值而逐漸下降。（b4）、中空區(qū)域數(shù)目（number of holes）：在由錫良到錫過(guò)多的過(guò)程裡，修正過(guò)的b亮區(qū)原為一實(shí)心區(qū)域，此時(shí)中空區(qū)域數(shù)目為0；但在接近錫過(guò)多時(shí)，此區(qū)域會(huì)在中心處出現(xiàn)空心的現(xiàn)象，而成為一中空?qǐng)A環(huán)，此時(shí)中空區(qū)域數(shù)目為1。此特徵值也是一種拓樸描述方式，故也具備了分類意義的強(qiáng)健性。 以上所提之候選特徵值，無(wú)論是a或b亮區(qū)的描述子，皆必須經(jīng)過(guò)正規(guī)化（normalization）的處理，如此方能適應(yīng)不同尺寸變化的銲點(diǎn)檢驗(yàn)。目前的特徵萃取尚在對(duì)於合成影像的初步定性觀察階段，至於定量計(jì)算

40、與使用真實(shí)銲點(diǎn)影像進(jìn)行特徵萃取則需要留待未來(lái)工作裡進(jìn)行。儘管如此，上述的候選特徵組合已為未來(lái)的最佳特徵組合與分類提供一個(gè)好的方向。第4章結(jié)論與未來(lái)工作進(jìn)度4.1 結(jié)論 本研究計(jì)畫(huà)對(duì)於銲點(diǎn)自動(dòng)化光學(xué)檢測(cè)提出一套分析步驟。其中包括：（1）、在第2章中建立與實(shí)際銲點(diǎn)有一致性的電腦模型。（2）、在第3章中，由模型模擬在各種角度環(huán)形光源下的影像，並進(jìn)一步討論各種角度光源的利弊以找出最適合銲點(diǎn)檢驗(yàn)的光源。（3）、最後對(duì)於銲點(diǎn)影像提出候選特徵值。 本研究主要特點(diǎn)在於使用電腦模擬的方式，大量合成出各種角度光源與銲錫狀態(tài)之銲點(diǎn)影像，如此方能對(duì)於銲點(diǎn)檢驗(yàn)找出最適合的光源，並求出銲點(diǎn)影像變化的最佳特徵組合，目的在針

41、對(duì)目前文獻(xiàn)方法之弱點(diǎn)，在生產(chǎn)線打光取像與運(yùn)算時(shí)限的要求下，改良銲點(diǎn)檢驗(yàn)的瑕疵辨識(shí)能力。4.2 未來(lái)工作進(jìn)度 目前的研究成果，已對(duì)最佳光源下之銲點(diǎn)影像變化提出候選特徵值。然而這些特徵值尚處?kù)抖ㄐ缘某醪接^察階段，故搜尋更多有物理意義的候選特徵值及對(duì)於這些特徵值進(jìn)行定量運(yùn)算的程式撰寫(xiě)，則是下一步亟待進(jìn)行的工作。既已提出估測(cè)特徵值，則可將此估測(cè)值套用於合成及真實(shí)的銲點(diǎn)影像中，將特徵值加以修正，目的在對(duì)於特徵組合的物理效能進(jìn)行測(cè)試。接著便是對(duì)於修正後的特徵組合進(jìn)行穩(wěn)定性、離散性與相關(guān)性的測(cè)試，目的在進(jìn)行統(tǒng)計(jì)效能的測(cè)試，以作為最佳化特徵組合建構(gòu)時(shí)的標(biāo)準(zhǔn)。最後即是完成最佳特徵組合與銲點(diǎn)檢測(cè)流程。工作進(jìn)度如下

42、表： 月次項(xiàng)目91/1191/1292/192/292/392/492/592/6候選特徵搜尋計(jì)算程式撰寫(xiě)物理效能測(cè)試統(tǒng)計(jì)效能測(cè)試特徵組合與檢測(cè)流程建構(gòu)結(jié)果分析與報(bào)告撰寫(xiě)參考文獻(xiàn)1 paul j. besl, edward j. delp, ramesh jain, “automatic visual solder joint inspection,” ieee journal of robotics and automation, vra-1, n1, pp.42-56, 1985.2 sandra l. bartlett, paul j. besl, ramesh jain, “autom

43、atic solder joint inspection,” ieee transactions on pattern analysis and machine intelligence, v10, n1, pp.31-43, 1988.3 morris r. driels, daniel j. nolan, “automatic defect classification of printed wiring board solder joints,” ieee transactions on components, hybrids, and manufacturing technology,

44、 v13, n2, pp.331-340, 1990.4 arthur c. sanderson, lee e. weiss, shree k. nayar, “structured highlight inspection of specular surfaces,” ieee transactions on pattern analysis and machine intelligence, v10, n1, pp.44-55, 1988.5 shree k. nayar, arthur c. sanderson, lee e. weiss, david a. simon, “specul

45、ar surface inspection using structured highlight and gaussian images,” ieee transactions on robotics and automation, v6, n2, pp.208-218, 1990.6 david w. capson, sai-kit eng, “a tiered-color illumination approach for machine inspection of solder joints,” ieee transactions on pattern analysis and mach

46、ine intelligence, v10, n3, pp.387-393, 1988.7 j. h. kim, h. s. cho, “neural network-based inspection of solder joints using a circular illumination,” image and vision computing, v13, n6, pp.479-490, 1995.8 k. w. ko, h. s. cho, “solder joint inspection using a neural network and fuzzy rule-based classification method,” ieee transactions on electronics packaging manufacturing, v23, n2, pp.93-103, 2000.9 r. schneider, a. schick, “high-speed optical three-dimensional scanner for automatic solder