T-CI 360-2024 IC封裝基板圖像檢測(cè)系統(tǒng)技術(shù)規(guī)范

TechnicalspecificationforimageinspectionsystemofICpackagesubstrateI 2 5 8 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定（ZL202320228298.6）一種表面貼裝元件本文件的發(fā)布機(jī)構(gòu)對(duì)于該專(zhuān)利的真實(shí)性、有效性和范圍無(wú)任專(zhuān)利持有人姓名：合肥綜合性國(guó)家科學(xué)中心人工1IC封裝基板圖像檢測(cè)系統(tǒng)技術(shù)規(guī)范匹配特征融合的SMT貼片元件缺陷檢測(cè)框架和基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架要求，提供了緩解遺忘性的圖像增量學(xué)習(xí)分類(lèi)方法和本文件適用于工業(yè)IC封裝基板及SMT貼裝圖像檢測(cè)系統(tǒng)的研究、設(shè)計(jì)、技術(shù)路線，可作為IC封裝基板和SMT貼裝自動(dòng)光學(xué)檢測(cè)系統(tǒng)設(shè)計(jì)與研究的技術(shù)依據(jù)。適用于3C、芯片等泛半導(dǎo)體行業(yè)、LED、OLED等新型顯示面板行業(yè)以及新能源產(chǎn)業(yè)電池模組端板、電芯等行業(yè)產(chǎn)品工業(yè)視覺(jué)質(zhì)將硅片上的電路管腳用導(dǎo)線接引到外部接頭處，以便與其它器件連接的裝置。注：封裝基板不僅能保護(hù)電路、固定線路并導(dǎo)散余熱表面貼裝技術(shù)surfacemountedtechn注：這種檢測(cè)系統(tǒng)可以改良傳統(tǒng)上使用人力和光學(xué)儀器進(jìn)行檢測(cè)的缺注：LED可高效地將電能轉(zhuǎn)化為光能，因此在現(xiàn)代社會(huì)具有廣化等傳統(tǒng)幾何特征描述的不足，提取圖像的局部幾2卷積神經(jīng)網(wǎng)絡(luò)convolutionalneura體積和重量只有傳統(tǒng)插裝元件的1/10左右，因此利用SMT技術(shù)生產(chǎn)的電子產(chǎn)品整體體積縮小約40%~3垂直，兩個(gè)固定桿4的相對(duì)側(cè)一面分別都設(shè)有滑槽，第一滑動(dòng)移桿5在兩個(gè)固定桿4上的且第一滑動(dòng)移桿5的兩端在滑動(dòng)結(jié)束后通過(guò)螺栓固定住，第一滑動(dòng)移桿5水平布置，第二滑動(dòng)移桿6在兩桿6也水平布置，第一滑動(dòng)移桿5在第二滑動(dòng)移桿6的上方，即第一滑動(dòng)移桿5和第二滑動(dòng)移桿6在松開(kāi)螺相機(jī)8拍攝時(shí)的拍攝鏡頭垂直向下，光源機(jī)構(gòu)9包括半球環(huán)形裝置10、紅色環(huán)綠色環(huán)形LED發(fā)光二極管燈帶12和藍(lán)色環(huán)形LED發(fā)光二極管燈帶13，半球環(huán)形裝置10與第二滑動(dòng)移桿6二極管燈帶12和藍(lán)色環(huán)形LED發(fā)光二極管燈帶13在半球環(huán)形裝置10從上而下依次緊貼，工業(yè)相機(jī)8和半4得不同高度的光源機(jī)構(gòu)3對(duì)電路板進(jìn)行照射，可以得到更高的成像分辨率路板受到均勻光照，避免由于視角不同、照明差異所導(dǎo)致PCB成像不一致55基于主要距離的空域融合主板拼接方法采用多種濾波器復(fù)合處理的解決方案，即先對(duì)原始圖像進(jìn)行雙邊濾波，再經(jīng)過(guò)一次中值濾波。a)雙邊濾波是在高斯濾波的基礎(chǔ)上加入了像素值權(quán)重項(xiàng)，能夠很好地對(duì)圖像進(jìn)行平滑處理以濾··············································b)中值濾波是把數(shù)字圖像一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值代替，對(duì)處理椒鹽噪聲非AOI系統(tǒng)中的PCB圖像在拍攝過(guò)程中是通PCBA主板上的存在著各種元器件、孔位、錫膏和字符等，經(jīng)過(guò)平移特征，利用好圖像間重疊部分的這些特征，將對(duì)拼接算法有著非常重要的意義，SURF特征提取算法在a)在原始圖像的基礎(chǔ)上構(gòu)建尺度空間。SURF首先將原圖轉(zhuǎn)換為積分圖像，對(duì)于圖像中某一點(diǎn)6IΣ(p)=∑∑ωI(i,j)··············································(4)ω——權(quán)重系數(shù)，范圍為[0,1]，表示由原點(diǎn)和該點(diǎn)組成的矩形區(qū)域內(nèi)所有像素的總和。），|················································c)將盒式濾波器帶入Hessian矩陣，得········································式中Dxx、Dxy和Dyy分別代表盒式濾波器的三個(gè)濾波模板。然后det(H)=det(H)=DXXDyyDy 為了平衡近似代替的誤差，通常要在Dxy前乘上一個(gè)加權(quán)系數(shù)0.9。如果將det(H)作為判別項(xiàng)，則5.4特征點(diǎn)精確定位5.4.1通過(guò)盒式濾波器建立起圖像的尺度空間后，對(duì)像素點(diǎn)可以計(jì)算出其近似的海森矩陣行列式的正負(fù)性，從而判斷該點(diǎn)是否為極值點(diǎn)。然后再將其的極值點(diǎn)可能處在兩點(diǎn)中間，因此需要采用二次插值來(lái)確定亞像素級(jí)特征點(diǎn)的精5.4.2在特征點(diǎn)的半徑為n_6*S（S為特征點(diǎn)所在的尺度值）5.4.3在以特征點(diǎn)為中心，周?chē)鷑_2方向。再將該區(qū)域劃分為n_4*n_4個(gè)子塊，每個(gè)子塊大小為n_5*S*n_5*S直和水平方向的Harr小波響應(yīng)值之和，包括四個(gè)分量∑dx、∑dy、∑dx和∑dy，得到一個(gè)n_4*n_4*n_4維的特征點(diǎn)描述向量。最后對(duì)其歸一化處理以消除光照影響，得到特征點(diǎn)描述向量。特征點(diǎn)的集合M和N后，下一步需要對(duì)兩個(gè)集合內(nèi)的特征點(diǎn)的將是查詢集中與其歐氏距離最近和次近的特征點(diǎn)，距離分別為d0和d1。然后對(duì)距離比r進(jìn)行評(píng)估：···························································如果r的值小于某個(gè)閾值，就保留該對(duì)匹配點(diǎn)，手動(dòng)設(shè)定的值來(lái)確定。經(jīng)過(guò)上述論證，采用SURF提取的特征點(diǎn)在配對(duì)后，如果將兩幅圖像直接拼接在5.5.2將主要距離進(jìn)一步細(xì)化，得到精確到像素單位的匹配點(diǎn)距離分布直方圖。通過(guò)在硬拼接的流程7對(duì)于列拼接，按照設(shè)定的列偏移，將左圖的重疊區(qū)域截?cái)啵賹⒂覉D與截?cái)嗪蟮淖髨D通過(guò)concatenate依次類(lèi)推，完成整個(gè)列的拼接；對(duì)于行拼接，5.5.4為消除因光照不均造成的拼接縫兩邊明顯色差。將拼接縫兩邊一定范圍內(nèi)的像素分別用兩張圖={wI1?····················5.5.5采用SURF算法提取出待拼接圖像的特征點(diǎn)并配對(duì)，再計(jì)算出匹配對(duì)之間的歐6.1在元件貼裝環(huán)節(jié)，電子貼片元件通過(guò)錫膏焊接在P陷檢測(cè)主要分為人工目檢和AOI。即經(jīng)過(guò)A6.2首先將貼片元件的模板圖像與貼片元件的待測(cè)圖像組成貼片元件樣本，并根據(jù)貼片元件樣本中的待測(cè)圖像的深度特征p2，并得到模板圖像和待測(cè)圖像的語(yǔ)義差異映射特征D(p1,p2)。p2應(yīng)用一個(gè)相關(guān)操作模塊，得到模板圖像和待測(cè)圖像的語(yǔ)義差異映射D(p1,p2)：·········································{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7}；最后連接一個(gè)Soft明圖像Iz、IT對(duì)應(yīng)的貼片元件類(lèi)型不同，因此期望它們的特征在特征空間中的距8貼片元件樣本{Iz,IT}的標(biāo)簽為0時(shí)，表loss=0(Y,p1,p2)iY——第i個(gè)貼片元件樣本的標(biāo)簽；設(shè)定當(dāng)D(p1,p2)>M時(shí)，損失函數(shù)值為0，以簡(jiǎn)化計(jì)算。根據(jù)損失函數(shù)loss，訓(xùn)練缺陷檢測(cè)模型，6.5將訓(xùn)練完成的缺陷檢測(cè)模型用于待測(cè)圖像的SMT缺值時(shí)，判斷待測(cè)圖像對(duì)應(yīng)的貼片元件為正常。基于匹配特征融合的SMT貼片元件缺陷檢測(cè)框架如圖5基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT小樣本缺陷分割框架9stuff用像素級(jí)的東西注釋增強(qiáng)了流行的COCO數(shù)據(jù)集θ,然后通過(guò)梯度下降對(duì)它們進(jìn)行優(yōu)化，迭代輪數(shù)為epochs，如下所示：,Θ;θ-=,Θ;θ-α▽?D(,Θ;θ-)········································(12)那么Θ就是將輸入轉(zhuǎn)換為一個(gè)n_class維度的特征向量。分類(lèi)器θ是用來(lái)做維度轉(zhuǎn)換的，比如我們最后小樣本分類(lèi)是一個(gè)target_class分類(lèi)，那么分類(lèi)器θ作用就是將n·····································f,Θ;θ-(x)——預(yù)測(cè)值；之后預(yù)訓(xùn)練學(xué)習(xí)到的分類(lèi)器θ將被丟棄，因?yàn)殡S后的幾次任務(wù)包含不同的網(wǎng)絡(luò)。將Φs1初始化為weight同維度的全1向量，Φs2初始化為bias同維度的整個(gè)訓(xùn)練過(guò)程可以分為兩個(gè)階段，首先將數(shù)據(jù)集分為支持集和查詢集，T(支持集)的損失通過(guò)θ’←θβ▽?duì)?τ(tr)(,Θ;θ-,Φs1,2)········································(14)β——學(xué)習(xí)率；ΦSi=:ΦSiy▽?duì)祍iLT(te)([Θ;θI],y——學(xué)習(xí)率；LT(te)([Θ;θI],ΦS{1,2}si——梯度。高層的特征圖聚合了更多的特征，底層的特征圖有更多的語(yǔ)義信最后，每個(gè)Leveli逐步融合并生成最終預(yù)測(cè)。任意兩層之間的融SU=Conv(FA□FB·············································Lpre=Lce+Ldice+Lfocal·············································(17)LDicecoff——相似系數(shù)損失函數(shù)，見(jiàn)公式（17LFocal——Focal損失函數(shù)，見(jiàn)公式（18Llogic——邏輯損失函數(shù)，見(jiàn)公式（19）。LDicecoff=·················································X——預(yù)測(cè)樣本正例的面積；Y——真實(shí)樣本正例的面積；LFocal=α(1p)γlog(p)············································(19)——調(diào)制系數(shù)；Llogic=∑,yilog(g(x))+(1yi)log(1g(x))-·····························(20)yi——標(biāo)簽的樣本值；將測(cè)試數(shù)據(jù)集中的小樣本PCB圖像輸入到元遷移學(xué)習(xí)框架，得到最終分割結(jié)果。結(jié)果采mI0U=······································miou做為評(píng)估指標(biāo)。8.1緩解增量學(xué)習(xí)中遺忘性危機(jī)的深度學(xué)習(xí)圖像分類(lèi)算法利用自適應(yīng)聚合網(wǎng)絡(luò)來(lái)保證模型不會(huì)增長(zhǎng)的緩解遺忘性的圖像增量學(xué)習(xí)分類(lèi)算法結(jié)構(gòu)如圖7所示，其中藍(lán)色的部分被稱(chēng)作塑性模塊，用來(lái)存放塊分別是兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)的部分層，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)可以是ResNet也可以是ResNext等。將圖片分個(gè)層，以此類(lèi)推，其中αη,1-與αφ,1-代表第一個(gè)此時(shí)，將部分基類(lèi)的圖像數(shù)據(jù)送入穩(wěn)定模塊部分的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，優(yōu)化目標(biāo)φ=argminL(0utput,target)·········································(22)L(.)——交叉熵?fù)p失函數(shù)。8.3在增量學(xué)習(xí)階段，穩(wěn)定模塊部分的參數(shù)將被凍結(jié)，即不再變化。并先訓(xùn)練塑性模塊的網(wǎng)絡(luò)模型參η=argminLIC(0utput,target)·······································(23),αφ[i]=argminL(η,φ;output,target)··································(24)L(.)——交叉熵?fù)p失函數(shù)。η=argminL(φ;αη[i],αφ[i];output,target)··································(25)8.4在蒸餾學(xué)習(xí)階段，將模型的全部參數(shù)凍結(jié)，并按照穩(wěn)定模塊的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)復(fù)制一個(gè)相同應(yīng)聚合網(wǎng)絡(luò)以及復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)，分別得到輸出outputT與outputs，將outputT作為復(fù)制的穩(wěn)定模φ=argminLd(η,φ;αη[i],αφ[i];outputT,outputs)+λ*argminL(η,φ;αη[i],αφ[i];Ld(.)——蒸餾損失函數(shù)；φ——復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)。9基于能量分布的未知異常樣本檢測(cè)方法擴(kuò)展策略增強(qiáng)了混合已知和未知缺陷樣本的全局特征表示，然后增強(qiáng)的表示將被映射到更具區(qū)分度的同已知PCB缺陷類(lèi)別檢測(cè)不同，期目標(biāo)在未知缺陷樣本的干擾下分配標(biāo)簽，提出了一種基于logit空間的基于能量的傳輸（ET）機(jī)制，以更充分地探索未標(biāo)記集中的語(yǔ)9.3具體來(lái)說(shuō)，以與分類(lèi)器Hcls并行的方式引入K維度的OT聚類(lèi)器記為Hot，用于將訓(xùn)練樣本聚類(lèi)為K個(gè)簇中心。對(duì)于給定的N個(gè)樣本x∈*x1,x2,...,xn}，以及通過(guò)骨干網(wǎng)絡(luò)提取的特征編碼∈P(cxi)=softmax(Hot(Zi))···········································(27)c——一個(gè)K維度的向量，用來(lái)表示KPji=P(cjxi) Qji=Q(cjxi) I——相應(yīng)維度的全1向量；ijxi)················································(31)其中l(wèi)(cjxi)=Hot(zi)，表示樣本xi屬于簇cj的邏輯分?jǐn)?shù)。9.5基于能量的傳輸機(jī)制（ET）將鼓勵(lì)具有較高能量分?jǐn)?shù)的樣本被分配到同一個(gè)簇中，而那些具有較 1ε=Diag(u)penDiag(v)············································(36)在這里，指數(shù)運(yùn)算是逐元素進(jìn)行的，而通過(guò)Sinkhorn算法，u和v可以更快地求解。分配矩陣Q將N9.6漸進(jìn)式訓(xùn)練樣本構(gòu)建，在第t個(gè)訓(xùn)練階段屬于第k個(gè)簇的樣本形成集合Dk，記為: 第t個(gè)訓(xùn)練階段，定義已知PCBA缺陷類(lèi)標(biāo) 請(qǐng)注意，在t=0時(shí)，y并且在訓(xùn)練過(guò)程中會(huì)進(jìn)行更新，而yl保持不變。然后計(jì)算類(lèi)別y∈y(t)的樣本比例如下：rate···········································xi =Σxi∈DΣyi∈yyi.l0