用奇異值分解的方法自動檢測LCD的缺陷.ppt

用奇異值分解的方法自動檢測LCD的缺陷,摘要,目前，Thin film transistor liquid crystal display(TFT-LCD)越來越主流化并且已經(jīng)在顯示設備終端領域里占有統(tǒng)治地位。LCD的表面缺陷不僅引起視覺上的錯誤，而且會造成電子元件的錯誤和各種設備功能上的使用錯誤。在本文里，我們提出了一個global（球體）逼近方法去自動監(jiān)測TFT面板上的各種細微（肉眼難以發(fā)覺）的缺陷。在TFT面板上建立幾何結構包括很多由水平的和垂直線劃分的小面積元素，這樣就可以把面板劃分成由結構紋理（structural texture）的圖片。這種方法不是依靠紋理的局部特征來描述。它是基于一種用奇異值分解（SVD）而重新構造的球形圖片。（It is based on a global image reconstruction scheme using the singular value decomposition (SVD) ）.把圖片轉換成由像素組成的矩陣，由奇異值組成的對角矩陣代表了不同的圖片細節(jié)。選擇合適的奇異值去描述背景紋理的表面，然后去掉這些奇異值之后再重新構造一個矩陣，這樣，就能夠消除周期性和反復性的紋理模型圖片。，并且保護圖片存儲過程中的不規(guī)則性。在這次試驗里面，我們已經(jīng)評估了TFT面板的的大量的微小，多樣的缺陷，包括：小孔，刮痕，小點和指紋，并且結果顯示這種方法是非常有效的檢測LCD面板缺陷的方法。,1，緒論,這幾年，TFT-LCD已經(jīng)越來越重要，因為它具有很好的全彩色顯示功能，低能耗，小體積。為了監(jiān)控過程的穩(wěn)定性和保證LCD顯示的平面性，此TFT面板缺陷檢測采用了生產(chǎn)過程的臨界作業(yè)。人工視覺檢測和電子功能檢測是最主流的檢測LCD缺陷的方法。但是，手動檢測是非常辛苦和非常消耗時間的工作。人工檢測不僅主觀性很強而且對經(jīng)驗非常依賴。電子功能檢測天生就缺乏聯(lián)機檢測的能力，并且通常都需要吧TFT面板做出來以后才能檢測。在本文中，我們提出一個自動視覺系統(tǒng)來檢測TFT-LCD面板的缺陷。 TFT面板的表面缺陷不僅產(chǎn)生視覺錯誤，而且會引起LCD面板的硬件操作錯誤。出現(xiàn)在TFT面板中的缺陷大致可以分成2類：宏觀的缺陷和微觀的缺陷。宏觀缺陷包括”MURA,SIMI,ZURE”,MURA的意思是面板不均勻，SIMI的意思是TFT面板上有污點，ZURE的意思是面板沒有對準。微觀的缺陷包括小孔，指紋，小點和刮痕。宏觀缺陷與不規(guī)則大小和形狀形成鮮明對比。它們的體積一般都很大，所以很容易用人工視覺來檢測。但是微觀缺陷通常都很小而且很難用人工的方法或者電子的方法來檢測。本文提出的方法就是重點在利用TFT面板結構特點來檢測微觀缺陷。,關于LCD自動檢測系統(tǒng)，有幾種基于檢測技術電子的或者光學的方法已經(jīng)為LCD的制造提出了方法。Henly和Addiego用2維電視覺調節(jié)器產(chǎn)生電壓圖像，這些圖像表示LCD面板的沒有聯(lián)系的潛在表面。Kido et al.介紹了用光學感知裝置來檢測部分完全活性矩陣的LCD面板。表面反射被用來感知光線的變換然后產(chǎn)生一個圖像來表示線和點的缺陷。大多數(shù)現(xiàn)有的自動檢測系統(tǒng)都是基于常規(guī)的電子方法去探測表面潛在的可能。這些電子方法可以很好的查證TFT面板的基本功能。正如前面所說的，這些方法都是要在制作完成后才能進行。功能檢測方法在生產(chǎn)過程中可能就沒有用了。 一些視覺技術用模式匹配算法被用于LCD的檢測。Nakashima提出在LCD彩色過濾面板中采用圖像減少和光學傅立葉過濾來檢測LCD的缺陷 Nakashima presented an inspection system based on image subtraction and optical Fourier filtering for detecting defects on an LCD colour filter panel。,Sokolov and Treskunov developed an automatic vision system for final chech of LCD output check. Slkolov和Treskunov發(fā)明的最終LCD自動檢測系統(tǒng) 還有很多LCD檢測技術主要都集中在最后外觀缺陷檢查，例如：在生產(chǎn)完成后檢查明點和暗點。 一個TFT面板通常包含重復的水平線和垂直的數(shù)據(jù)線。當圖像建立起來后，TFT面板的表面就包含了這些水平的和垂直的元素，它能夠被以結構紋理來分類。TFT面板的圖像就由一些相似的網(wǎng)格組成了一個有序的結構。TFT面板就可以很好的由奇異值分解的方法很好的來表示。在這次的研究中，我們就用SVD的方法很好的來檢查TFT面板上的微觀缺陷。,In this paper, we propose a global approach that uses an SVD-based image reconstruction technique for inspecting micro defects including pinholes, scratches, particles and fingerprints on the surface of TFT panels. The proposed method does not rely on textural features to detect local anomalies, and does not require a reference image for comparison. It alleviates all limitations of the feature extraction schemes and template matching methods just mentioned. 在本文中，我們提出了用球形逼近的基于SVD圖像重構技術去檢測微觀缺陷，其中包括小孔，刮痕，小點，和指紋。這個方法不是依靠結構的特點去發(fā)現(xiàn)局部異常，也不是要求用2個圖像來進行比較。它是提取所有的極限特點有序和完全的滿足以上所提到的方法。 SVD能夠用來分解圖像然后獲得對角矩陣。所有的矩陣都是由奇異值組成。最主要的信息是：圖像能夠被表示為大量的奇異值。在LCD缺陷檢測中，我們可以建立大量的從0到（preserve the smaller singular values）去重構圖像。不規(guī)則背景被去掉，然后很清楚的還原不規(guī)則的圖像。,2缺陷檢測安排,用奇異值分解,假設圖像是一個M*N大小的矩陣X，MN，也就是說長大于寬。它就能夠被表示成在R維子空間里面的圖像，其中R是矩陣X的秩，并且RN。 X=USVT,其中，U是標準正交向量組XXT成的M*R階矩陣。V是N*R矩陣由標準正交向量組XTX組成。S是R*R對角矩陣，對角元素是奇異值，都是XTX方程的非負平方根。奇異值用a表示，并且按照單調遞減的順序排列。 SVD就是基于矩陣X的奇異值分解。奇異值（a）表示了每個矩陣X在每個子空間里的活力（energe）。每個奇異值和它們的分類，都帶有有用的X的信息。在這些奇異值當中，只有一小部分可以用來表示圖片的直角結構，其他的都趨近于0。 The singular values and their distribution, which carry useful information about the contents of X, vary drastically from image to image. For an image with orthogonal texture content such as horizontal and/or vertical structures, only a very few larger singular values will dominate, and yet all others have magnitudes close to zero.,上圖的，是人工模擬的面板，是真實的面板，可以看出，只有第一個奇異值是支配其他所有奇異值的，越往后，奇異值就越趨近于. 在大多數(shù)情況下，大量奇異值中的比較打的奇異值表示的是原始圖像的球形逼近 In most of the cases, the larger singular values (with lager magnitude) represent the global approximation of the original Image 其他奇異值都是表示局部和細節(jié)的圖片，因此，我們能夠選擇合適的奇異值來表示,基于的圖像重建,在這次研究中，我們用機器視覺捕捉有問題的TFT面板的圖像（微觀）。SVD合適地表示了TFT面板上的垂直相交的紋理圖像。因此，基于SVD的圖像重構技術被用來移動TFT面板表上的直角紋理模式。用這種方法我們不需要定義缺陷的各種特點。基于SVD圖像重構技術能消除TFT面板上很多重復的垂直和水平的分界線部分。保留下來的部分能夠很容易的識別TFT面板上的各種缺陷。從重構的圖像里被選出來的奇異值由下列式子給出： X=UjajVTj J從k+1到r。 X是被重構的圖像，Uj和Vj是U和V的第j列向量；k是一些被選出來的奇異值。aj是S的第j個奇異值，r是矩陣X的秩。,從左到右分別為a,b1,b2,b3,c1,c2,c3,Fig. 4. a The artificial horizontal/vertical lines image (the original image); b1 the reconstructed image from 1; b2 The reconstructed image from 2; b3 The reconstructed image from both 1 and 2; c1 The reconstructed image excluding 1; c2 The reconstructed image excluding 2; b3 The reconstructed image excluding both 1 and 2 a圖就是人工畫的紋理圖像（最原始的圖片），b1是用a1重新構建的圖，b2是a2構建的圖，b3是用a1,a2構建的圖，c1是是用包括的a1的主要奇異值構建的圖，c2是包括a2構建的圖，c3是用包括a1,a2構建的圖。,選擇合適的奇異值,用式子1可以分解然后得到一系列的奇異值，用式子2可以選擇一些合適的奇異值來充分的表示一些表面結構。在這次的研究中，我們用k這個值來決定2個相鄰的特征值的臨界關系。由于一開始很難界定k的取值點， 我們用下式來表示一個通用的方法： ai=(ai-ua)/sa i=1,2r 這里，等號前面的是第i個規(guī)格化（normalize）的奇異值，ai 是第i個奇異值，ua 平均數(shù)，s是一個圖像標準偏移值（standard deviation of all singular values） 讓i = i i+1 也就是奇異值I的邊緣增量。如果它大于一些開始的特征值，那么這個增量被認為是有用的。 If i is larger than some threshold (T ), the additional singular value i+1 is considered to be significant.,圖5，從左到右為a,b,c,d,y,Fig. 5ad. The artificial orthogonal image with scratch defects: a The original image; b The plot of the marginal gain () of normalized singular values; c The restored image; d the resulting binary image for defect segmentation a是原始的圖像，b是a的邊緣增量，c是重新構建的圖像，d是缺陷分割的結果。也就是說，在這里，k=4，在4以后，值就已經(jīng)穩(wěn)定了。一旦k選出來以后，我們就能夠消除背景紋理和利用第k個最大奇異值保護缺陷的圖像c就很好的顯示了去掉背景紋理之后的缺陷圖像。 因為背景的亮度變化是非常小的，所以我們利用統(tǒng)計學的方法去建立一個極限，這個極限是用來區(qū)分圖像區(qū)域的缺陷。重構圖像的上限和下限用下面的公式給出： X t sX 這里X和sX是中間值和重構圖像的標準背離（standard deviation of grey levels），t是物理常量。,According to the Chebyshevs theorem 4, the probability that any random variable x will fall within t standard deviations of the mean is at least 1 1 /2 . That is： p(X t sX x X +t sX) 11/2 由切比雪夫不等式得：隨機變量X的可能取值范圍是上面式子的取值范圍。 在TFT面板的實際生產(chǎn)過程中,微觀缺陷大部分都是非常小的，在這次研究中，我們設置的控制常量是k=4，這控制大約93.75%的像素極限,試驗和討論,在這部分中，我們將展示試驗的結果，包括上面提到的各種微觀的缺陷。 在一塊256*256的面板上設置8個灰度。圖6中a-c顯示了每3個灰度圖片所包含的微觀缺陷。 Fig. 6ac. Three defective images under fine image resolution (60 pixels/mm): a Pinhole; b Scratch; c Particle,圖8從a到d顯示了邊緣增量 的圖6和圖7四個測試圖片的圖。可以很明顯的看出，如果邊緣增量小于0.05的話，那么函數(shù)區(qū)域0而且穩(wěn)定。,表1記錄了標準奇異值和他們的增量與4個圖片的詳細信息。可以看出：如果邊緣增量大于0.05，那么，函數(shù)曲線下降很快并且趨于0。因此，0.05就是邊緣增量的初始條件 Defective image Pinhole Fig. 6a Scratch Fig. 6b Particle Fig. 6c Fingerprint Fig. 7 Singular value (i) 1 15.86 14.56 15.77 13.96 15.83 14.38 15.89 15.29 2 1.30 0.85 1.81 0.98 1.45 0.90 0.60 0.10 3 0.45 0.15 0.83 0.30 0.55 0.26 0.51 0.17 4 0.30 0.13 0.53 0.21 0.30 0.04 0.34 0.05 5 0.17 0.04 0.32 0.05 0.25 0.04 0.29 0.10 6 0.13 0.04 0.27 0.10 0.21 0.04 0.19 0.02 7 0.09 0.03 0.17 0.10 0.17 0.03 0.17 0.01 8 0.06 0.03 0.07 0.02 0.14 0.02 0.16 0.04 9 0.03 0.01 0.05 0.02 0.12 0.03 0.12 0.01 10 0.02 0.02 0.04 0.01 0.09 0.01 0.11 0.02,圖9的a1,b1,c1,d1顯示了圖6和7的TFT面板的缺陷圖像。圖9a2顯示了用前5個奇異值重新構建的圖像。能夠發(fā)現(xiàn)重復的背景紋理變得越來越相似于同一個灰度，然后這個指紋缺陷就被明顯的在重新建立的圖像中加強并顯示出來。b2和c2分別顯示了前8個和前4個奇異值重構的圖像，同時也顯示缺陷圖像被很好的存儲起來。D2說明了用d1的前6個奇異值來顯示的圖像。a3d3顯示了用缺陷結果并用二進制圖像保存起來。很明顯，背景紋理被很好的消除了。,圖9Fig. 9. a1-d1 The defective images with pinhole, scratch, particle and fingerprint, respectively; a2-d2 The respective restored images; a3-d3 The resulting binary images for defect segmentation,為了測試這個方法的魯棒性，檢測完好的TFT面板也被評估。圖10a就顯示了圖6中沒有錯誤的圖像，b顯示的是邊緣增量。,依次為a-i,其中