生命科学関連特許情報
| タイトル： | 特許公報(B2)_表面欠陥検査装置におけるシェーディング補正方法 |
| 出願番号： | 2003017149 |
| 年次： | 2009 |
| IPC分類： | G01N 21/88,G06T 1/00,H04N 5/16,H04N 5/225,H04N 5/243 |
特許情報キャッシュ
梅村 純 JP 4272438 特許公報(B2) 20090306 2003017149 20030127 表面欠陥検査装置におけるシェーディング補正方法 新日本製鐵株式会社 000006655 田村 弘明 100062421 渡辺 良幸 100139701 吉迫 大祐 100141438 矢葺 知之 100068423 津波古 繁夫 100080171 梅村 純 20090603 G01N 21/88 20060101AFI20090514BHJP G06T 1/00 20060101ALI20090514BHJP H04N 5/16 20060101ALI20090514BHJP H04N 5/225 20060101ALI20090514BHJP H04N 5/243 20060101ALI20090514BHJP JPG01N21/88 JG06T1/00 460DH04N5/16 BH04N5/225 CH04N5/243 G01N 21/84 - 21/958 G06T 1/00 G01B 11/00 - 11/30 特開２００２−１４８１９６（ＪＰ，Ａ） 特開２００１−２７２３４１（ＪＰ，Ａ） 特開平０５−２２７４２８（ＪＰ，Ａ） 特開平１０−０９６６９６（ＪＰ，Ａ） 特開平１０−１１１２５１（ＪＰ，Ａ） 特開平１１−２５７９３７（ＪＰ，Ａ） 特開２００１−１８３１２４（ＪＰ，Ａ） 1 2004226347 20040812 8 20050914 豊田 直樹 【０００１】【発明の属する技術分野】本発明は、検査対象の表面を照明装置により照明し、カメラによってその表面の画像を撮像し、その画像から特異な領域を検出して、その領域の画像的な特徴から検出した特異な領域が欠陥であるかどうかの判断および欠陥の種類やレベル（深刻度）の判別を行う表面欠陥検査装置におけるシェーディング補正方法に関する。【０００２】【従来の技術】生産工程における半製品や最終製品などの検査対象の表面を照明し、その表面をレンズを装着したカメラによって画像を撮像し、その画像の特異な領域を検出、その領域の画像的な特徴量からその領域が欠陥部に該当するかどうか、欠陥部である場合はその種類やレベル（深刻度）を判別することは、品質検査・管理として一般的に行われている。この際、検査対象の表面を照明する照明装置の明度は空間的に一様ではないこと、およびカメラ視野の周辺部では中央部に比べて光量が少なくなるというレンズの特性により、撮像した画像上に輝度のむら（シェーディング）が生じる。このシェーディングは、欠陥を検出する処理において誤った検出・判別結果をもたらす原因となることが多く、前処理として補正を行うことが一般的である。補正の方法としては、画像からシェーディング成分を背景画像として抽出し、元の画像をその背景画像で除算し正規化することで元の画像からシェーディングを除去する手法、あるいは除算の代わりに減算を用いる手法がある。【０００３】これらの手法を図１を用いて説明する。図１（ａ）はカメラからの元画像であり１０１の部分が欠陥に対応する画像上の特異点である。この画像から背景画像を生成する。この方法としては、シェーディングが画像上では低周期の輝度変動であることから、元の画像からローパスフィルタ（ＬＰＦ）によって抽出する手法が一般的である。この手法による画像を図１（ｂ）に示す。除算を用いた手法の場合、図１（ａ）の画像を図１（ｂ）の画像で除算する。すると、図１（ｃ）のように背景と一致した画素では輝度が１．０となり、そうでない画素は１０２の部分のように１．０以外の値をとる。また、減算を用いた手法の場合は、同様に図１（ｄ）に示すように背景と一致した画素では０、そうでない画素は１０３のように０以外の値をとる。いずれの手法でも、カメラからの元画像からシェーディングが除去されていることが分かる。これらの一連の補正をシェーディング補正と呼ぶ。【０００４】【発明が解決しようとする課題】このようなシェーディング補正を、検査対象表面上で広い範囲に平坦に広がる欠陥（大面積欠陥）の検出に適用した場合、次のような問題が発生する。大面積欠陥は、大面積の平坦な領域であるため、その境界部を除きシェーディングと同じくらい低周期の輝度変動として画像上に存在する。そのため、前処理としてシェーディング補正をする際、シェーディング成分を抽出するためにＬＰＦを用いて背景画像を生成すると、大面積欠陥の一部あるいは全体がシェーディングを共に背景画像に取り込まれてしまうことになる。その結果、シェーディング補正の際に元の画像を背景画像で除算あるいは減算することにより、大面積欠陥の一部あるいは全体が補正後の画像から除去されてしまい、結果、後の欠陥検出・判別処理において大面積欠陥が未検出、誤判別（欠陥種の誤り）、過小判別（レベルの誤り）などの性能低下につながってしまう可能性がある。【０００５】この問題を図２を用いて説明する。図２（ａ）はカメラからの元画像であり２０１の部分が大面積欠陥に対応する画像上の特異点である。この画像からＬＰＦを用いて背景画像を生成すると図２（ｂ）のような画像となり、２０２の部分に大面積欠陥が取り込まれていることが分かる。図２（ａ）の画像を図２（ｂ）の画像で除算しシェーディング補正を行った結果を図２（ｃ）に示す。２０３の部分にあるように高周波成分が含まれる大面積欠陥の境界部分を除き、補正後の画像から大面積欠陥が除去されてしまっていることが分かる。減算によってシェーディング補正を行った場合も図２（ｄ）のように境界部分２０４を除いて、補正後の画像から大面積欠陥が除去されている。【０００６】またシェーディング補正は、検査対象と検査対象外の境界近傍においては次のような別の問題が発生する。検査対象外の部分の輝度が通常は０に近いため検査対象との境界部で急激に輝度が変化するが、背景画像はＬＰＦを用いて生成されているのでこの急激な変化の低周波成分のみが背景画像に抽出されることになる。そのため、カメラからの画像を背景画像で除算または減算しシェーディング補正を行うと、補正後の画像において検査対象の境界近傍の輝度が上下に変動する現象（跳ね返り）が発生する。【０００７】この現象を図３を用いて説明する。図３（ａ）がカメラからの元画像であり、３０１を境にして左が検査対象内、右が検査対象外を表す。図３（ａ）からＬＰＦを用いて背景画像を生成すると図３（ｂ）のようになり、境界付近の低周波成分のみが抽出されていることが分かる。そのため、除算によってシェーディング補正を行うと、図３（ｃ）に示すように３０２の部分で跳ね返りが見られる。同様に減算によるシェーディング補正でも図３（ｄ）に示すように３０３の部分で跳ね返りが見られる。この現象によって、境界付近は背景と異なる領域、つまり欠陥と同じ特異点として後の処理にまわるため、欠陥と誤認し検出・判別性能が低下する可能性がある。また、境界付近を検査対象からは外す（不感領域にする）ことで問題を回避はできるが、不感領域に欠陥が発生しても検出することができず、装置の適用範囲を狭くすることとなる。【０００８】【課題を解決するための手段】 上記課題を解決するために成された本発明では、 検査対象の表面を照明装置により照明し、カメラによってその表面の画像を撮像し、その画像から特異な領域を検出して、その領域の画像的な特徴から検出した特異な領域が欠陥であるかどうかの判断および欠陥の種類やレベル（深刻度）の判別を行う表面欠陥検査装置におけるシェーディング補正方法において、 カメラからの画像から検査対象と検査対象外の境界を検出することで検査対象の画像領域を検出し、カメラからの画像にローパスフィルタを適用することでシェーディング成分をカメラからの画像と同じ大きさの画像として抽出した後、その画像の検査対象の画像領域部分について、各ラインの輝度変化を曲線によって近似、あるいは検査対象の画像領域部分全体の輝度変化を曲面によって近似し、その近似曲線あるいは近似曲面が検査対象と検査対象外の境界近傍を通る様に、その近似曲線あるいは近似曲面に含まれる各点の画素輝度に一定の値を加算することによりその近似曲線あるいは近似曲面をシフトした後、その近似曲線あるいは近似曲面の値を輝度とする同じ大きさの画像に再構成し、カメラからの画像をその再構成した画像により除算または減算することによりシェーディング補正することで、 検査対象の表面に広大に広がる平坦な欠陥領域に該当する特異領域が、シェーディング補正によって補正後の画像から除去されないようにし、同時に補正後の画像において検査対象と検査対象外の境界付近の輝度が上下に変動することを抑え、検査装置の検出・判別性能の低下を防ぐ。【０００９】【発明の実施の形態】本発明によるシェーディング方法を備えた表面欠陥検査装置の構成を図４に示す。図４で４０１は検査対象、４０２は照明、４０３はレンズ、４０４はカメラ、４０５はカメラからの画像を一時保持するフレームメモリ、４０６はフレームメモリからの画像が転送された画像や処理プログラムを格納する常時書き込み読み出し可能メモリ（ＲＡＭ）、４０７は画像を処理する中央演算装置（ＣＰＵ）、４０８は画像や処理結果を表示するディスプレイ装置、４０９は処理プログラムや画像、処理結果を格納するハードディスク装置、４１０は４０５から４０９を結合するバスである。【００１０】この構成により、図５のフローチャートに従って欠陥検出処理が行われる。検査が開始されると、５０１でカメラからある大きさ（横２０４８画素、縦５１２画素など）の画像をフレームメモリ上に構成し、５０２においてＲＡＭに画像を転送され、これ以降の処理はＲＡＭに格納された画像を参照して進める。５０３において検査対象と検査対象外の境界を検出する。例えば、画像の最上位ラインから最下位ラインまで各ラインを横方向にスキャンし、予め決められた閾値よりも明るい画素が連続して見つかれば検査対象外から検査対象への境界、逆に閾値よりも暗い画像が連続して見つかれば検査対象から検査対象外への境界とするなどの方法がある。５０４において元画像に対してシェーディング補正を行うが、本発明におけるシェーディング補正方法については後ほど詳細に述べる。５０５においてシェーディング補正結果の画像の各画素を、画像上で背景よりも暗く映る欠陥に対しては予め決められた閾値以下の画素を、画像上で背景よりも明るく映る欠陥に対しては予め決められた閾値以上の画素を最も明るい画素値（例えば８ビット/画素の場合は２５５）に書き換え、それ以外の場合は最も暗い画素値（０）に書き換えることで、画像を２値化する。５０６では２値化された画像から最も明るい画素が固まって存在する領域（粒子）を抽出し、各粒子に通し番号を割り当てる（ラベリング）。５０７では各粒子の画像的な特徴量、例えば粒子の幅、長さ、面積、平均輝度値などを計算する。５０８では計算された特徴量から各粒子が欠陥に該当するのか、該当する場合はその種類やレベルを例えば予め決められたＩＦ−ＴＨＥＮルールを用いて判別する。５０９ではラベリングして得られた全ての粒子について５０７、５０８の処理が行われたか判断し、全ての粒子について終わっていない場合は５０７に戻る。全ての粒子ついて終わった場合は、５１０において全ての画像について上記一連の処理が終了したか判断し、終わっていない場合は５０１に戻り同様の処理を行う。【００１１】次に、５０４における本発明によるシェーディング補正方法について、図６に示した処理フロー図と、近似方法として２次関数曲線を用いた結果を図７に示し、詳細に述べる。６０１では図７（ａ）に示す元画像に対して従来のシェーディング補正と同じようにＬＰＦを適用し一時背景画像なる画像を生成する。この結果を図７（ｂ）に示す。次に、６０２で５０３により得られたエッジ情報を用いて、一時背景画像の検査対象内の各ラインを曲線によって近似する。例えば２次関数曲線近似の場合は、ｙ＝ａｘ2＋ｂｘ＋ｃのａ，ｂ，ｃを図７（ｂ）の各点との二乗誤差が最小となるように決定する。さらに、５０３より得られたエッジ情報を用いて、この２次関数曲線が検査対象のエッジ近傍を通るようにｃをシフトする。そして決定したａ，ｂ，ｃを用いた２次関数の値を画素輝度としてもつ近似背景画像なる画像を生成する。この結果を図７（ｃ）に示す。ここで大面積欠陥に対応する７０１の領域が図７（ｂ）では７０２のように背景画像に取り込まれていたのに対し、図７（ｃ）では取り込まれていないことが分かる。そして、６０３で元画像を近似背景画像で除算または減算することでシェーディング補正を行う。この結果を、除算の場合を図７（ｄ）に、減算の場合を図７（ｅ）に示す。いずれの場合も大面積欠陥に対応する７０１の領域が補正後の結果に７０３や７０４の領域のように明確に残っていると同時に、検査対象と検査対象外の境界付近において跳ね上がりの現象が発生していないことが分かる。【００１２】比較のために、図８に従来の方法で図７（ａ）に対してシェーディング補正を行った結果を図８（ｄ）および図８（ｅ）に示す（図８（ａ）（ｂ）（ｃ）は図７（ａ）（ｂ）（ｃ）とそれぞれ同じ）。図８（ｄ）および図８（ｅ）では、８０３および８０５の領域にあるように大面積欠陥に対応する８０１の領域が除去されているのと同時に、８０４および８０６の領域のように検査対象と検査対象外の境界付近で跳ね上がりの現象が発生している事がわかり、本発明のシェーディング補正方法の効果が見て取れる。【００１３】【発明の効果】以上のように、本発明により、検査対象の表面に広大に広がる平坦な欠陥領域に該当する特異領域が、シェーディング補正によって補正後の画像から除去されないようにし、同時に補正後の画像において検査対象と検査対象外の境界付近の輝度が上下に変動することを抑え、検査装置の検出・判別性能の低下を防ぐことができる。【図面の簡単な説明】【図１】シェーディング補正に関する一般的な説明。【図２】大面積欠陥に対する従来のシェーディング補正による問題点を表した図。【図３】検査対象境界付近に対する従来のシェーディング補正による問題点を表した図。【図４】本発明の表面欠陥検出装置の構成図。【図５】本発明の表面欠陥検出装置の欠陥検出フロー図。【図６】本発明のシェーディング処理方法の処理フロー図。【図７】本発明のシェーディング補正方法の効果を表す図。【図８】従来のシェーディング補正方法による結果を表す図７との比較図。 検査対象の表面を照明装置により照明し、カメラによってその表面の画像を撮像し、その画像から特異な領域を検出して、その領域の画像的な特徴から検出した特異な領域が欠陥であるかどうかの判断および欠陥の種類やレベル（深刻度）の判別を行う表面欠陥検査装置におけるシェーディング補正方法において、 カメラからの画像から検査対象と検査対象外の境界を検出することで検査対象の画像領域を検出し、カメラからの画像にローパスフィルタを適用することでシェーディング成分をカメラからの画像と同じ大きさの画像として抽出した後、その画像の検査対象の画像領域部分について、各ラインの輝度変化を曲線によって近似、あるいは検査対象の画像領域部分全体の輝度変化を曲面によって近似し、その近似曲線あるいは近似曲面が検査対象と検査対象外の境界近傍を通る様に、その近似曲線あるいは近似曲面に含まれる各点の画素輝度に一定の値を加算することによりその近似曲線あるいは近似曲面をシフトした後、その近似曲線あるいは近似曲面の値を輝度とする同じ大きさの画像に再構成し、カメラからの画像をその再構成した画像により除算または減算することによりシェーディング補正することを特徴とする表面欠陥検査装置におけるシェーディング補正方法。