生命科学関連特許情報

タイトル:公開特許公報(A)_ボケ画像検出方法
出願番号:2012223920
年次:2014
IPC分類:G01N 21/954,G01N 21/88,G06T 5/20,G06T 7/00


特許情報キャッシュ

塩崎 正人 河村 圭 JP 2014077649 公開特許公報(A) 20140501 2012223920 20121009 ボケ画像検出方法 三井住友建設株式会社 000174943 相田 伸二 100083138 塩崎 正人 河村 圭 G01N 21/954 20060101AFI20140404BHJP G01N 21/88 20060101ALI20140404BHJP G06T 5/20 20060101ALI20140404BHJP G06T 7/00 20060101ALI20140404BHJP JPG01N21/954 AG01N21/88 ZG06T5/20 AG06T7/00 Q 1 1 OL 10 2G051 5B057 5L096 2G051AA82 2G051AA90 2G051AB02 2G051AB07 2G051AC16 2G051AC17 2G051CA20 2G051CB01 2G051EA08 2G051EA09 2G051EB10 2G051ED07 2G051ED21 2G051GC03 2G051GD03 5B057CA08 5B057CA12 5B057CA16 5B057CB08 5B057CB12 5B057CB16 5B057CE04 5B057CE06 5B057CH09 5B057CH11 5B057DA12 5B057DB02 5B057DB09 5B057DC05 5B057DC22 5B057DC32 5L096AA06 5L096CA04 5L096GA08 5L096GA55 本発明は、被写体中の隣接する複数のエリアを連続撮影して取得した複数枚の画像からピンボケ画像を検出するボケ画像検出方法に関する。 従来、コンクリート表面(例えば、トンネル壁面)のひび割れや段差等の有無を検知するために該コンクリート表面をカメラで連続撮影することが行われている(例えば、特許文献1及び2参照)。 図4は、コンクリート表面を連続撮影する様子の一例を示す斜視図であり、符号100は、被写体であるトンネル壁面を示し、符号101は、該トンネル壁面100を撮影するためのカメラを示し、符号102は、該カメラ101を搭載して移動させる台車(車両)を示す。この装置では、該台車102を一定速度で走行させながらカメラ101のシャッターを一定間隔で切ることにより、トンネル壁面100を連続撮影できるようになっている。特開2011−117788号公報特開2012−098170号公報 しかしながら、上述のようにして撮影した多数の画像の中には、いわゆるピンボケ画像(つまり、焦点が合わずに全体的にぼやけた画像であり、エッジ強度の弱い画像)が混ざってしまう場合もある。このようなピンボケ画像はひび割れ等の検出には利用できないので、ピンボケ画像かどうかを判定する必要があるが、人間が目視により判定していたのでは作業が煩雑になってしまうという問題がある。 本発明は、上述の問題を解消することのできるボケ画像検出方法を提供することを目的とするものである。 請求項1に係る発明は、図1及び図2(a) (b) に例示するものであって、被写体中の隣接する複数のエリアを連続撮影して取得した複数枚の画像(図2(a)中の符号Qi−2,Qi−1,Qi,Qi+1,Qi+2参照)からピンボケ画像を検出するボケ画像検出方法において、 一部が重複するように連続撮影された2枚の画像(Qi−1,Qi)を“第1撮影画像”及び“第2撮影画像”とし、該第1撮影画像(Qi−1)における該第2撮影画像(Qi)との重複部(図2(b) の符号Ri−1参照)を“第1重複部”とし、該第2撮影画像(Qi)における該第1撮影画像(Qi−1)との重複部(図2(b)の符号Ri参照)を“第2重複部”とした場合に、 前記第1撮影画像(Qi−1)がピンボケ画像か否かを目視により判定する第1撮影画像判定工程(図1のS0参照)と、 前記第1撮影画像(Qi−1)において前記第1重複部(Ri−1)を特定する第1重複部特定工程(S11)と、 前記第1重複部(Ri−1)における各画素の画素値(以下、“第1処理前画素値”とする)(P1(j))を取得する第1処理前画素値取得工程(S12)と、 前記第1重複部(Ri−1)をフィルタ処理する第1フィルタ処理工程(S13)と、 該フィルタ処理された後の該第1重複部(Ri−1)における各画素の画素値(以下、“第1処理後画素値”とする)(P1m(j))を取得する第1処理後画素値取得工程(S14)と、 各画素について前記第1処理前画素値(P1(j))と前記第1処理後画素値(P1m(j))との差分値の絶対値(以下、“第1差分値”とする)(|P1m(j)−P1(j)|)を取得する第1差分値取得工程(S15)と、 各画素の前記第1差分値(|P1m(j)−P1(j)|)を前記第1重複部(Ri−1)について積算する第1差分値積算工程(S16)と、 前記第2撮影画像(Qi)において前記第2重複部(Ri)を特定する第2重複部特定工程(S21)と、 前記第2重複部(Ri)における各画素の画素値(以下、“第2処理前画素値”とする)(P2(j))を取得する第2処理前画素値取得工程(S22)と、 前記第2重複部(Ri)をフィルタ処理する第2フィルタ処理工程(S23)と、 該フィルタ処理された後の該第2重複部(Ri)における各画素の画素値(以下、“第2処理後画素値”とする)(P2m(j))を取得する第2処理後画素値取得工程(S24)と、 各画素について前記第2処理前画素値(P2(j))と前記第2処理後画素値(P2m(j))との差分値の絶対値(以下、“第2差分値”とする)(|P2m(j)−P2(j)|)を取得する第2差分値取得工程(S25)と、 各画素の前記第2差分値を前記第2重複部(Ri)について積算する第2差分値積算工程(S26)と、 前記第1差分値積算工程(S16)で得られた値(以下、“第1積算値”とする)([i−1])と前記第2差分値積算工程(S26)で得られた値(以下、“第2積算値”とする)([i])とから該第1積算値([i−1])及び該第2積算値([i])を元にした値(以下、“特徴量”とする)を算出する特徴量算出工程(S3)と、 該特徴量算出工程(S3)にて算出された前記特徴量に基づき前記第2撮影画像(Qi)がボケ画像であるか否かを判定するボケ画像判定工程(S4)と、を備えたことを特徴とする。 なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。 請求項1に係る発明によれば、前記第1撮影画像以外の画像(つまり、第2撮影画像や他の撮影画像)がピンボケ画像であるか否かの判定は人間の目視に頼らずに自動で行うことができるので、判定作業を簡素化することができる。図1は、本発明に係るボケ画像検出方法の具体例を示すフローチャート図である。図2(a) は、撮影の様子の一例を示す斜視図であり、同図(b) は、2枚の画像(第1撮影画像と第2撮影画像)の位置関係等を説明するための斜視図である。図3は、差分値取得工程の概略を説明するための図である。図4は、コンクリート表面を連続撮影する様子の一例を示す斜視図である。 以下、図1乃至図3に沿って、本発明の実施の形態について説明する。 本発明に係るボケ画像検出方法は、被写体中の隣接する複数のエリアを連続撮影して取得した複数枚の画像(図2(a) 中の符号Qi−2,Qi−1,Qi,Qi+1,Qi+2参照)からピンボケ画像を検出(特定)する方法である。 ここで、前記被写体としてはトンネルのコンクリート壁面を挙げることができる。また、本明細書における「連続撮影」とは、いわゆる連写のように時間的に連続させて撮影する(つまり、立て続けにシャッターを切る)という意味ではなく、撮影エリアが位置的に連続するように 被写体中の“一のエリア”と“該一のエリアに隣接する他のエリア”とをそれぞれ撮影するという意味であり、時間的に連続させて撮影するかどうかは問わない。この連続撮影は、デジタルカメラ等の撮影手段(図2(a) 中の符号1参照)を搭載した車両(不図示)を移動させながら行うことが効率的であるが、そのような車両を使わない撮影を本発明の範囲から除外するものではない。また、該車両を用いて連続撮影をする場合は、車両の走行速度をほぼ一定とした状態でシャッターをほぼ一定の間隔で切ることが好ましいが、車両の走行速度やシャッターを切るタイミングを一定とはせずに変化させる場合を本発明の範囲から除外するものでは無い。さらに、本明細書における「ピンボケ画像」とは、焦点が合わずに全体的にぼやけて撮影された画像(エッジ強度の弱い画像)のことをいう。 ところで、本発明によるボケ画像の判定は、一部が重複するように連続撮影された2枚の画像(例えば、Qi−1,Qi)を用いて行うが、説明の便宜上、該2枚の画像Qi−1,Qiを“第1撮影画像”及び“第2撮影画像”と称することとし、該第1撮影画像Qi−1における該第2撮影画像Qiとの重複部(図2(b) の符号Ri−1参照)を“第1重複部”と称し、該第2撮影画像Qiにおける該第1撮影画像Qi−1との重複部(図2(b)の符号Ri参照)を“第2重複部”と称することとする。<第1撮影画像判定工程> 本発明に係るボケ画像検出方法は、前記第1撮影画像Qi−1がピンボケ画像か否かを人間が目視により判定する第1撮影画像判定工程S0を備えている。<重複部特定工程> 本発明に係るボケ画像検出方法は、・ 前記第1撮影画像Qi−1において前記第1重複部Ri−1を特定する第1重複部特定工程S11と、・ 前記第2撮影画像Qiにおいて前記第2重複部Riを特定する第2重複部特定工程S21と、を備えている。 該第1重複部Ri−1及び該第2重複部Riは被写体の同じエリアを撮影している部分であるので、当然ながら前記第1撮影画像Qi−1と前記第2撮影画像Qiとが同じサイズである限り、該第1重複部Ri−1と該第2重複部Riとは同じ形状で同じサイズである。なお、該第1重複部Ri−1及び該第2重複部Riの特定は、・ 前記第1撮影画像Qi−1や前記第2撮影画像Qiをパソコンのモニター上に表示させた状態で操作者がそれらの撮影画像を見ながら手動(つまり、マウス等の操作)で行うようにしても、或いは、・ パソコンにより自動で行うようにしても、どちらでも良い。なお、後者の方法(つまり、パソコン自体が前記重複部Ri−1,Riの特定を自動で行う方法)としては、・ 前記車両の走行速度が略一定の場合において、該走行速度のデータとシャッターを切るタイミングについてのデータとから前記重複部Ri−1,Riを特定する方法、・ 前記第1撮影画像Qi−1と前記第2撮影画像Qiとをマッチング技術により比較して重複部Ri−1,Riの位置や形状等を特定する方法を挙げることができる。また、前記第1重複部Ri−1及び前記第2重複部Riの特定は、・ 前記第1重複部Ri−1や前記第2重複部Riを“画像”として各撮影画像Qi−1,Qiから切り出すようにしても、或いは、・ “画像”として切り出さずに、前記第1撮影画像Qi−1において前記第1重複部Ri−1の位置や形状を数値(例えば、画素のアドレス)で特定し、前記第2撮影画像Qiにおいて前記第2重複部Riの位置や形状を数値(例えば、画素のアドレス)で特定するようにしても、どちらでも良い。<処理前画素値取得工程> また、本発明に係るボケ画像検出方法は、・ 前記第1重複部Ri−1における各画素の画素値(以下、“第1処理前画素値”とする)P1(j)を取得する第1処理前画素値取得工程S12と、・ 前記第2重複部Riにおける各画素の画素値(以下、“第2処理前画素値”とする)P2(j)を取得する第2処理前画素値取得工程S22と、を備えている。<フィルタ処理工程> さらに、本発明に係るボケ画像検出方法は、・ 前記第1重複部Ri−1をフィルタ処理する第1フィルタ処理工程S13と、・ 前記第2重複部Riをフィルタ処理する第2フィルタ処理工程S23と、を備えている。ここで、各重複部Ri−1,Riのフィルタ処理としては、例えば、メディアンフィルタ処理(つまり、周辺画素値の大きさを順に並べ、中央値(Median)を注目画素の画素値とするフィルタ処理であって、周辺画素値と比較して大きく異なる領域(画素値)を除去するための処理)を挙げることができる。このようなフィルタ処理を行った場合、重複部Ri−1,Riからはノイズやエッジ(例えば、被写体であるコンクリート壁面の微細な凹凸や、施工跡、クラック跡、遊離石灰などのエッジとなる部分で、画素値の変化が急峻な箇所)が除去・抑制されることとなる。<処置後画素値取得工程> また、本発明に係るボケ画像検出方法は、・ 前記フィルタ処理された後の該第1重複部Ri−1における各画素の画素値(以下、“第1処理後画素値”とする)P1m(j)を取得する第1処理後画素値取得工程S14と、・ 前記フィルタ処理された後の該第2重複部Riにおける各画素の画素値(以下、“第2処理後画素値”とする)P2m(j)を取得する第2処理後画素値取得工程S24と、を備えている。<差分値取得工程> さらに、本発明に係るボケ画像検出方法は、・ 各画素について前記第1処理前画素値P1(j)と前記第1処理後画素値P1m(j)との差分値の絶対値(以下、“第1差分値”とする)“|P1m(j)−P1(j)|”を取得する第1差分値取得工程S15と、・ 各画素について前記第2処理前画素値P2(j)と前記第2処理後画素値P2m(j)との差分値の絶対値(以下、“第2差分値”とする)“|P2m(j)−P2(j)|”を取得する第2差分値取得工程S25と、を備えている。図3は、該差分値取得工程の概略を説明するための図であり、横軸には画素(画素位置)を縦軸には画素値を取っている。また、図中に符号Dで示す折れ線(実線)は各画素の処理前画素値P(j)を示し、符号Eで示す折れ線(破線)は処理後画素値Pm(j)を示し、符号Fで示す折れ線(実線)は差分値|Pm(j)−P(j)|を示している。このようにして、前記第1差分値取得工程S15により、前記第1重複部Ri−1において、画素の変化が急峻な箇所(ノイズやエッジがある画素)が抽出(検出)され、前記第2差分値取得工程S25により、前記第2重複部Riにおいて、画素の変化が急峻な箇所(ノイズやエッジがある画素)が抽出(検出)される。<差分値積算工程> また、本発明に係るボケ画像検出方法は、・ 各画素の前記第1差分値|P1m(j)−P1(j)|を前記第1重複部Ri−1について積算する第1差分値積算工程S16と、・ 各画素の前記第2差分値|P2m(j)−P2(j)|を前記第2重複部Riについて積算する第2差分値積算工程S26と、を備えている。なお、前記第1差分値積算工程S16にて前記第1差分値|P1m(j)−P1(j)|を前記第1重複部Ri−1について積算した値(エッジ総量)[i−1]を“第1積算値”と称することとし、前記第2差分値積算工程S26にて前記第2差分値|P2m(j)−P2(j)|を前記第2重複部Riについて積算した値(エッジ総量)[i]を“第2積算値”と称することとする。なお、該第1積算値[i−1]及び該第2積算値[i]は下式で示されるものである。<特徴量算出工程> さらに、本発明に係るボケ画像検出方法は、前記第1積算値[i−1]と前記第2積算値[i]とから該第1積算値[i−1]及び該第2積算値[i]を元にした値(以下、“特徴量”とする)を算出する特徴量算出工程S3を備えている。なお、この特徴量としては、・ 前記第1積算値[i−1]と前記第2積算値[i]との差、すなわち、Ai=[i]−[i−1]・ 前記第1積算値[i−1]を前記第2積算値[i]で割った値、すなわち、Bi=[i]÷[i−1]・ [i−1]>[i]の場合はCi=−([i−1]÷[i])+1.0とし、[i−1]≦[i]の場合はCi=+([i]÷[i−1])−1.0などを挙げることができる。<ボケ画像判定工程> また、本発明に係るボケ画像検出方法は、該特徴量算出工程S3にて算出された前記特徴量に基づき前記第2撮影画像Qiがボケ画像であるか否かを判定するボケ画像判定工程S4を備えている。例えば、前記第1撮影画像判定工程S0において前記第1撮影画像Qi−1がピンボケ画像であると目視により判定されると、前記第1処理前画素値P1(j)と前記第1処理後画素値P1m(j)とはほぼ等しくなり、前記第1差分値|P1m(j)−P1(j)|や前記第1積算値[i−1]は0に近い値となる。そして、例えば、前記特徴量算出工程S3においてAi=[i]−[i−1]≒0と算出されたとすると、前記第2差分値|P2m(j)−P2(j)|や前記第2積算値[i]はほぼ0であるということで、第2撮影画像Qiはピンボケ画像であると判定される。 なお、・ 第1重複部特定工程S11は、第1処理前画素値取得工程S12や第1フィルタ処理工程S13や第1処理後画素値取得工程S14や第1差分値取得工程S15や第1差分値積算工程S16の前に実施する必要があり、・ 第2重複部特定工程S21は、第2処理前画素値取得工程S22や第2フィルタ処理工程S23や第2処理後画素値取得工程S24や第2差分値取得工程S25や第2差分値積算工程S26の前に実施する必要があり、・ 第1処理後画素値取得工程S14は第1フィルタ処理工程S13の後に実施する必要があり、・ 第2処理後画素値取得工程S24は第2フィルタ処理工程S23の後に実施する必要があり、・ 第1差分値取得工程S15は第1処理前画素値取得工程S12や第1処理後画素値取得工程S14の後に実施する必要があり、・ 第2差分値取得工程S25は第2処理前画素値取得工程S22や第2処理後画素値取得工程S24の後に実施する必要があり、・ 第1差分値積算工程S16は第1差分値取得工程S15の後に実施する必要があり、・ 第2差分値積算工程S26は第2差分値取得工程S25の後に実施する必要があり、・ 第1撮影画像判定工程S0はボケ画像判定工程S4の前に実施する必要があるが、それ以外の工程の実施順序は適宜変更するようにしても良い。 一方、前記第2撮影画像Qiに連続する他の撮影画像を“第3撮影画像Qi+1”とすると、該第2撮影画像Qiと該第3撮影画像Qi+1との関係においても上述の工程S11,S12,…,S21,S22,…,S3,S4を実施して前記第3撮影画像Qi+1のピンボケ判定を行うようにすると良い。また、該第3撮影画像Qi+1と第4撮影画像Qi+2の関係においても上述の工程S11,S12,…,S21,S22,…,S3,S4を実施して前記第4撮影画像Qi+2のピンボケ判定を行うようにすると良い。 本発明によれば、前記第1撮影画像以外の画像(つまり、第2撮影画像Qi,第3撮影画像Qi+1,…)がピンボケ画像であるか否かの判定は人間の目視に頼らずに自動で行うことができるので、判定作業を簡素化することができる。 [i−1] 第1積算値 [i] 第2積算値 P1(j) 第1処理前画素値 P1m(j) 第1処理後画素値 |P1m(j)−P1(j)| 第1差分値 P2(j) 第2処理前画素値 P2m(j) 第2処理後画素値 |P2m(j)−P2(j)| 第2差分値 Qi−1 第1撮影画像 Qi 第2撮影画像 Ri−1 第1重複部 Ri 第2重複部 S0 第1撮影画像判定工程 S11 第1重複部特定工程 S12 第1処理前画素値取得工程 S13 第1フィルタ処理工程 S14 第1処理後画素値取得工程 S15 第1差分値取得工程 S16 第1差分値積算工程 S21 第2重複部特定工程 S22 第2処理前画素値取得工程 S23 第2フィルタ処理工程 S24 第2処理後画素値取得工程 S25 第2差分値取得工程 S26 第2差分値積算工程 S3 特徴量算出工程 S4 ボケ画像判定工程 被写体中の隣接する複数のエリアを連続撮影して取得した複数枚の画像からピンボケ画像を検出するボケ画像検出方法において、 一部が重複するように連続撮影された2枚の画像を“第1撮影画像”及び“第2撮影画像”とし、該第1撮影画像における該第2撮影画像との重複部を“第1重複部”とし、該第2撮影画像における該第1撮影画像との重複部を“第2重複部”とした場合に、 前記第1撮影画像がピンボケ画像か否かを目視により判定する第1撮影画像判定工程と、 前記第1撮影画像において前記第1重複部を特定する第1重複部特定工程と、 前記第1重複部における各画素の画素値(以下、“第1処理前画素値”とする)を取得する第1処理前画素値取得工程と、 前記第1重複部をフィルタ処理する第1フィルタ処理工程と、 該フィルタ処理された後の該第1重複部における各画素の画素値(以下、“第1処理後画素値”とする)を取得する第1処理後画素値取得工程と、 各画素について前記第1処理前画素値と前記第1処理後画素値との差分値の絶対値(以下、“第1差分値”とする)を取得する第1差分値取得工程と、 各画素の前記第1差分値を前記第1重複部について積算する第1差分値積算工程と、 前記第2撮影画像において前記第2重複部を特定する第2重複部特定工程と、 前記第2重複部における各画素の画素値(以下、“第2処理前画素値”とする)を取得する第2処理前画素値取得工程と、 前記第2重複部をフィルタ処理する第2フィルタ処理工程と、 該フィルタ処理された後の該第2重複部における各画素の画素値(以下、“第2処理後画素値”とする)を取得する第2処理後画素値取得工程と、 各画素について前記第2処理前画素値と前記第2処理後画素値との差分値の絶対値(以下、“第2差分値”とする)を取得する第2差分値取得工程と、 各画素の前記第2差分値を前記第2重複部について積算する第2差分値積算工程と、 前記第1差分値積算工程で得られた値(以下、“第1積算値”とする)と前記第2差分値積算工程で得られた値(以下、“第2積算値”とする)とから該第1積算値及び該第2積算値を元にした値(以下、“特徴量”とする)を算出する特徴量算出工程と、 該特徴量算出工程にて算出された前記特徴量に基づき前記第2撮影画像がボケ画像であるか否かを判定するボケ画像判定工程と、 を備えたことを特徴とするボケ画像検出方法。 【課題】ピンボケ画像であるか否かの判定は人間の目視に頼らずに自動で行うことができるので、判定作業を簡素化することができる。【解決手段】一部が重複するように撮影した画像を“第1撮影画像Qi−1”“第2撮影画像Qi”とし、それぞれにおける重複する部分を“第1重複部Ri−1”“第2重複部Ri”として図1に示すような処理を行う。例えば、第1撮影画像Qi−1がピンボケ画像であると、差分値|P1m(j)−P1(j)|や積算値[i−1]は0に近い値となる。そして、例えば、特徴量算出工程S3において特徴量Ai=[i]−[i−1]≒0が算出されたとすると、第2重複部Riの差分値|P2m(j)−P2(j)|や積算値[i]はほぼ0であるということで、第2撮影画像Qiはピンボケ画像であると自動判定される。【選択図】図1


ページのトップへ戻る

生命科学データベース横断検索へ戻る