(電気学会論文Ｃ　HTML版)

モルフォロジーフィルタを用いた風景画像の解析

上田　悦子（奈良先端科学技術大学院大学）

土井　俊介（日本電信電話株式会社）

土井　滋貴（奈良工業高等専門学校）

A landscape image can be classified by the two categories with a natural landscape and an artificial landscape by using the image characteristic of direction. In this paper, a method is proposed to extracting characteristic of the image by using morphological filter. The experiments have been done to verify the effectiveness of the proposed method for many landscape images to separate to natural landscapes and artificial landscapes. From the experiments, morphological “Opening” operation can extract the image characteristics of direction, and can be used landscape images to divide into natural areas and artifical areas by appling the difference in direction characteristic for picture elements.

キーワード：モルフォロジー、画像解析、テクスチャ解析、方向性

　１．まえがき

　人間にとっての快適性をいろいろな角度からとらえる「快適科学」は、近年盛んに研究されており、そのアプローチも心理学的、認知科学的、生理学的、工学的など多種多様にわたる ⁽¹⁾⁽²⁾ 。

　生活の視環境における快適性を考えてみると、殺風景なオフィスに観葉植物や花などを置くことによって、オフィスの雰囲気が優しくなることを、我々は経験的に知っている。このことから視環境において「穏やかで優しい」というのは心地よさに関する一つの性質であると推測できる。そこで、視環境における心地よさの性質を考える一つのステップとして、雲や花、樹木、山、水など自然の風景を「穏やかで優しい」という視環境の一つのカテゴリーとしたとき、その対局にあると考えられるビルや道路など人工の風景というカテゴリーとの間にどのような物理的な差が現れるのかを解析する。このことは、快適性を定量的に測るためにも必要不可欠である。

　本研究では、２次元画像として風景をとらえたとき、自然の風景と人工の風景の差には画像の方向性が関係していると考え、着目した。画像の方向性特徴を抽出する方法としては、Sobelオペレータ等のエッジ検出オペレータを用いたり、Hough変換などにより直線成分を抽出する方法などがある。しかし、ノイズなどの影響が大きく、安定した特徴抽出が行えないという欠点がある。そこで、画像の方向性特徴を非線形フィルタの一種であるモルフォロジーフィルタ^(3)〜(7)を用いて抽出する方法を提案する。

　そして、提案した手法の有効性を検証するために、風景画像が自然風景カテゴリーに属するか、人工風景カテゴリーに属するかを識別する実験を行う。さらに、提案した手法を応用して、一枚の風景画像を人工風景領域と自然風景領域に領域分割する実験を行う。

２．自然風景と人工風景

　本研究では風景画像を図１(a)のような雲や樹木、花、山など自然物の風景画像を「自然風景」と定義し、図１(b)のようなビルや道路など人工的な建造物の風景画像を「人工風景」と定義する。

　これらの風景を図２の様に単純化して考えると、自然風景と人工風景の間には画像の規則性の違い、画像の方向性の違い、画像が含む直線成分の多さの違いがあると推測できる⁽⁸⁾。

　そこで、これらの推測に基づく風景画像の特徴量の抽出を、非線形フィルタの一種であるモルフォロジーフィルタを用いて行う。そして自然風景と人工風景の間において、抽出した特徴量の差が見られるかを評価する。

図１　自然風景と人工風景

図２　単純化した自然風景と人工風景

　３．画像の方向性に着目した風景画像の識別

　＜３・１＞画像の方向性　　風景画像を自然風景・人工風景というカテゴリーで分類する場合、要因となる特徴量はいろいろあるが、その一つに画像の方向性があげられる。人工風景では微少部分において直線成分が多く、それらが様々な方向性を持っている。対して自然風景は人工風景に比べて直線成分は少なく画像の変化は滑らかでかつ曲線的である。

画像の方向性を抽出する方法として、画像をフーリエ変換し、その周波数成分の分布から得る方法がある⁽⁹⁾。画像f(i,j)のフーリエ変換後のパワースペクトルは

で定義され、その値は空間周波数(u,v)の強さを表す。P(u,v)から方向特徴を抽出するには、これを極座標であらわしてP’(r, θ)としたのち、

を求める。これは、図３に示すように、パワースペクトル空間内において原点を中心とした扇形領域内のエネルギーの和を表している。特徴としてはこのグラフのピークの位置や大きさ、平均値や分散などを用いる。例えばこのグラフのピークは画像がその方向と直角な向きに明確な方向性を持つことを表している。⁽⁷⁾

図４に実際の風景画像におけるq(θ)のグラフを示す。実際の風景画像の、フーリエ変換による方向特徴を見ると、自然風景と人工的風景の間には、明らかな違いが見られ、画像の方向性が分類のための差を与える要因となっていることがわかる。

　画像の方向性を、方向に特徴のある構造要素を用いたモルフォロジー演算⁽¹⁰⁾を用いて検出することを試みる。

＜３・２＞　画像の方向性とモルフォロジー演算　　モルフォロジーの基本演算のうちOpening演算は、演算対象図形において、構造要素を完全に含む画素だけを強調して残す演算である。このことより、Opening演算の結果は、構造要素が持つ形状性質を、演算対象の図形がどの程度含んでいるかを示しているといえる。

図５に示すように、横方向に方向性を持つ図形Aに対して、方向性を明確に持つ直線的な構造要素（―、｜、／、＼等）でOpening演算をすると、―で演算した結果残った画素数が、その他の場合に比べて多くなり、４つの結果の分散が大きくなる。同様の方法で、方向性を持たない図形Bに対して演算をすると、どの構造要素で演算した結果も、残った画素数は同じようになり、結果の分散は小さくなる。分散が大きいと、その画像の方向性に反応する部分が多い事がわかり、人工的であると判断できる。逆に分散が小さいということは方向性に反応する部分が少ない、またどの方向でも反応量があまり変わらないので自然であると判断できる。

　図６に示すような256×256ピクセル、256階調グレースケールの自然風景５種類、人工風景５種類のデータを用いて、シミュレーションによる検証を行う。

＜３・３＞　２値のモルフォロジーを用いた特徴抽出

風景画像からエッジ抽出を行い２値化した画像を見ても自然風景であるかそうでないかの識別は可能である。これは、そのようにして情報量を落とした画像にも自然風景か人工風景かを分類する情報が含まれているということである。そこで、まずサンプル画像を２値化した上で２値のモルフォロジー演算を行い識別が可能かを調べる。手順は次のように行う。

Step1 原画像からゼロクロッシング法(σ=１、オペレータサイズ11×11 )によってエッジ抽出する（得られた画像を図７に示す）。

　Step2 Step1で得られた画像に対して ― ｜ ／ ＼の４つの構造要素(11Pixel)でOpeningを行う（Opening結果の例を図８に示す）。

　Step3 ４つの構造要素に対する残存画素数の分散を調べる。

　４つの構造要素に対する分散結果は図９の様になり自然風景と人工風景の分散の違いが表れている。

＜３・４＞　グレースケールのモルフォロジーを用いた特徴抽出　　グレースケールのモルフォロジーを用いると、濃淡画像を加工することなく、より多くの情報量を持ったまま方向性を抽出することが出来る。グレースケールのモルフォロジーでは構造要素も関数値を持つことが可能であるが、今回は構造要素の持つ関数値は定義域ですべて０であるとする。形状は ― で方向を22.5度ずつ回転させた８種類作成する。サイズは11Pixelである。識別実験の手順は次のとおり。

　Step1 原画像に対して８種類の構造要素でOpeningを行う。（ Opening結果の例を図10に示す。）

　Step2 ８つの構造要素に対する濃淡値（各画素値をすべて加えたもの）の分散を調べる。

濃淡値変化の代表例を図11に示す。図11から人工的な画像は方向に対する濃淡値の変化の割合が大きいことがわかる。

　サンプル画像に対して構造要素の方向に対する濃淡値の分散を調べた結果を図12に示す。結果から自然風景と人工風景の分散の違いが現れていることがわかる。

＜３・５＞　識別実験　　提案してきた手法を用いて識別実験を行った。実験データは図14に示した識別実験用風景画像30種である。比較手法には、画像の方向性に関する特徴がほぼ完全に保存されるフーリエ変換による方向特徴による方法と、画像全体の方向性を十分把握できるとされている局所的なエッジの方向についてのヒストグラム(方向ヒストグラム)による方法を用いた⁽¹²⁾。

　これらのデータに対する識別実験の結果を、表1と図13に示す。表1における識別率は、分散値の大きいものから10個ずつをそれぞれ人工風景・混在風景・自然風景と識別した場合の識別率を表している。図13において横軸は風景画像の名前である（t_ は人工風景、n_ は自然風景、h_ は混在風景を示す）。1段目がフーリエ方向特徴q(θ)の分散の結果を示す。大きな分散値を持つものは、人工風景に多くなっている。2段目は方向ヒストグラムの分散の結果を示す。計算量は少ないが人工風景・自然風景を分けるような特徴量にはなり得ていないことがわかる。３〜５段目のグラフは提案した手法による結果を示す。識別率を見てみると、提案した２値のモルフォロジーによる手法は、フーリエ方向特徴よりも良い結果を与えている。グレースケールの結果では、２値で処理を行った場合より傾向がぼやけている。

　画像サイズがn×nの場合、計算量を掛け算回数のオーダーで考えてみると、フーリエ方向特徴はn²log₂n、方向ヒストグラムではn²、提案した手法では構造要素がm×mの直線構造要素である場合mn²である。今回の識別実験では、提案した手法の計算量はフーリエ方向特徴と同じオーダーになる。

　また、フーリエ方向特徴と比べると、画像サイズの制約がないので（FFTを用いる場合、画像サイズは２の階乗でなければならない）、より適用範囲が広い手法であると考えられる。

４．画素の方向性に着目した風景画像の領域分割

＜４・１＞　画素の方向性と画像領域　　各画素の方向特性を画像全体に累積した特徴量は、その画像の方向性として有効であった。本章では、得られた各画素の方向特性を局所演算することによって、各画素周辺の濃度の方向変化をとらえる。周辺濃度の方向変化の大きい画素は、方向性のある領域に属する、そうでない画素は方向性のない領域に属するというようにラベル付けすると、画像を方向性の有無によって領域分割することが可能となる。

　領域分割手順は以下の通り。

　Step1 原画像に対して ― の形状で22.5度ずつ方向を変化させた８種類の直線構造要素を用いたモルフォロジーフィルタを施す。

　Step2 結果画像の各画素において、８種の構造要素に対する標準偏差を調べる。

　Step3 OpeningとClosingのそれぞれで得られた標準偏差の平均を、その画素の方向特徴として抽出する。

　Step4 方向特徴を256階調グレースケールに正規化した上で、判別分析法により２値化する。

図16のように方向性のある図形とない図形、そして白黒反転領域を含むサンプルパターンに対して、８方向の構造要素でOpeningとClosingした例を図15に示す。背景が黒の領域では、方向性のある図形では構造要素の方向に反応している部分だけ残っているが、方向性のない図形では構造要素の方向に関係なく残る画素は無くなっている事がわかる。背景が白の領域ではClosingによって同様の結果が得られる。得られた方向特徴を256階調グレースケールに正規化し、画像化した結果を図17(a)に示す。標準偏差が大きいということは、その画素周辺の濃度変化が方向によって大きく違うことを表している。ゆえに輝度の高い画素は、その画素が方向性を持つ領域の画素であると判断できる。図17(b)に２値化した結果を示す。白が方向性のある領域を示しており、黒い部分が方向性のない領域を示している。

＜４・２＞　風景画像の領域分割　　人工領域（人工的な構造物が存在する領域）は方向による濃度特徴の違いが大きく、逆に自然領域（自然物が存在する領域）は違いが少ないと考えられる。このことから、各画素周辺の方向における濃度特徴の標準偏差が大きければ、その画素は人工領域の画素であると判断できる。

　図18(a)のような草原の風景にビルの風景を合成したサンプル画像に対して、提案した手法によって処理した結果（グレースケール）を図18(b)に示す。図18(b)において輝度の高い部分は人工領域を示し、輝度の低い部分は自然領域を示している。結果から分かるように、ビルが存在する領域の輝度が特に高くなっていることから、提案した手法によって風景画像を自然領域と人工領域に分割出来ていることがわかる。

　実際の風景画像を使って領域分割した結果を図19に示す。

　

5．まとめ

　本研究では、風景画像を自然風景と人工風景というカテゴリーに分けたとき「それらの間にどのような物理的特徴量の差が存在するのか」という問題について、検討を行った。そして、その差は、画像の方向性によるものであると推測した。

　その上で、非線形フィルタの一種であるモルフォロジーフィルタを用いて画像の方向性に関する特徴量を抽出する手法を提案し、得られた特徴量が自然風景と人工風景の間で差が見られるかについて検証を行った。

シミュレーションによる実験結果より、方向性をもつ構造要素を用いて、モルフォロジーフィルタのOpening演算を行い、構造要素の違いによる画像の減り方の違いを調べることによって、以下のような画像の方向性に関する特徴量を抽出することができた。

1. 異なった方向性をもつ複数の構造要素でOpening演算を行い、その結果のばらつきを調べると、自然風景はばらつきが小さく、人工風景はばらつきが大きいという差が表れる。それは２値のモルフォロジーを用いても、グレースケールのモルフォロジーを用いても同じ傾向となる。
2. 従来のフーリエ方向特性と比べても、遜色の無い分離結果が得られる。更に画像サイズの制限が無いことなど優位な点がある。
3. 方向性特徴のばらつきを、画素単位で局所的に求めることによって、一枚の風景画像を自然領域と人工領域に分割することができる。

　以上のように、風景画像を自然風景・人工風景というカテゴリーで分類し、モルフォロジー的な観点から解析をおこなうと、カテゴリー間に明確な差が得られ、モルフォロジーフィルタの応用分野の一つとして、有効な事がわかった。

（平成11年2月25日受付、平成12年2月14日再受付）

文　　献

---

1. 長尾三生：“快適科学”、海文堂
2. 大野秀雄・堀越哲美・他：“快適環境の科学”、朝倉書店
3. 小畑秀文:“モルフォロジー”、コロナ社
4. Charles R. Giardia, Edward R.Dougherty :

“Morphological Methods in Image and Signal

Processing”、Prentice-Hall

5. 間瀬茂・上田修功：“モルフォロジーと画像解析 [1]”、

電子情報通信学会誌　Vol.74,No.2,pp.166-172,1991.

6. 間瀬茂・上田修功：“モルフォロジーと画像解析 [2]”、

電子情報通信学会誌　Vol.74,No.3,pp.271-279,1991.

7. 苗村昌秀・福田淳 他：“Morphology処理による画像テクスチャ方向性検出と折り返し雑音除去を目的とした非線形フィルタ処理”、電子情報通信学会誌

Vol.J80-D-�U,No.10,pp.2733-2743,1997.

8. 土井俊介・上田悦子・土井滋貴：“ゆらぎに着目したモル

フォロジーフィルタによるテクスチャ解析”、

平成10年信学会関西支部学生発表会 A-21

9. 安居院猛・長尾智晴：“画像の処理と識別”、昭晃堂
10. Shigeki Doi, Shunsuke Doi :

“A Directional Morphological Operation and Its

Application to Immunological Image Processing”、

ICASSP97 Session MDSP8 P.4

11. 上田悦子、土井俊介、土井滋貴：“モルフォロジーフィルタを用いた風景画像の解析”、信学技報、

PRMU98-210(1999-01)、pp.135-142

12. 田村秀行：“多面的画像処理とそのソフトウエア・システムに関する研究”、電総研研究報告 第835号、1983
13. 高木幹雄・鳥脇純一郎 他(編）：“画像処理アルゴリズムの最新動向”、新技術コミュニケーションズ
14. 土井滋貴：“風景の識別と空間周波数に関する考察”、奈良高専研究紀要、第35号、1999

　

　

　

上田　悦子 (非会員)1961年7月24日生。1999年奈良工業高等専門学校専攻科電子情報工学専攻修了。現在、奈良先端科学技術大学院大学情報科学研究科前期博士課程在学中。

　

　

　

土井　俊介 (非会員)1975年10月7日生。1996年奈良工業高等専門学校電気工学科卒業。1998年奈良工業高等専門学校専攻科電子情報工学専攻修了。2000年奈良先端科学技術大学院大学情報科学研究科前期博士課程修了。現在、日本電信電話株式会社NTTサイバーソリューション研究所に勤務。

土井　滋貴 (非会員)1959年11月5日生。1984年大阪電気通信大学工学部電子工学科卒業、1988年大阪市立大学前期博士課程修了。現在、奈良工業高等専門学校助教授。デジタル信号処理とその応用およびマルチメディアに関する研究に従事。