ビデオ・クリップ等のビデオ・コンテンツに対して、動画と音との関連性を動的な視点で解析を試みる。 本稿では最も基本的な特徴量として、フレーム平均輝度、フレーム間輝度変化、フレーム間音響パワー の３つを10個のビデオ・コンテンツ・データに対して計算し、その統計的特徴と周期的特徴に ついて報告する。計算結果からいくつかのビデオ・コンテンツ・データについては動画と音との 間に関連性が認められた。

１．はじめに

　近年の計算機の性能向上により、いわゆるビデオ・クリップ等のビデオ・コンテンツに対して、動的な解析が可能になってきた。本稿は著者が始めている動画解析(1)について、その処理手法と基礎的な解析結果について述べる。

２．分析の概要

　動画や音声の個々の領域では、通信や蓄積のコストの削減のため様々な圧縮方式が考案され、その開発過程で様々なデータの特徴が解析されている。しかしながら、映像と音声をまとめた解析はあまり見あたらない。

　例えば拍手をする動作１つをとってもその映像の動きと発せられる音との間に関係があることは明らかであるが、映像と音響それぞれのどの特徴量にどのような関係があるかを端的に説明することは難しい。さらにこれらが組合わさった、例えばテレビ放送の１場面について、その映像と音響との関係を定量的あるいは定性的に解説する方法は知られていない。

　そこで最初の試みとして、拍手をするといったプレーンな事象でなく、音楽クリップやニュース番組、アニメ、ゲームといったある程度複合した映像/音声について統計的にカテゴリ間に固有な映像と音声の関係が見られないかを調査する。

３．分析の方法と結果

　各カテゴリの映像/音響データは、その内容が判るように１分程度を放送やビデオカメラを使った実写からサンプリングする。各サンプルはデジタルビデオにダビングし、デジタルビデオからDV-AVIファイルにキャプチャする(2)。このAVIファイルから各種映像/音響特徴を計算する。

　今回は、表１に示す10個のビデオ・コンテンツについて、音響パワー、平均輝度、平均輝度変化の３つの特徴量を計算した。計算式を式１、式２、式３に、特徴量の関連性が強いサンプルの例を図３に、各サンプルの特徴量の散布図のうち違いの大きな例を図４に示 す。各図から各サンプル毎に特徴量の関連性に違いがあることがわかる。

　更に、計算された３つの特徴量の周波数解析を行う。各クリップは10〜521フレームを前半、500〜1011フレームまでを後半とした512フレーム(17.08秒間)についてＦＦＴによりパワースペクトルを計算する。10個のコンテンツのうちの４つを例として図５、図６に示す。図５、図６の上段から平均輝度のパワースペクトル、平均輝度変化のパワースペクトル、音響パワーのパワースペクトルを示し、最下段のグラフはフレーム間平均輝度変化量とフレーム間音響パワーのパワースペクトルを１〜199周期までをとり散布図に表している。

　 クリップ一覧

図１　計測システム図

　　　　　　　　　　1　s

音響パワー:　 ＡPi=− �� (|Wi*s+z|)　　　　　　　　　式1

　　　　　　　　　　s z=1

　　　　　　　　　　1　 n　 m

平均輝度:　　 ＶAi=−　�煤@�� (Ｒixy+Ｇixy+Ｂixy)　　式2

　　　　　m*n y=1 x=1

　　　　　　　　　　1　 n　 m

平均輝度変化: ＶVi=−　�煤@�� ( |Ｒixy-Ｒ(i-1)xy|

　　　　　　　　　 m*n y=1 x=1

　　　　　　　　　　　　　　　 +|Ｇixy-Ｇ(i-1)xy|

　　　　　　　　　　　　　　　 +|Ｂixy-Ｂ(i-1)xy|)　

　　　　式3