図１．合成画像による複雑背景の例．どれが物体の輪郭を示すエッジかわからない．
図２．物体が移動すれば境界はわかる．ところが，再びとまるとわからなくなる．
図３．抽出したフロー．大きな点はフローベクトルの始点を示す．フローベクトルは２倍して表示してある．
次のような処理で追跡を行なう． まず，前フレームでの物体領域の平均フローから現在の領域を予測する． 予測した物体領域の近傍で類似したフローをもつ領域をまとめて，この領域 の輪郭を動き境界(図４)とする．
図１．合成画像による複雑背景の例．どれが物体の輪郭を示すエッジかわからない．
図２．物体が移動すれば境界はわかる．ところが，再びとまるとわからなくなる．
図３．抽出したフロー．大きな点はフローベクトルの始点を示す．フローベクトルは２倍して表示してある．
次のような処理で追跡を行なう．
まず，前フレームでの物体領域の平均フローから現在の領域を予測する．
予測した物体領域の近傍で類似したフローをもつ領域をまとめて，この領域
の輪郭を動き境界(図４)とする．
図４．動き境界．フローの違いから得られる動き境界は正確ではない．
図３からわかるように物体の境界の近傍では，抽出したフローは正しくないので，こうして得られた動き境界は物体の境界を表すとは限らない．
それで，輪郭のエッジがあるところでは，エッジを用いて輪郭を表すことにする．
動き境界の近傍においてコントラストが大きく，動き境界と方向が
同じエッジがあるならば，
これを物体輪郭のエッジと考えて抽出する．
図５．抽出した輪郭のエッジ．
このように，
ある時刻において抽出した輪郭のエッジは，輪郭全体の一部分でしか観測されない．
それで，追跡の過程で物体の輪郭のエッジを蓄積していく．
図６．蓄積したエッジ．図５に今まで蓄積してきたエッジを加えて表示した．エッジを蓄積していくことで，ある時間後には物体の輪郭全体のエッジが得られると期待できる．
こうして得られた蓄積エッジを動き境界と置き換えて物体輪郭を表す．
エッジが得られていないところでは，動き境界を用いて
輪郭を定める．
抽出した輪郭のエッジは，蓄積しておき次フレームでの輪郭の抽出に用いる．
図７．蓄積したエッジと動き境界を用いて得られた輪郭．
図８に実験結果を示す．物体と背景との動きが違うときには，動き境界と蓄積したエッジを用いて物体の輪郭を得る．
物体と背景との動きが類似する場合には，動き境界の抽出は困難となるが，
この場合には，物体が移動しているときに蓄積したエッジを用いて物体輪郭を
定める．
図８．追跡結果．とまっても蓄積したエッジを使えば輪郭がわかる．
次に，後ろの車が前の車をを右から左へ追い越していくシーンについての実験結果を示す．
追い越す間，２つの車のフローは類似しているので，従来のフローに基づいた手法
では輪郭は定まらない．
物体が重なったとき，物体が手前にあれば，その物体の予測した輪郭上でエッジが観測されることが期待できる．
それで，予測した物体領域の重なり部分において予測輪郭の近傍にエッジがあるかどうか調べる．
予測輪郭の近傍で十分なエッジが観測されれば，その物体を
手前であると判定する．
一度，物体の隠蔽関係が決定されると，
その判定は正しいとして，次フレーム以後，隠蔽関係の判定は行なわない．
図９．予測した輪郭．予測した輪郭上にエッジがあるかどうかで隠蔽関係を判断する．
図１０．実画像での追跡結果．物体が重なったときには，隠蔽関係を判定して追跡する．
Yasushi Mae, Yoshiaki Shirai, Jun Miura, and Yoshinori Kuno
mae@cv.mech.eng.osaka-u.ac.jp