奥行き方向への移動を考慮した簡単なデプスキー合成の検討

近年では深度センサを搭載したスマートフォンが普及し、誰でも深度画像の撮影が可能になった。深度画像とはカメラから被写体までの距離の情報を持った画像で、これを利用すると奥行関係を考慮した画像合成ができる（これをデプスキー合成という）。例えば、背景にソファが写っているとき、前景となる人物の奥行情報を変更することで、ソファの手前に居るようにも、ソファの後ろに居るようにも自在に合成することが可能になる。本研究では、前景画像を背景画像上で奥行方向移動させたとき、遠近法に照らし合わせて、自然な位置、角度、大きさに見えるようなデプスキー合成手法を提案することを目的とする。ピンホールカメラの投影原理に基づき、深度情報を変更した際に画素がカメラ画像上でどのように移動するかを算出するアルゴリズムを考案した。この成果により、実写同士でデプスキー合成が可能であるため、CG を用いない簡易な AR サービスが実現できる。

オブジェクトを実際の距離に置いた実画像と、2mの位置に箱を置いた実画像を手法1、補間法、手法2でそれぞれ奥行移動させて背景に合成した画像との比較を行った（図3）。また、横方向行への移動を加えた合成結果の比較も行った（図4）。更に、奥行移動距離と処理画素数による処理時間の比較を行った（図5）。実験結果から、全ての手法において前景の接地面がずれている。これは、背景画像を撮る際カメラが床面に対して水平でなかったためと考えられる。手法1はカメラに近づけた際に画素の欠損が生じるが、カメラから遠ざけた際は違和感なく合成できている。補間法は、手法1で欠損した部分が補間できている。手法1と補間法では横移動させたときに陰面に欠損が生じた。手法2は画素の欠損はないが、実画像と比べると、箱の上面の大きさや角度が違っている。これは、前景を立体物ではなく平面として移動させているためである。奥行移動距離ごとの処理時間を測定した図5(a)の結果から、手法1+補間法は距離をカメラに近づけるようにするほど処理時間がかかり、手法1、手法2には大きな違いがない。しかし、前景画像の画素ごとに処理時間を計測した図5(b)の結果から、手法1は画素が増えると処理時間が大きく増え、手法2が前景の画素数が増えても処理時間が変わらないことが分かる。以上から合成結果の質を重視する場合は手法1、時間を重視する場合は手法2が適していると考えられる。