卒業研究のご紹介
2019年版

情報系

奥行き方向への移動を考慮した簡単なデプスキー合成の検討

名古屋 真実静岡県
大学院情報工学専攻 博士前期課程1年
(情報学部情報工学科 2019年3月卒業)
静岡県立掛川西高等学校出身

研究の目的


近年では深度センサを搭載したスマートフォンが普及し、誰でも深度画像の撮影が可能になった。深度画像とはカメラから被写体までの距離の情報を持った画像で、これを利用すると奥行関係を考慮した画像合成ができる(これをデプスキー合成という)。例えば、背景にソファが写っているとき、前景となる人物の奥行情報を変更することで、ソファの手前に居るようにも、ソファの後ろに居るようにも自在に合成することが可能になる。本研究では、前景画像を背景画像上で奥行方向移動させたとき、遠近法に照らし合わせて、自然な位置、角度、大きさに見えるようなデプスキー合成手法を提案することを目的とする。ピンホールカメラの投影原理に基づき、深度情報を変更した際に画素がカメラ画像上でどのように移動するかを算出するアルゴリズムを考案した。この成果により、実写同士でデプスキー合成が可能であるため、CG を用いない簡易な AR サービスが実現できる。

研究内容や成果等

■ 提案手法

前景オブジェクトを奥行き方向に Δz 移動したとき、これをカメラ画像上に投影して得られる座標変換は、図1のピンホールカメラの構造に基づき、以下の式で与えられる。この結果から奥行方向にオブジェクトを移動させるときは、カメラの焦点距離を必要とせず、カメラキャリブレーションの必要がないことがわかる。 

(■(x_c2@y_c2 ))=z/(z+Δz) (■(x_c1@y_c1 )) ⋯⋯⋯⋯⋯⋯⋯⋯(1) 

式(1)に基づき前景画像をカメラ画像上で変換する方法として、次の2つの手法を提案する。手法1は、前景画像のすべての画素に対して式(1)の変換を行う方法である。手法2は、前景画像から代表的な画素を一つ選び、その深度情報をすべての前景画素に適用することで、前景画像全体をカメラ画像上でまとめて移動および拡大・縮小する方法である。手法1では、カメラに近づけるように奥行を変更すると、図3に示すように多くの画素が欠損してしまう。本稿ではこれを解決するため、前景のカメラ座標上の大きさを変えず、カラー画像と深度画像を拡大することで解像度を上げ(図2)、三次元空間に展開したときの点群を増やすことで欠損を補間する。

■ 実験

オブジェクトを実際の距離に置いた実画像と、2mの位置に箱を置いた実画像を手法1、補間法、手法2でそれぞれ奥行移動させて背景に合成した画像との比較を行った(図3)。また、横方向行への移動を加えた合成結果の比較も行った(図4)。更に、奥行移動距離と処理画素数による処理時間の比較を行った(図5)。実験結果から、全ての手法において前景の接地面がずれている。これは、背景画像を撮る際カメラが床面に対して水平でなかったためと考えられる。手法1はカメラに近づけた際に画素の欠損が生じるが、カメラから遠ざけた際は違和感なく合成できている。補間法は、手法1で欠損した部分が補間できている。手法1と補間法では横移動させたときに陰面に欠損が生じた。手法2は画素の欠損はないが、実画像と比べると、箱の上面の大きさや角度が違っている。これは、前景を立体物ではなく平面として移動させているためである。奥行移動距離ごとの処理時間を測定した図5(a)の結果から、手法1+補間法は距離をカメラに近づけるようにするほど処理時間がかかり、手法1、手法2には大きな違いがない。しかし、前景画像の画素ごとに処理時間を計測した図5(b)の結果から、手法1は画素が増えると処理時間が大きく増え、手法2が前景の画素数が増えても処理時間が変わらないことが分かる。以上から合成結果の質を重視する場合は手法1、時間を重視する場合は手法2が適していると考えられる。

図1. カメラ画像空間と三次元空間の関係

図2. 疑似的に解像度を上げる方法

図3. 手法による奥行移動させた合成結果の比較

図4. 横移動も加えた合成結果

図5. 処理時間の比較 (a) 対奥行き移動距離

(b) 対画素数
指導教員からのコメント 教授 辻 裕之
名古屋さんは ICTスペシャリスト特別専攻※の学生さんですが、プログラミングが得意で、エンジニアとしてのセンスはとても高いものを持っています。今回のテーマは、深度情報を用いて、前景となるオブジェクトを背景画像の任意の場所に合成する簡易な手法を提案するものですが、私たちが前年度1年間かけて考案していた手法よりも簡単かつ洗練された方法を正味1ヶ月ほどで完成してしまいました。本提案は、国際ワークショップ SISA2018に投稿され、Excellent Student Paper Awardを受賞しています。今後は大学院に進学し、従来からやりたかった深層学習に基づくテクスチャ画像の生成に関する研究を進めたいとのことで、今後の更なる活躍が期待されます。
※ICT(Information and Communication Technology:情報通信技術)スペシャリスト特別専攻:理数系科目の基礎学力を身につけていることを前提に、従来の学科の枠や学問領域にとらわれることなく、広い視野で情報技術全体を理解できる能力、語学力を培います。また、他国の文化への理解に基づいて、国際的に活躍できる能力を養成します。
卒業研究学生からの一言 名古屋 真実
入学時にはプログラミング未経験でしたが、プログラミングやコンピュータの基礎的な講義や演習が1年次からみっちりあるので、単位を取得していく中で自然にプログラミング力がつきました。今では欲しい機能をコンピュータ上で実装する際、どのような流れでコーディングすればよいかがパッと頭に思い描けるようになりました。このようなセンスはエンジニアとして大切なことですが、訓練によって誰もが身につけられるものだと思います。