卒業研究のご紹介
2021年版

機械・自動車・ロボット系所属学生

複数カメラを用いた広角カメラシステムの検討

増田 翔大静岡県
創造工学部自動車システム開発工学科2021年3月卒業
静岡県立清流館高等学校出身

研究の目的

現在、多くの自動運転に関わる研究者はカメラから取得したデータの解析や、LiDARとの組み合わせ、車両制御の研究をしています。そこで、カメラ本体の研究をしている人は少ないであろうと考えました。今回、汎用性が高く、扱いやすい車両用のカメラシステムを開発設計することで、AEBSやACCなどの先進安全装置の根本的な性能向上につながる上、従来からあるバックモニター用カメラや、車両の360°確認用カメラにも活用できるのではないかと考えました。

研究内容や成果等

■ 提案

超広角カメラを作るにはいくつかの方法がある。一つ目に広角レンズを使う方法である。より広い範囲を取得するにはレンズやイメージセンサが大きくなり、歪みも大きいため画像処理も増えてしまい、シームレスな動画を作成することが困難である。二つ目に多眼レンズを使う方法がある。例としてアイサイトがステレオカメラを利用している。複数のカメラを扱うことで、ユニット全体が大きくなってくる欠点がある。一方で全体の歪みは抑えることができ、横長の画像を取得することが可能になる。以上のことから、今回は三眼カメラを作成することとした。

■ 超広角カメラの作成

超広角カメラのコンセプトとして汎用性の拡大と扱いやすさを考慮し、Webカメラを使用することとした。Webカメラを利用する理由としては、USBケーブルを使用することで構造を簡素にしているだけでなく、同じカメラユニットを揃えやすいなどのメリットがあり、手振れ補正などの機能を求めなかったためである。

■ プログラムの設計

今回、パノラマ映像を作成するツールにOpenCVを利用した。また、シミュレーションソフトは、フリーソフトのPyCharmを使い、言語はPythonとした。プログラムの内容としては、カメラでフレームを3枚同時に読み込み、1枚のパノラマ画像を作成し、動画にするというものである。
パノラマ化にするにあたり、2つの方法を検討した。Fig2は、Stitcherモジュールを使う方法で作成した画像である。Stitcherとは、複数の画像から特徴点を見つけ出し、拡大・回転を行い、1枚の画像を作り出すモジュールである。しかし、1枚作成するのに約20秒かかってしまう欠点がある。Fig3 は座標でクロップし、連結する方法で作成した画像である。原始的ではあるが処理数が削減されるため高速化が可能である。今回はこの方法を活用する。

Fig.2 Image created using the Stitcher module

Fig3.Concatenated image

■ 歪み比較

次に各カメラの歪みについて比較する。
Fig4とFig5は各カメラの歪み補正をかける前の画像である。

Fig4.DRV-MR740 image

Fig5. Trinocular camera image
人が見た状態でも、左の画像の方の歪みが大きいのが分かる。Table1とTable2の表は各カメラの歪み係数である。

Table1 DRV-MR740

Table2 Trinocular camera
歪み係数は Distortion Coefficients  = (k1 k2 p1 p2 k3)
で表され、kは半径方向の歪み係数、pは円周方向の歪み係数を示している。kにあたる数値を比較してみても、三眼カメラの方の歪みが小さいことが分かる。

■ 実験

取り付け位置は前方スキーキャリアとし、運転席上部とした。
人物認識プログラムの有無を含め、4種類のデータと、ドライブレコーダー(DRV-MR740)を活用し、車両位置、速度、G加速度も同時に計測するものとした。

■ 分析

ドライブレコーダーの映像(Fig7)と三眼カメラの映像(Fig8)から画角、対象物の認識率、歪みについて分析を行う。ドライブレコーダーの取り付け位置がルームミラーの左にあるため、左側の表示エリアは変わらないが、右側は建物の表示エリアの違いが明らかである。

Fig7.DRV-MR740 image

Fig8. Trinocular camera image
次に、人物認識について検証する。2 枚の画像は同じシチュエーションであるがドライブレコーダーの画像を人物認識したとき4人中2人を認識しており、建物の一部も人であると検出している。一方で、広角カメラの場合は4人全員を認識している。これらの違いから、広角カメラの場合、画像の縦の幅が小さく、空や建物の上部が写っていないことで検出対象エリアが狭まれたことにより、精度が向上しているのではないかと考えられる。

■ 結言

今回の実験より、汎用性の高い広角カメラを作成することができた。しかし、現在使用しているパソコンでは処理に時間がかかってしまい映像が滑らかではないことや、カメラによって色温度が異なってしまい広角映像にした際に違和感のある映像になってしまうことが課題として挙げられる。今後、処理に時間がかかるプログラムを見直すことや、色補正、歪み補正を行い、改善が図れるかどうか継続的な検証が必要である。
指導教員からのコメント 電動システム研究室教授 クライソン トロンナムチャイ
先進運転支援システム(ADAS)は交通事故を防止するのに大変期待されています。ADASではカメラの出力画像を処理して車線や前方車両、歩行者等、車の周囲状況を確認しドライバーに危険を知らせたりドライバーに代わって危険を回避したりします。ADAS用カメラの画角は100°以上必要ですが、一般に画角が広い程画像歪が大きくなり歩行者等の検出率が悪くなります。本研究では複数の狭画角のカメラ出力画像を張り合わせることで歪の少ない超広画角の映像を得ています。本手法は監視カメラ等にも応用できて、またPythonとOpenCVで実装されたため大変実用的として本学科の他教官からも高く評価されています。この卒業研究を通して得た知識や経験を活かして増田君の今後の活躍を期待します。
卒業研究学生からの一言 増田 翔大
卒業研究を通じて、実際に自分の手で触れ、ゼロからスタートしたことで3年間に学んだ基礎知識だけでなく、新たなことに挑戦することができました。1年の期間で、テーマの立案から計画、制作、実験といったプロセスを踏むことで、実際の企業での開発と同じやり方が可能になり、社会に出ても役立つ糧となりました。普段の講義のみならず、課題解決型インターンシップや海外研修といった大学生でしかできないことを経験することで、自分自身の価値を高めることができると思います。皆さんも、4年間を楽しんで学生ライフを送ってください。