複数カメラを用いた広角カメラシステムの検討

現在、多くの自動運転に関わる研究者はカメラから取得したデータの解析や、LiDARとの組み合わせ、車両制御の研究をしています。そこで、カメラ本体の研究をしている人は少ないであろうと考えました。今回、汎用性が高く、扱いやすい車両用のカメラシステムを開発設計することで、AEBSやACCなどの先進安全装置の根本的な性能向上につながる上、従来からあるバックモニター用カメラや、車両の360°確認用カメラにも活用できるのではないかと考えました。

超広角カメラを作るにはいくつかの方法がある。一つ目に広角レンズを使う方法である。より広い範囲を取得するにはレンズやイメージセンサが大きくなり、歪みも大きいため画像処理も増えてしまい、シームレスな動画を作成することが困難である。二つ目に多眼レンズを使う方法がある。例としてアイサイトがステレオカメラを利用している。複数のカメラを扱うことで、ユニット全体が大きくなってくる欠点がある。一方で全体の歪みは抑えることができ、横長の画像を取得することが可能になる。以上のことから、今回は三眼カメラを作成することとした。

超広角カメラのコンセプトとして汎用性の拡大と扱いやすさを考慮し、Webカメラを使用することとした。Webカメラを利用する理由としては、USBケーブルを使用することで構造を簡素にしているだけでなく、同じカメラユニットを揃えやすいなどのメリットがあり、手振れ補正などの機能を求めなかったためである。

今回、パノラマ映像を作成するツールにOpenCVを利用した。また、シミュレーションソフトは、フリーソフトのPyCharmを使い、言語はPythonとした。プログラムの内容としては、カメラでフレームを3枚同時に読み込み、1枚のパノラマ画像を作成し、動画にするというものである。
パノラマ化にするにあたり、2つの方法を検討した。Fig2は、Stitcherモジュールを使う方法で作成した画像である。Stitcherとは、複数の画像から特徴点を見つけ出し、拡大・回転を行い、1枚の画像を作り出すモジュールである。しかし、1枚作成するのに約20秒かかってしまう欠点がある。Fig3 は座標でクロップし、連結する方法で作成した画像である。原始的ではあるが処理数が削減されるため高速化が可能である。今回はこの方法を活用する。

次に各カメラの歪みについて比較する。
Fig4とFig5は各カメラの歪み補正をかける前の画像である。

人が見た状態でも、左の画像の方の歪みが大きいのが分かる。Table1とTable2の表は各カメラの歪み係数である。

歪み係数は　Distortion Coefficients  = (k₁ k₂ p₁ p₂ k₃)
で表され、ｋは半径方向の歪み係数、ｐは円周方向の歪み係数を示している。ｋにあたる数値を比較してみても、三眼カメラの方の歪みが小さいことが分かる。

取り付け位置は前方スキーキャリアとし、運転席上部とした。
人物認識プログラムの有無を含め、4種類のデータと、ドライブレコーダー(DRV-MR740)を活用し、車両位置、速度、Ｇ加速度も同時に計測するものとした。

ドライブレコーダーの映像(Fig7)と三眼カメラの映像(Fig8)から画角、対象物の認識率、歪みについて分析を行う。ドライブレコーダーの取り付け位置がルームミラーの左にあるため、左側の表示エリアは変わらないが、右側は建物の表示エリアの違いが明らかである。

次に、人物認識について検証する。2 枚の画像は同じシチュエーションであるがドライブレコーダーの画像を人物認識したとき4人中2人を認識しており、建物の一部も人であると検出している。一方で、広角カメラの場合は4人全員を認識している。これらの違いから、広角カメラの場合、画像の縦の幅が小さく、空や建物の上部が写っていないことで検出対象エリアが狭まれたことにより、精度が向上しているのではないかと考えられる。

今回の実験より、汎用性の高い広角カメラを作成することができた。しかし、現在使用しているパソコンでは処理に時間がかかってしまい映像が滑らかではないことや、カメラによって色温度が異なってしまい広角映像にした際に違和感のある映像になってしまうことが課題として挙げられる。今後、処理に時間がかかるプログラムを見直すことや、色補正、歪み補正を行い、改善が図れるかどうか継続的な検証が必要である。