卒業研究のご紹介
2021年版

機械・自動車・ロボット系所属学生

仮想映像によるドライバ操作反応と仮想白線の重畳に関する研究

渡邉 知希長野県
創造工学部自動車システム開発工学科2021年3月卒業
長野県松本蟻ケ崎高等学校出身

研究の目的

本研究室では、自動運転や先進運転支援システムにおける「中間膜自発光ガラス技術」の効果的な利用価値を見極める研究を進めてきました。本技術は通常の視界を確保するだけでなく仮想映像をガラス上に投影できる画期的なシーズ技術ですが、これまで利用価値を明確に示す結論に至っていませんでした。
本研究は、2つの利用価値について有効性を検証することを目的とし、1つは、実車走行状態で駐車車両の陰からの歩行者の飛出し場面等の仮想映像を投影し、AEB(Automated Emargency Brake system)などの効果をドライバの反応で評価するヒヤリハット体験手段として有効であるかを示すこと、2つ目は、夜間などの車線視界を支援する利用目的として、実白線とカメラ認識の仮想白線映像の重畳が可能かを示すことを目的としました。

研究内容や成果等

■ ドライバ反応評価への利用価値の実験・解析

(1)実験システム構成
これまでの研究で作製したDS(Driving Simulator)と実車評価の利点を併せ持ったViL(Viecle in the Loop system)の構成を図1に示す。
本システムでは、IPG Automotive社のリアルタイム用ハードウェアXpack4とdSPACE社のMicro Auto Box (MABX)を、また、シミュレーション映像ソフトには IPG Automotive社のCarMakerを使用した。MABXで車両の自己位置座標、ヨー角がリアルタイムで算出されCAN通信を用いてXpack4に送信される。Xpack4は送信された車両の情報からシミュレーション映像を生成し、Immersa ViewのWarp機能を使用して歪補正を行う。

図1 ViL configuration
(2)実験方法
CarMakerでヒヤリハットの交通シーンを再現し、仮想映像をフロントガラスに投影した実験と、実物の歩行者ダミーを使用した同シーンの実験を再現し、速度、走行軌跡および加速度の計測結果を比較する。また、運転者に対しアンケート調査を行い実験結果との相関も観た。実験では衝突余裕時間(TTC)を2.0[s]とした。これは、車両安全対策検討会の人対四輪のヒヤリハット場面の分析結果から、移動可能性の無い遮蔽物では、概ね2秒前後のTTCで歩行者が出現しているためである。
本研究では、左車線の駐車車両を追い越した先で人が飛び出すシナリオを用い、一般的なドライバ3人に各シナリオ3回ずつ走行してもらった。この実験場面と、実験シーンを図2、図3に示す。

図2 Experimental conditions

図3 Pedestrian darting-out test scene
(3)実験結果と考察
歩行者ダミー実験(以下、実物実験)と仮想映像実験(以下、仮想実験)での最高速度が最も近いデータを抽出し、走行距離と自車の加速度Xacc[m/s2]、操舵角Steerangle[deg]の各グラフを図4〜6に示す。
図4からは、実物実験より仮想実験のほうが10mほど早く反応していることがわかる。また、グラフの傾きも仮想実験のほうが大きく、急ブレーキをかけたことがわかることから、仮想映像のほうが実際より歩行者が近く見えているのではないかと考察できる。図5からは、駐車車両の追い越し開始が2mほど仮想実験のほうが早いが、両方とも駐車車両を避けて走れている。
図6からは、操舵角が約3倍異なることから、駐車車両との距離感も仮想実験のほうが近いと想定される。歩行者ダミー実験で使用した駐車車両は、全長7.43mに対し、バーチャルで使用した駐車車両は5.15mの車両を使用している。2m近い差を考慮しても車線変更開始はバーチャルのほうが早い。両実験を通して、車線変更のタイミングや、歩行者が飛び出してきて停止する距離は差があったが、どちらも駐車車両や歩行者に接触していなかった。仮想実験と実物実験のデータが全く一緒ではなかったため、完全に互換とはいえないが、仮想映像での歩行者飛び出しにドライバは緊急時の操作反応をしており、ヒヤリハット体験において有効と言える。また、実験後のアンケート調査からも「DSよりも加減速を体感できリアル感があった」「歩行者ダミーのときよりバーチャルのほうが飛び出しに驚いた」等の意見が得られ、実際に走ることでリアリティが向上したと言える。以上の結果から、相対的な要因のドライバへの影響を評価する手段として「仮想映像(ViL)」への「中間膜自発光フロントガラス」の適用は有効と言える。

図4 Xc-Xacc graph 

図5 Xc-Yc graph

図6 Xc-Steer angle graph

■ 白線重畳利用技術の開発と検証

(1)カメラ画像認識による白線重畳技術
前項目の実験では「白線を重畳させた場合、実物と映像の差異により注視点が定まらず混乱した」等の意見があった。この例が示すように、これまでの白線重畳技術には課題があった。これは、車両計測からの自己位置座標をCarMaker仮想空間座標に物理的に合わせようとしたため、計測誤差や応答性が知覚映像誤差に直に影響したためと考えられる。そこで、これまでの物理的空間計算方法をやめ、カメラでの白線認識映像を歪ませ、前方の知覚映像として直接ガラス面に投影する方法を試みた。白線認識から重畳の修正はPythonを用いて開発し、白線だけの知覚映像を投影した。アルゴリズムの手順を図7に示す。

図7 Algorithm flow of white line superimposition 
(2)実験結果と考察
図8に実験結果を示す。従来、直線の一部でしか重畳できなかったものに対し、今回の方法では、実際のカーブ白線にも追従して仮想白線を重畳できた。この実験結果は、カメラ認識での知覚情報の応答性や位置情報を追っていけば、物理モデルの要求要件が明確になるとも言える。

図8 Superimposition performance of virtual white line using camera perception algorithm

■ 結言

本研究では、「中間膜自発光ガラス技術」のフロントガラスへの利用価値が以下の2つの点で、有効であることが検証できた。
①仮想映像によりドライバにヒヤリハットを体験させることができたことから、ドライバへの受容性評価の手段として有効である。
②本技術とカメラ認識を併せた知覚映像技術により仮想白線の重畳が可能である。
特に②については、ドライバの眼の位置の決定方法や、カメラだけではない前方認識知覚情報の取得方法など課題はあるが、視界の悪い状況での利用価値を考えると実現可能性が解ったことは貴重な成果と言える。今後の継続的研究が必要である。
指導教員からのコメント 自動運転・運転支援研究室教授 井上 秀雄
渡邉君の研究は、透明でありながらスクリーンにもなる「中間膜自発光ガラス」の車での効果的な利用価値を創出するものです。仮想シミュレーションとリアルな実映像をフロントガラス上に重畳できるかがテーマですが、これまでモデル計算で作成されたシミュレーション映像では、上手くいきませんでした。これをカメラで認識した白線から仮想映像を用いることで、人間の眼の白線とカメラの眼の白線映像をフロントガラス上に重畳できることが証明できました。仮想化知覚映像のクルマの実走行で利用は大変難しい課題でしたが、渡邉君の頑張りで達成できたことは本人の自信に繋がったと思います。この自ら考え行動する経験から社会でも活躍すると確信しています。
卒業研究学生からの一言 渡邉 知希
まだ市販車に実装されていない技術を使ってその利用価値を検証する本研究はとても貴重な経験でした。今年度は、一年の半分は学内に入ることができず、実際の車両に触れて卒業研究に取り組める時間はかなり少なかったと感じています。実物に触れて実験する時間が少なかったからこそ、それ以外の時間で、どうすれば効率よく実験ができるか考えをまとめたり、使用するソフトの操作方法についてより理解を深めたりと、下準備に専念しました。その結果、11月に行った実験は無事に終えることができました。下準備の重要さを改めて感じることができた卒業研究でした。