自動制御へのカメラ認識による障害物回避制御の結合に関する研究

近年、高齢者による交通事故報道などを契機に、高齢者の運転免許証自主返納を促す社会的風潮となっている。2019年に自主返納した人の数が、過去最多の60万1022人（前年比17万9832人増）となった。しかし、自動車が生活に欠かせない交通手段となっている地域では、返納が進まないなどの地域格差が問題となっている。そこで、自動運転などの運転支援技術の開発が急務になっている。
本研究では、NVIDIA Jetson AGX XavierとWebカメラを用いたカメラ認識による障害物回避制御とAutoware（自動運転用ソフトウェア）自動走行の結合を行った。また、カメラの認識精度や認識速度についての検証、自動運転技術の向上を目的とする。

NVIDIA Jetson AGX Xavier 開発者キットは、NVIDIA JetPack 4.4という名称で開発に必要なツールが一式提供されている。Ubuntu18.04LTSベースのOSに加え、DeepStream5.0、Cuda10.2、cuDNN8.0、TensorRT7.1.3、Gstreamer1.0、といったソフトウェアライブラリを利用できる。画像認識に使用する畳み込みニューラルネットワーク（CNN）モデルは、本研究では、JetPack4.4付属のResNet10を使用している。併せて、JetPack4.4付属の「人」「車」「自転車」「交通標識」学習済みモデルを使用した。

本システムは、AutowareとMicro Auto Box(dSPACE社)、Jetson AGX Xavier(NVIDIA 社)（以下、JETSON)、C922NPRO STREAM WEBCAM(Logicool社)、実験車両にRoboCar MV2(以下、COMS)を使用している。実験車両のシステム構成を図１に示す。COMSに搭載されているLiDARを使用し、Autowareで地図及び目標経路を生成することで経路追従自動運転を行う。車両制御はCOMSに搭載されている車輪速センサなどを使用し、Micro Auto Box経由で実行する。また、カメラからJETSON内のDeepStreamで認識を行う。対象物までの距離推定、対象物の寸法推定、認識結果を書き出すPlugin１によって共有メモリに書き込み、object_detection _publisherが読み込むことで、ROSノードを100Hz指定で送信する。mabx_connecter_comsがAutowareのTopicと認識結果のTopicを同期受信する。目標ヨーレート値を10Hz周期で送信し、経路追従及び回避制御を実行する。JETSON とPC(Autoware)は、ChronyでOSの時刻を同期する。

画像認識によって検出した対象物までの距離算出には、遠近法を利用している。距離算出のためのカメラキャリブレーションの様子を図２に示す。認識画面上部には、認識クラス、Bounding Box 左上座標 x、y、Bounding Box右下座標x,yが表示される。COMSにカメラを設置し、カメラから3m、5m、10m、20m離れた位置の対象物を、JETSONによって認識させる。各位置における検出結果のBounding Box右下座標点ｙを示したのが、図２の横線である。また、計測点以外の物標に関しては線形補間によって算出する。よって、検出結果のBounding Box右下座標点yより、対象までの距離を推定する。また、対象物の寸法推定には座標変換を用いる。カメラのワールド座標系における位置を決定し、対象物のスクリーン座標点を決定する。最後に、スクリーン座標点からワールド座標点に変換することで、対象物の寸法を推定する。

障害物回避プログラムはC言語を用いて開発し、障害物の座標点より目標回避経路を描き、目標ヨーレート値を算出する。予測回避経路の一例を図３に示す。障害物右端から車幅の半分を考慮した半径Cの円Eoを描き、カメラ位置Oでの接点がCOMS進行方向と平行で、円Eoと外接する円ERを描く。半径Rは最大となるようにする。円Eoと円ERの接点を切り替え点Aとし、経路OAに対して逆旋回となる半径Rの円を描く。OA＝ABとなる点を回避終了点Bとする。経過時間より自己位置を推定し、終了点を決定する。Lwhは道路幅、Laは回避に要する横変位である。式(1)を満たすとき、操舵回避を実施する。このプログラムは、図１内で示したmabx_connecter_comsに追加し、Autowareからの目標ヨーレート値をMicro Auto Boxに送信する仕組みを活用した。

Lwh ≥ La+C　（１）

Autowareでの自動運転中にJETSONのカメラ認識による障害物回避実験を行う。安全面を考慮し、障害物は駐車車両とした。アクセル、ブレーキ、ステアリングを自動制御して約3km/hで定速走行し、COMS前方に搭載したWebカメラから駐車車両までの距離が5ｍ以下になると障害物回避動作を開始する。

JETSONのカメラ認識精度について、障害物から約5m地点での認識結果を図４に示す。図中、depthが対象物までの距離、widthが対象物の幅である。対象物までの距離は4.9661mと推定されていて、回避動作にはほとんど影響を与えない誤差となった。対象物の幅の推定値は1.55024mとなり、実寸値の約1.59mとの誤差約0.04mと、ほぼ誤差なく推定できた。しかし、全幅1.745mとの誤差は約0.19mとなった。この誤差の要因として、対象物の車両が、曲線的な形状だったことが挙げられる。また、認識速度は平均値30FPSであり、回避動作を問題なく行える認識速度であった。
障害物回避実験の走行軌跡と速度の記録を図５に示す。回避開始点Oから切り替え点Aまでは、目標経路から大きく逸脱することなく走行できた。しかし、AB区間は目標経路と走行軌跡の逸脱幅が約0.3mとなった。要因としてAB区間では指令速度3km/hを下回ったためと推測する。短時間の間にステアリングを2度大きく切ったことによる失速が生じた。障害物回避プログラムは指令速度から回避終了時間を算出しているため、指令速度と実際の速度との差異が目標経路からの逸脱につながったと推察される。よって、プログラムに自己位置をフィードバックすることで回避動作の精度を向上できると推察する。

本研究では、NVIDIA Jetson AGX XavierとWebカメラからの画像情報で物体の寸法や位置を推定可能にし、カメラ認識による回避制御を開発した。この障害物回避制御を Autowareの経路追従自動運転制御に結合実装した結果、障害物回避が可能であることが実験で検証できた。
今後、車速制御精度を向上させ、坂道走行時や、車両のピッチが変動した場合における対象物までの推定距離補正等の認識精度の向上や、回避動作中の自己位置推定についての検討も必要である。