共同全方向移動自律清掃モビリティの製作－画像認識を用いた自律清掃と遠隔操作－

本学内には年間を通して落ち葉が落ちており清掃員での清掃を完全に行うことは困難である。屋内用の全自動ロボット掃除機は数多く存在するが、屋外を自動で清掃するモビリティというものが少ないため注目した。従来のロボット掃除機は決められた場所を決められた時間で清掃するものがほとんどである。この方式では、広大な敷地の清掃では多大な時間を要するため、我々は自動で落ち葉を発見し、全方向移動して清掃することによって、このような問題が解決できるのではないかと考えた。そこで、研究として本学C5号館裏で、画像認識を用いた自律走行と遠隔操作による走行により、効率よくかつ掃き残しなく落ち葉を回収することを目指した。

(1)ハードウェア構成
実験にはArduinoが搭載されているメカナム車両を使用した。画像認識にはjetsonXavierNX（以下NX）と呼ばれるコンピュータに、画像認識プログラムであるyoloをインストールしたものと150°広角WEBカメラ(以下150°カメラ)を使用している。遠隔監視には同じく小型コンピュータのjetsonAGX（以下AGX）と150°カメラを使用した。それぞれの接続関係をFig.1にて示す。

(2)画像認識
画像認識をするにあたり、落ち葉の写真を300枚程度撮影し、labellmg(Fig.2)というソフトウェアを用いてタグ付けを行った。それらを使ってyoloにより深層学習させ、学習したデータを用いて落ち葉の領域認識を行った。学習には反復学習を4000回行っている。完了には12時間ほどかかった。
(3)動作生成
画像で認識された落ち葉領域の位置に応じてモビリティを移動させることとした。

そのため認識した落ち葉領域の中心座標がどこにあるかによって、車両がどのように動けばよいか制御した。Fig.3の6領域において移動方向は図示した通りである。⑥のみ、速度は0.3m/sで、他は0.1m/sである。
Fig.4にソフトウェア構成を示す。

今回は、画像認識の性能評価、落ち葉に向かっていくプログラムの性能評価、遠隔操作の性能評価を行った。実験はC5号館北道路で行った。
(1)画像認識性能評価
まず、落ち葉の画像(378枚)によって学習された認識の性能を計測した。画面と道路を比較しながらFig.3と同様に6エリアを定義した(Fig.5、0.56mは吸引部分の幅である)。
結果はいずれのエリアに置いた落葉も正しく認識し認識率は100%であった。

今回の実験で判明した課題としては、認識時の信頼度の向上や、遠い場所にある落葉の認識である。天候や光の当たり具合等の写真のバリエーションを増やすことで改善可能と思われる。

(2)落ち葉認識走行プログラムの性能評価
次に、作成したプログラムを用いて、設定した座標にあわせた様々なパターンで落ち葉を置き、その際の挙動を評価するのと同時に、吸い残しの少ない動きの検討を行った。
落ち葉を1箇所置く場合、落ち葉の方向に向かって正常に接近し、落ち葉を吸うことができた。
落葉が複数個所にあったり、一面に撒かれていた場合には吸い残しが発生することもあり、今後の課題である。
(3)遠隔操作性能評価
最後に、C5号館裏で、メカナム車両に積んであるカメラから車両の前方を研究室から確認しながら、遠隔操作の性能、可能範囲や操作性などを実際に動かしながら測定、状況を評価した。
結果、道路東西端まで行っても誤差なくカメラからの画像を見ることができ、誤差なく操縦することができた。しかし、西端の方では、動作の実行の指令は届くが、動作の停止の指令が届かないことがあった。原因は不明である。

本研究では、画像認識を用いて落葉の場所を発見し、車両を自律走行させて落葉清掃を行うことができた。