卒業研究のご紹介
2019年版

情報系所属学生

人工知能を用いた手話認識手法に関する研究

小澤 辰典群馬県
大学院情報工学専攻 博士前期課程 2019年3月修了（情報学部情報工学科 2017年3月卒業）
伊勢崎商業高等学校出身

研究の目的

手話は、一般にろう者が用いるコミュニケーション方法の1つです。しかし多くの聴者は手話によるコミュニケーション方法を習得しておらず、ろう者と聴者との手話によるコミュニケーション方法には大きな障壁が存在します。そこで我々は誰もが所持しているスマートフォンを用いて、手話の自動翻訳ができれば、ろう者と聴者によるコミュニケーションの円滑化に寄与すると考えています。翻訳結果をスマートフォンの画面上に表示、または内蔵されているスピーカーから音声出力することを最終目標に研究を行っています。
現在は、手話自動翻訳の前段階として、手話学習者の支援を検討しています。近年、手話学習用の動画辞典が多数存在する一方で、手話動画を見て学んだ学習者の手話動作が、正しいかどうかを評価するシステムは存在しません。そこで、我々は当面の適用先として手話復習用ツールとしての活用を想定して検討を進めています。

研究内容や成果等

■ 要旨

聴覚障碍者同士のコミュニケーションには手話が用いられているが、聴覚障碍者とそうでない人との間のコミュニケーションは、筆談や電子機器への入力で行われている。異なる言語間の自動翻訳と同様に、手話を自動翻訳することができれば、真の意味でのバリアフリー社会に寄与できると考えられる。本研究では、スマートフォン内蔵の光学カメラとCPUを用いて手話動作を検出、認識し、その結果を音声出力することを最終目標に取り組んでいる。

■ 概要（将来イメージ、現在は PC＋ WEBカメラの構成で検討中）

1. カラー手袋を装着した手話者の手話動作をカメラで取得
2. 上記画像から手話動作の特徴となる動きや手の位置、指の形を抽出
3. 上記、抽出したデータから人工知能（機械学習）の技術によって、手話を認識
4. 認識結果をスマホ（現在はPC）の画面の出力あるいは音声出力

指導教員からのコメント 教授　田中 博
彼が取り組んでいる手話認識のテーマは、非常に難しいテーマであり、できるところから着実に技術を積み上げていく必要があります。人工知能を用いる、ということから理論的な観点ばかりが注目されがちですが、実際には、手話動作の動画データを収集し、そしてそれを用いて人工知能に適用できるようにデータを加工していく地道な作業も重要です。その作業を含めて、後輩や研究室に滞在してくれた外国からの研修生と一緒に研究に取り組んだことは、彼の人間形成の上でも大きな意味があったと思います。
既に音声や文章の自動翻訳は実社会で使われつつありますが、手話の自動翻訳ができれば、聴覚に障がいを持つ人にとって素晴らしいツールになるでしょう。その実現を目指し、現在は彼が中心となって研究室や外部の協力者たちと共同で取り組んでいます。
修士研究学生からの一言 小澤 辰典
情報学部では、学部 4年次から研究室に配属され研究を行います。大学卒業後は本大学の大学院に進み研究を続けました。研究に取り組んでいく中で、自分の研究内容や成果を外部に発表する機会が度々ありました。そこで多くの出会いや、海外等に行くことができ、多様な経験を得られたことは良かったと思います。その他には、数カ月研究室に滞在してくれた海外留学生と、共同で自分の研究を進めた経験は大変でもありましたが、それ以上に楽しいものでもあり、自分を成長させてくれたと思います。