厚木市内でキャラクターの写真が撮れるARアプリ

ご当地キャラクターや企業のキャラクターは、グッズ化されたりグランプリが開催され、地方自治体や公共団体のPRに役立てられている。そのようなキャラクターと写真を撮影できる機会は従来から存在するが、多くの場合着ぐるみであり、特別なイベントやPRの場でないと目にできません。また、昨今の感染症対策の観点から、着ぐるみとの距離が近くなる記念撮影は行いにくいという問題がある。
そこで、3Dモデルを用いて撮影が行えるようにすると、より容易にキャラクターと写真を撮影することができると考えた。本研究では、スマートフォン用のARアプリを制作し、実在の景色の中に現れた3Dキャラクターの写真を容易に撮影できるシステムの提案を目的とする。

AR（拡張現実）は、スマートフォンなどのデバイスを介して、現実世界にデジタルな情報を付加する技術である。ARは現実空間をベースとしている。ARは、「マーカー型（画像認識型）」「GPS型（位置認識型）」「空間認識型」「物体認識型」の4つに分けられ、本研究では、マーカー型とGPS型を使用した。
(1)マーカー型（画像認識型、ビジョンベース）
図2.1はマーカー型ARのイメージ図である。
特定の写真やイラスト、文字を画像認識し、特徴点が一致すると、ARコンテンツが自動的に出現する。マーカー型ARのイメージ図を図2.1に示す。

(2)GPS型（位置認識型、ロケーションベース）
図2.2はGPS型ARのイメージ図である。
予め「この場所にこのARコンテンツを出現させる」と、GPSで取得される緯度・経度情報と連動させて設定しておき、設定された場所に向かってスマートフォンなどの端末をかざした場合に、コンテンツが出現する。しかしキャラクターとの写真撮影の場合、出現する場所を予め決めることは困難である。したがって本研究では、厚木市内か市外かのみを判定し、市内であればどこでもキャラクターを出現させられるようにした。

本研究の3Dモデルは、厚木市のマスコットキャラクターである「あゆコロちゃん」を、プロのCGデザイナーの殿谷遥氏が3Dモデル化したものである。

本研究では、Unity（2019.2.9f1）を使用した。実験に使用したスマートフォンは、SONYのXperia XZ1 Compactである。UnityでAndroid関係の開発をするため、Android SDKとOpenJDKを一緒にインストールする。
(1)Vuforiaを用いた開発手順
Vuforiaを用いたARシステム開発には、PTC社のVuforia Engine Developer Portalという開発者用のウェブサイトに開発用PCをインターネット（https）接続する必要がある。
(2)マーカー画像の登録とUnityへのインポート
上記サイトでは、マーカー画像はデータベースとして管理されるので、はじめにデータベースを作成する。画像登録後にTarget Managerに戻ると、星の個数（1~5個）でレーティングが表示されている。マンホールの特徴点を表示した画像を図4.2に示す。黄色の＋印で示されているように、多数の特徴点が抽出されており、この点からもマーカーとして適している。

(3)UnityにおけるARカメラ、3Dモデルの配置
UnityにおいてVuforiaではAR Cameraを使用する。続けてマーカー画像を追加する。このマーカー上にあゆコロちゃんを配置し、マーカー画像の子要素にすることで3DモデルをAR表示できるようになる。さらにコライダーを設定し、大きさを変えるスクリプトをアタッチする。
(4)撮影機能の作成（省略）
(5)実験結果
実際にアプリを使用した際、実物のマンホールに対しても問題なく動作した。画像を図4.5に示す。

マーカー型では、マンホールがないとあゆコロちゃんを表示できないという制約がある。そこで、厚木市内であればどこでもあゆコロちゃんを表示できるが、厚木市外では表示されないよう、GPSを用いた方式を構築する。
(1)GPS方式の開発手順
Unityは使用しているがAR用のライブラリは特に使用していない。ただし、以下に述べるように簡易逆ジオコーディングサービスを使用している。
(2)簡易逆ジオコーディングサービスによる住所の取得・表示
簡易逆ジオコーディングサービスは、国立研究開発法人農業・食品産業技術総合研究機構西日本農業研究センター営農生産体系研究領域が運営するサイト内で公開しているWebサービスのひとつである。緯度経度を指定すると、その地点の属する都道府県、市区町村名を取得できる。
Unityでこのサービスを利用するには、表5.1のようなスクリプトを作成する必要がある。逆ジオコーディングサービスから返ってくる文字列はJSON（JavaScript Object Notation）形式のため、C#で扱えるように変換する必要がある。このため、Pluginsという名前のフォ ルダを作成し、その中にGitHabからダウンロードした MiniJSON.csというスクリプトを保存する。

(3)カメラ映像の投影
3DモデルをAR表示させるため、スマートフォンのカメラ映像をUnityのQuadというゲームオブジェクトに投影して背景にする。カメラ映像を投影するため、新しくWebCamControllerという名前のスクリプトを作成し、Quadにアタッチする。これはWebカメラの映像をテクスチャとして写すスクリプトである。
(4)3Dモデルの配置
Unityのシーンにあゆコロちゃんを配置し、カメラに対して正面を向くように設定する。コライダーを設定し、大きさ変更と移動のスクリプトをアタッチすることで、あゆコロちゃんが指で平行移動・拡大縮小できるようになる。
(5)実験結果
実際にアプリを使用して撮影した画像を図5.4、図5.5、図5.6に示す。図5.4は神奈川県厚木市で撮影した画像、図5.5は神奈川県海老名市で撮影した画像である。神奈川県厚木市の住所を取得したときだけ、あゆコロちゃんを表示させることができた。図5.6は、あゆコロちゃんと人物を一緒に写した写真例である。

マーカー型は、マーカーを認識すればほぼ瞬時に表示できる。デザインマンホールの設置場所は限られているが、マニアにとってはそれを探す楽しみもあるかもしれない。
GPS型は、簡易逆ジオコーディングサービスに多少時間がかかる場合があるためタイムラグはあるものの、厚木市内であればどこでもあゆコロちゃんを表示させることができる。そのため、ツーショット撮影や背景の建物と組み合わせた撮影がしやすいと思われる。また、市内の町や番地といったより詳しい住所を取得すれば、スタンプラリーなどの市内を巡るイベントへの活用が可能だと考える。

本研究では、マーカー型とGPS型の2種類のARを用いて、キャラクターの写真を撮影できるシステムを提案した。キャラクターという要素が加えられた写真撮影は、観光の一助になるのではないかと期待される。