観光地写真を対象としたユーザ嗜好プロファイル拡張機能を備えた観光地推薦方式の実現に関する研究

モバイル端末に搭載されるデジタルカメラ機能の高性能化に伴い、写真を撮影し、他者と共有するという行動が日常的になっている。観光地などを訪れる旅行者は、その時の思い出や経験したことを記録として残したりするために、スマートフォンを用いて撮影する機会が増えている。一方、情報推薦システムは、日常生活の中で新たな知識や経験をみつけるために必要不可欠なものとなっている。それにはユーザの嗜好を満たす適切な情報を推薦するために、ユーザの購買履歴や視聴履歴から情報嗜好を抽出することが重要となっている。このシステムを観光地推薦に適用することにより、ユーザの嗜好に応じて旅行情報を推薦するとともに、ユーザの旅行に対する興味や関心を高めることができる。

本研究では、ユーザが撮影した画像集合を嗜好プロファイルと捉え、観光地写真を対象とした写真撮影行動に基づく嗜好抽出手法および嗜好に応じた観光地推薦方式を提案する。提案手法の特徴は、写真撮影行動を分析することによりユーザが撮影した写真に現れる暗黙的な嗜好に対する関心度を算出する点、およびユーザが撮影した画像集合を嗜好プロファイルと捉え、深層学習による画像コンテキスト推定モデルを適用することにより、ユーザの嗜好プロファイルの拡張を行う点にある。
A. 嗜好に応じた観光地推薦方式（図1）
Step-1:ユーザuの撮影写真データIu = {iu₁, iu₂,…,iu_N}を、観光地を特徴づけるn個のカテゴリCx(x=1,2,…,n)に分類する。分類アルゴリズムは、Convolutional Neural Networkなどを用いる。
Step-2:分類スコア、分類枚数、特徴ベクトルを用いた場合の3つの方式で、ユーザベクトルPuを作成する。
(方式1)各カテゴリxにおける分類スコアCS_xを用いて、Pu₍₁₎=[CS₁, CS₂,…, CS_n] のように算出する。
(方式 2)各カテゴリxの分類枚数 N_xを用いて、P_u(2)=[N₁, N₂,…, N_n]のように抽出する。
(方式 3)各カテゴリxの特徴ベクトルVxを用いて、Pu₍₃₎=∑j=1vujのように抽出する。V_ujは学習済みの深層学習モデルのz次元の中間層Lの出力を、関数fを用いて算出した特徴ベクトルV_uj=[v₁, v₂, …, v_z]である。関数fはz次元の中間層Lからの出力結果をz次元ベクトルに変換する写像関数f(I_uj)=V_ujである。
Step-3:観光地vの写真データLv={lv₁, lv₂, lv₃,…,lv_M}に対して、Step-2の各方法で各観光地vの特徴ベクトルを抽出する。ユーザの嗜好ベクトルP_uと観光地の特徴ベクトルlvのコサイン尺度の値sim(P_u, L_v)= P_u,・L_v / |P_u| |L_v|に応じて、観光地のランキングを行う。

B. ユーザ嗜好プロファイルの拡張（図2）
(学習プロセス)Step-1:複数のユーザU={u₁, u₂, …, u_m}の写真集合I_upについて、各カテゴリC_xに分類する。
Step-2:分類した各写真集合をトランザクションとみなし、アプリオリ・アルゴリズムなどを適用して、カテゴリの組み合わせについて、指定した確信度c、支持度sに応じた相関ルール集合R = {r₁, r₂, …, r_k}を抽出する。
Step-3:Step-2で抽出したルール集合Rについて、各r_qの左辺を入力、右辺を正解とした深層学習を行う。ただし、入力は、左辺の各カテゴリC_xに属する画像I_xの列である。ここで、深層ニューラルネットワークは、画像 Ixを畳み込みニューラルネット(CNN)でエンコードし、エンコードされた画像特徴の列をLSTM(Long short-term memory)などでデコードする画像コンテキスト推定モデルMとして実現する。
(写真集合拡張プロセス)Step-1:対象ユーザuの写真集合 I_u = {iu₁, iu₂, …, iu_N}をn個のカテゴリCxに分類する。
Step-2:分類したカテゴリの任意の組み合わせを、学習プロセスで生成した画像コンテキスト推定モデルMに入力し、推定結果として画像カテゴリ C_newを得る。
Step-3:Step-2で得たC_newに属する画像I_newで対象ユーザuの嗜好プロファイルを拡張する。

A.嗜好に応じた観光地推薦の評価
VGG16を用いた転移学習により、視覚情報のうち、観光地として特徴づけるために適している。建物や町並みなどの7カテゴリ（各18枚）に分類した写真データ集合を学習させた。観光地としてインドネシア、京都、ローマ、オーストラリア、ケニア、ニューヨーク、タイ、ベトナム、モンテネグロ、モルディブの10個の地域（各96枚）を設定した。さらに、観光地を推薦する対象となる3名のユーザの嗜好に合致する写真（各約300枚）を、建物、山岳・アクティビティ、海岸・グルメのように配分した。
図4に各方式における上位5件中の推薦精度を示す。方式2は、ユーザの写真を適切に分類できていたユーザ3に対して興味のある観光地すべてを上位に推薦でき、適切に分類できなかったユーザ1に対しても興味のある観光地を上位に推薦できたため、他の方式と比較してより適切な推薦が可能と考えられる。方式3はユーザ1の嗜好を満たす観光地をすべて上位に推薦でき、写真の誤分類の影響が最も低いと考えられる。

B. 写真撮影行動に基づく嗜好抽出の評価
Caltech256データセットを用いて3ユーザ嗜好プロファイルを作成した。ユーザAはヤシの木・スピードボード、ユーザBはヤシの木・スピードボード・仏像、ユーザCはヤシの木・スピードボード・仏像・盆栽のカテゴリの画像データ(各12枚)から構成される。VGG16+LSTMの画像コンテキスト推定モデルを使用し、s₁={ヤシの木、スピードボード}→滝のような10個の相関ルールを用いてユーザ嗜好プロファイルを拡張した。ユーザAの嗜好プロファイルに拡張した結果、3枚の画像が追加された。図5に2枚の画像が追加された例を示す。拡張された画像は滝のカテゴリに属する画像であり、ユーザAのユーザ嗜好プロファイルに含まれていないカテゴリの画像でユーザ嗜好プロファイルを拡張することができた。同様に、ユーザBとCの嗜好プロファイルには、それぞれプロファイルに含まれない画像が1枚と3枚追加された。

今後の展望として、本研究による観光地写真を対象とした嗜好に応じた観光地推薦方式を適応することで、暗黙的な嗜好抽出に基づいた未知なる観光地の推薦への適用していくことが望まれる。