敵対的生成ネットワーク（GAN）を用いたイラストレーターの個性を反映した似顔絵生成手法

似顔絵はSNS、ブログ、ゲーム、アプリのプロフィールやアバターといった用途でプライバシーの観点や自分のイメージを表現するために顔写真の代わりに多く用いられている。現在、顔画像から似顔絵を生成する研究として、近年AIとして注目されているDeep Learning（深層学習）の一手法であるGAN（Generative Adversarial Network、敵対的生成ニューラルネットワーク）が用いられている。しかしながら、それぞれイラストレーターの個性を考慮した似顔絵を生成するGANは存在していない。そこで、本研究ではGANを用いてイラストレーターの個性を学習させて任意の顔画像に対する似顔絵を学習させたイラストレーターごとのタッチで描かせるような生成手法を検討した。今後は似顔絵だけではなく、様々なメディア（アニメ、漫画、イラスト等）に対し、その人の個性を反映させられるようになると考えている。

似顔絵は人物の外見・特徴をとらえてデフォルメして描いた人物画であり、Webなどで個人のプロファイル画像として広く利用されている。現在、顔画像から似顔絵を生成する研究はDeep Learning（深層学習）の一手法であるGAN（Generative Adversarial Network，敵対的生成ニューラルネットワーク）が用いられている。教師なし学習を用いた変換手法やデフォルメされていない肖像画のデータセットを用いた変換手法が開発されているが、イラストレーターの個性を考慮して反映するような研究は行われていない。
本研究では、画像生成に使われるGANを用いて、Deep Learningによりイラストレーターの個性を学習させて任意の顔画像に対する似顔絵を学習させ、イラストレーターごとのタッチで描かせるような生成手法を検討した。具体的には従来手法の教師なし学習を行うCycleGANを元にL1Lossと呼ばれる生成した似顔絵と教師の似顔絵のピクセル誤差を学習させることにより、教師あり学習としたCyclepixを提案した。さらにはCyclepixを1:n変換に対応するべくマルチドメイン化し、Generatorに顔画像とイラストレーターを指すラベルを入力することにより、顔画像からそれぞれ特定のイラストレーターの似顔絵に変換するConditional Cyclepixとして拡張させた手法の提案を行った。1人のイラストレーターに数万枚もの似顔絵を描いてもらうのは困難であるため、できるだけ少ない枚数である189枚をそれぞれイラストレーター3人に描いてもらい、それらをデータセットとした。
実験結果により1:1変換において、従来手法の教師なし学習であるCycleGANおよび教師あり学習であるpix2pixに比べ、提案手法のCyclepixの方が評価実験により生成精度が良く、イラストレーターが描いた似顔絵に似ているという結果が示された。また、1:n変換においては、マルチドメインの従来手法であるStarGANと1:1変換で提案したCyclepixに比べて提案手法のConditional Cyclepixの方が評価実験によりイラストレーターが描いた似顔絵に似ているという結果が示された。Cyclepixの手法により顔パーツの変換誤りの危険性を低減し、イラストレーターのタッチを忠実に再現することが確認できた。また、マルチドメイン化させたConditional Cyclepixの手法により学習するデータ量が増えたことで過学習を抑制し精度がよくなり、1つのネットワークで複数のタッチの似顔絵を出力できることが確認できた。このことからConditional Cyclepixがイラストレーターの個性を反映した似顔絵生成手法として適していると考えられる。今後はさらにイラストレーターの数を増やしたデータセットを学習した場合でも同じような結果が得られるか、イラストレーターのタッチの違いが大きい場合にマルチドメインのネットワークへどう影響するかを調査していく必要がある。