Computer Vision : Visual Importance Mapの研究
Youtube :
Paper :
Ref: http://web.mit.edu/zoya/www/docs/predImportance_final.pdf http://www.dgp.toronto.edu/~donovan/layout/designLayout.pdf
@yutakikuchi_です。 MIT・Toronto大・Adobeなど様々な企業において、特定のGraphic Designに対して、どこが人が注目しているかをVisualizationするVisual Importance Mapという仕組みが研究されている。可視化の方法としてはGraphic Designの上にHeat Mapとして注目される領域をAIにより予測してOverlayしている。
一般的なCreative作成においてはGraphic Designerの経験と勘に基づいて作られているが、DesignのAudienceが注目されやすいポイントをVisualizationすることで新しいInsightをDesignerに与える。更にGraphic DesignerがInteractiveにCreativeを操作可能な画面の中で効果を予測しながら編集しリアルタイムに新しい価値を気づくことが可能な環境を提供することで、従来必要としたA/BテストによるAudienceの反応を計測する必要が無く、Operationコストと事前に効果を最大化するための施策を実行できることが魅力となる。
Designの効果の予測はどうやっているのか。PaperによるとAIへの入力となるデータについてはflickrのDesign、Mturkを利用して多人数にAnnotationをさせている。 Amazon Mechanical Turk
Annotationの方法としてはBubble ViewというCreativeをぼやかした状態において、Annotatorがどこをより見たいかを選択してもらう。これよりGround truth(教師データ)を集める。Ground truthデータをFully Convolutional Networks (FCNs)にかけてModelを生成し、新しいデータをModelに適用することでCreative上の注目ポイントを画像のPixelレベルで表示を可能としている。類似のResearchとしてSaliency Mapという人間の脳へのbottom-up性注意を予測するModelがある。(Saliencyの場合は視覚としての刺激を抽出することで、例えば暗い夜に月が明るく照らされると対比によって月の効果を認識する心理学的理論を示す)
Ref : github.com
既にAdobe senseiなどのApplicationでは上のようなGraphic Designの最適化、自動生成の世界が発表されており、今後ますます注目されてくる領域である。
