Y's note

愛と夢と人生について書きます

スポンサーリンク

暗号通貨の価格推移データをGoogle Spreadsheetを使ってHackする

やること

  • Google Spreadsheetだけで暗号通貨の価格推移データを取得する
  • 取得したデータを基にデータの可視化、分析を行う。※ 今回のentryではその準備までを対象とする

Ref

Hack方法① : GoogleFinance関数

  • Google Spreadsheetのデフォルト関数である GoogleFinance を利用する
    • 関数例 : =GoogleFinance("CURRENCY:BTCJPY" , "price", TODAY()-10,TODAY(), "DAILY")
    • ただし、この方法ではBTCしか出力ができない

f:id:yutakikuchi:20190505004834p:plain:w300

Hack方法② : IMPORTXML関数

  • Google Spreadsheetのデフォルト関数である IMPORTXML を利用して、https://coinmarketcap.com/ja/currencies/ からデータを取得する
    • 今回のHack方法。Google Spreadsheetだけでcoinmarketcapからデータをスクレイプする
    • またGoogleFinance関数を利用してUSD to JPYも計算している

f:id:yutakikuchi:20190505004329p:plain

Hack方法③ : AddonのCRYPTOFINANCEを利用

導入手順 : Hack方法② IMPORTXML(crypto-currency-googlespreadsheet)

Hack方法②のGoogle Spreadsheetのサンプル

Hugo + Github PagesでMarkdownで書いた記事を公開する

Ref

Goal

Hugo, Github Pages

MacへHugoをinstall

$ sw_vers
ProductName:    Mac OS X
ProductVersion: 10.14.4
BuildVersion:   18E226

$ brew install hugo

$ hugo version
hugo version
Hugo Static Site Generator v0.55.4/extended darwin/amd64 BuildDate: unknown

Movable Type型をHugoの形式(Markdown型)に変換

$ rbenv exec bundle exec ruby hatena_2_hugo.rb  hatena_export.txt md_output
  • md_outputのディレクトリに各post毎に YYYYmmddHHMM.md として出力される
$ head -n 10 md_output/_posts/201904292103.md

---
title: "Docker for Macのメモリ制限の調整"
date: 2019-04-29T21:03:52+00:00
category : [etc]
canonicalurl: http://yut.hatenablog.com/entry/2019/04/29/210352
---

## [etc] : Docker for Macのメモリ制限の調整
  • 元のHatena Blogの検索インデックスに悪影響を及ぼさないようにMovable Typeで出力されたBASENAMEからcanonicalurlを設定している
  • canonicalurlのパラメータをHugoのtemplateからparameterとして読み込むことができる

Gitの設定、Hugoのファイル構成設定

  • Github Pagesでprojectの静的ページを公開する方法は3つ紹介されている
    1. 公開用の静的ページをmasterのdocsディレクトリ配下に置く
    2. 公開用の静的ページをgh-branchの直下に置く
    3. 公開用静的ページをmasterの直下に置く
  • 今回は1.の方法で実施。
  • Hugoのtemplateを作成する。ディレクトリの名前は blog
  • github上に適当な名前のrepositoryを作成する
    • 今回はディレクトリ名に合わせて blog という名前で作成
    • Postのソースを管理するbranchを gh-pages として作成
  • Hugoのthemeである blackburn を利用する
$ hugo new blog
$ git init blog
$ cd blog
$ git add --all
$ git commit -m "first commit"
$ git remote add origin git@github.com:yutakikuchi/blog.git
$ git push -u origin master
$ git checkout -b gh-pages
$ cd themes
$ git clone https://github.com/yoshiharuyamashita/blackburn.git
$ cd ../
$ mkdir -p content/post
  • hugoディレクトリの下にできる config.tomlcontent に対して手を加えていく。blackburnのthemeのconfig.tomlを以下のように設定
$ cat config.toml | pbcopy

baseurl = "https://yutakikuchi.github.io/blog/" # Make sure to end baseurl with a '/'
languageCode = "ja-jp"
title = "Y's note"
author = "菊池佑太"
# Shown in the side menu
copyright = "© 2019. All rights reserved."
canonifyurls = true
paginate = 10
publishDir="docs"

[indexes]
  tag = "startup,AI"
  topic = "スタートアップ,AIに関わる内容を書きます"

[params]
  # Shown in the home page
  brand = "Y's note"
  googleAnalytics = "UA-20616165-3"
  # CSS name for highlight.js
  highlightjs = "androidstudio"
  highlightjs_extra_languages = ["yaml"]
  # dateFormat = "02 Jan 2006, 15:04"
  dateFormat = "2006 Jan 02, 15:04"
  # Include any custom CSS and/or JS files
  # (relative to /static folder)
  custom_css = ["css/my.css"]
  custom_js = ["js/my.js"]
  # canonicalurl
  canonicalurl = "http://yut.hatenablog.com"

  #[params.piwikAnalytics]
  #  siteid = 2
  #  piwikroot = "//analytics.example.com/"

[menu]
  # Shown in the side menu.
  [[menu.main]]
    name = "Home"
    pre = "<i class='fa fa-home fa-fw'></i>"
    weight = 1
    identifier = "home"
    url = "/"
  [[menu.main]]
    name = "Posts"
    pre = "<i class='fa fa-list fa-fw'></i>"
    weight = 2
    identifier = "post"
    url = "/post/"
  [[menu.main]]
    name = "About"
    pre = "<i class='fa fa-user fa-fw'></i>"
    weight = 3
    identifier = "about"
    url = "/about/"
  #[[menu.main]]
  #  name = "Contact"
  #  pre = "<i class='fa fa-phone fa-fw'></i>"
  #  weight = 4
  #  url = "/contact/"

[social]
  # Link your social networking accounts to the side menu
  # by entering your username or ID.

  # SNS microblogging
  twitter = "yutakikuchi_"
  # gnusocial = "*" # Specify href (e.g. https://quitter.se/yourusername)
  facebook = "yuta.kikuchi.007"
  # googleplus = "*"
  # weibo = "*"
  # tumblr = "*"

  # SNS photo/video sharing
  # Instagram = "*"
  # Flickr = "*"
  # Photo500px = "*"
  # Pinterest = "*"
  # Youtube = "*"
  # Vimeo = "*"
  # Vine = "*"
  slideshare = "https://www.slideshare.net/yutakikuchi58/"

  # SNS career oriented
  linkedin = "https://www.linkedin.com/in/%E4%BD%91%E5%A4%AA-%E8%8F%8A%E6%B1%A0-36291a44/"
  # xing = "*"

  # SNS news
  # reddit = "*"
  # hackernews = "*"

  # Techie
  github = "yutakikuchi"
  # gitlab = "*"
  # bitbucket = "*"
  # stackoverflow = "*"
  # serverfault = "*"

  # Gaming
  # steam = "*"
  # mobygames = "*"

  # Music
  # lastfm = "*"
  # discogs = "*"

  # Other
  # keybase = "*"
  • またcontent/postのディレクトリに対して hatena_2_hugo.rb で生成されたmdファイルを設置
  • themes/blackburn/layouts/partials/head.html をcanonicalurl変数を読み込めるようにheaderを修正
  • hugoのserverを起動し、ページが閲覧できるか確認
  • http://localhost:1313/ を見てみるとページを確認することができる
$ cp ~/md_output/* content/post/

$ ls -la content/post | head -n 5
total 9624
drwxr-xr-x  208 yuta  staff    6656  5  2 11:36 ./
drwxr-xr-x    3 yuta  staff      96  5  2 11:36 ../
-rw-r--r--    1 yuta  staff    1926  5  2 11:37 201009060134.md
-rw-r--r--    1 yuta  staff   15876  5  2 11:37 201009232329.md

$ vim themes/blackburn/layouts/partials/head.html

<!-- add canonical -->
<link rel="canonical" href="{{ if .IsHome }}{{ .Site.Params.Canonicalurl }}{{ else }}{{ $.Params.Canonicalurl }}{{ end }}" />

$ hugo server -t blackburn -D -w
...
Running in Fast Render Mode. For full rebuilds on change: hugo server --disableFastRender
Web Server is available at http://localhost:1313/ (bind address 127.0.0.1)

Githubに登録し、Github Pagesを公開する

  • Githubに登録する公開用静的ページを生成する。そうするとconfig.tomlで設定した docs というディレクトリが作成される
  • Githubに登録不要なファイルを.gitignoreで設定する
  • Githubにaddし、gh-pagesのbranchをremoteに反映
$ hugo -t blackburn

$ ls docs
total 1352
drwxr-xr-x   12 yuta  staff     384  5  2 12:32 ./
drwxr-xr-x   12 yuta  staff     384  5  2 12:26 ../
drwxr-xr-x    5 yuta  staff     160  5  2 12:21 css/
drwxr-xr-x    3 yuta  staff      96  5  2 12:21 img/
-rw-r--r--    1 yuta  staff   36870  5  2 12:32 index.html
-rw-r--r--    1 yuta  staff  622268  5  2 12:32 index.xml
drwxr-xr-x    4 yuta  staff     128  5  2 12:21 js/
drwxr-xr-x   23 yuta  staff     736  5  2 12:32 page/
drwxr-xr-x  210 yuta  staff    6720  5  2 12:32 post/
-rw-r--r--    1 yuta  staff   28223  5  2 12:32 sitemap.xml
drwxr-xr-x    4 yuta  staff     128  5  2 12:32 startupai/
drwxr-xr-x    4 yuta  staff     128  5  2 12:32 スタートアップaiに関わる内容を書きます/

$ cat .gitignore
themes
resources

$ git add --all

$ git push -u origin gh-pages

Github

Docker for Macのメモリ制限の調整

Memory: By default, Docker Desktop for Mac is set to use 2 GB runtime memory, allocated from the total available memory on your Mac. To increase RAM, set this to a higher number; to decrease it, lower the number.

Docker for Macを使ってDocker runする際に --memory(-m) ではメモリの制限が指定できない。 Defaultの制限は2Gになっている。下記を実行しても10Gに反映されない

$ docker run -m 10g -i -t ubuntu /bin/bash

そこで、Desktopにある Preference -> Advance でMemoryの上限を調整する。Docker compose内でDeepLearningなどの重たい処理をしようとするとKilledになってしまう場合は、Memory不足であることが考えられるのでAdvanceの項目でMemory制限を解除する。下記はMemoryの制限を12Gに設定した場合。

f:id:yutakikuchi:20190429210032p:plain:w500

Kerasでお試しCNN

30分でDeepLearningを実行できるようにお試しするキット。手っ取り早く始めるためにkeras(Tensorflow backend)をinstall。kerasについては下記のページで紹介されている。 尚、下にinstallのlogを残しているがkerasの前にBackendとなるTensorflowをinstallすると良い。

引用 : Kerasは,Pythonで書かれた,TensorFlowまたはCNTK,Theano上で実行可能な高水準のニューラルネットワークライブラリです. Kerasは,迅速な実験を可能にすることに重点を置いて開発されました. アイデアから結果に到達するまでのリードタイムをできるだけ小さくすることが,良い研究をするための鍵になります. Home - Keras Documentation

$ sudo pip install keras

Cannot uninstall 'six'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial
 uninstall.

// sixを再度install
$ sudo pip install keras --ignore-installed six

Installing collected packages: six, numpy, h5py, keras-applications, scipy, keras-preprocessing, pyyaml, keras
  Running setup.py install for pyyaml ... done
Successfully installed h5py-2.8.0 keras-2.2.2 keras-applications-1.0.4 keras-preprocessing-1.0.2 numpy-1.15.2 pyyaml-3.13 scipy-1.1.0 six-1.11.0

// pythonで実行するが失敗
$ python
python
Python 2.7.10 (default, Oct  6 2017, 22:29:07)
[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.31)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from keras.models import Sequential

ImportError: No module named tensorflow

// tensorflowをinstall
$ sudo pip install tensorflow tf-nightly

Successfully installed absl-py-0.5.0 astor-0.7.1 backports.weakref-1.0.post1 enum34-1.1.6 funcsigs-1.0.2 gast-0.2.0 grpcio-1.15.0 keras-applications-1.0.5 keras-preprocessing-1.0.3 markdown-3.0 mock-2.0.0 numpy-1.14.5 pbr-4.2.0 protobuf-3.6.1 tb-nightly-1.11.0a20180923 tensorboard-1.10.0 tensorflow-1.10.1 termcolor-1.1.0 tf-nightly-1.12.0.dev20180923 werkzeug-0.14.1 wheel-0.31.1

// 再度pythonで実行
$ python
python
Python 2.7.10 (default, Oct  6 2017, 22:29:07)
[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.31)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from keras.models import Sequential
Using TensorFlow backend.

Kerasのexampleは下記のgithubにまとまっている。その中でもCIFAR-10の画像を分類する問題を解く。CIFAR-10は32x32pixelの6000枚x10Classの合計60000枚の画像Datasetである。60000枚のうちTrainingが50000枚、残りはEvaluation用として利用される。DownloadしたDatasetのディレクトリ以下のpickleファイルは下記のように置かれている。batches.metaには各Classの画像数とラベル名、data_batch_xにはpythonのdictionaryオブジェクト、これらを意味するのは各画像ファイル名とそれが属するClass名を含む形式で保存されている。 keras/examples at master · keras-team/keras · GitHub CIFAR-10 and CIFAR-100 datasets

f:id:yutakikuchi:20180924042148p:plain

$ tree cifar-10-batches-py
cifar-10-batches-py
├──    batches.meta
├──    data_batch_1
├──    data_batch_2
├──    data_batch_3
├──    data_batch_4
├──    data_batch_5
├──    readme.html
└── test_batch
$ less read.py
import pickle
import sys

file_name = sys.argv[1]
f = file(file_name, 'rb')
print pickle.load(f)

$ python read.py batches.meta
{'num_cases_per_batch': 10000, 'label_names': ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'], 'num_vis': 3072}
$ python read.py data_batch_1
... 'estate_car_s_001433.png', 'cur_s_000170.png']}

次にkerasのgithubからexampleを落としてくる。exampleディレクトリ配下にあるcifar10_cnn.pyの実行を行う。cifar10_cnn.pyはCIFAR10のDataset、CNN(Convolutional Neural Network)を用いた実装のsampleとなる。githubにあるサンプルをそのまま実行するとエラーが生じるので、下記のdiffを反映する必要がある。

(追記) : cifar10_cnn.py.bak は2018/09/24時点での下記githubのファイルを取得したもの。それに対して、cifar10_cnn.pyが最新の修正を加えたもの。これらのdiffを取ることで修正した箇所を明確にした。 ref : https://github.com/keras-team/keras/blob/master/examples/cifar10_cnn.py

$ git clone git@github.com:keras-team/keras.git
$ cd keras/examples
$ python cifar10_cnn.py

ValueError: `data_format` should be `"channels_last"` (channel after row and column) or `"channels_first"` (channel before row and column). Received: None
ValueError: `steps_per_epoch=None` is only valid for a generator based on the `keras.utils.Sequence` class. Please specify `steps_per_epoch` or use the `keras.utils.Sequence` class.

$ diff -u cifar10_cnn.py.bak cifar10_cnn.py
--- cifar10_cnn.py.bak  2018-09-24 03:24:17.000000000 +0900
+++ cifar10_cnn.py      2018-09-24 05:00:33.000000000 +0900
@@ -11,6 +11,7 @@
 from keras.models import Sequential
 from keras.layers import Dense, Dropout, Activation, Flatten
 from keras.layers import Conv2D, MaxPooling2D
+import numpy as np
 import os

 batch_size = 32
@@ -102,7 +103,7 @@
         # set function that will be applied on each input
         preprocessing_function=None,
         # image data format, either "channels_first" or "channels_last"
-        data_format=None,
+        data_format="channels_last",
         # fraction of images reserved for validation (strictly between 0 and 1)
         validation_split=0.0)

@@ -113,6 +114,7 @@
     # Fit the model on the batches generated by datagen.flow().
     model.fit_generator(datagen.flow(x_train, y_train,
                                      batch_size=batch_size),
+                        steps_per_epoch=int(np.ceil(x_train.shape[0] / float(batch_size))),
                         epochs=epochs,
                         validation_data=(x_test, y_test),
                         workers=4)

cifar10_cnn.pyでやっていることは簡単で、KerasのSequential Modelを利用して複数層を追加している。最終的に出力する分類数(Class数)は前述の通り10個、Data AugmentationをTrueにしているので画像あえて加工したものを水増ししてCNNの入力とし、Modelのロバスト性を高める目的でflagが設定されている。(もちろんFalseで実行することもできる。) batch_sizeの指定はミニバッチとして1度に取り組むデータ(画像)の数であり、全てのClassからbatch_size分のデータをランダムで取得する。1epochとはバッチサイズで指定したサンプルデータを全て使用した状態を示す。よって今回のTrainingで利用する画像数は50000枚、それを32のバッチサイズで画像数を定義するので、50000 / 32 = 1563 1563回のバッチを実施する。1バッチでパラメータを更新するので、1563回の更新が1epoch内で繰り返される。epochsで指定されている100回は1epochを100回実行すること。ややこしいので再度まとめると以下のようになる。

  • batch_size : Datasetの中で何個のDataをサンプルして1回のバッチで利用するかを定義する。
  • steps_per_epoch : 1epoch内において何回バッチにてパラメータを更新するかを定義する。
  • 1epoch : batch_sizeをsteps_per_epoch回繰り返して全てのDatasetを参照した状態を1epochとする。
batch_size = 32
num_classes = 10
epochs = 100
data_augmentation = True

Sequential Modelのaddを利用して層を追加。例えば下記は2次元の畳み込みレイヤーを追加している。Conv2Dの最初の引数は畳み込みにおける出力フィルタの数、第二引数は3x3の畳み込み処理を適用することを意味する。input_shapeについては今回1画像のサイズが32x32、RGBなので3層あるということで、x_train.shape[1:]の値は(32, 32, 3)となっている。Sequential Modelの最初の層にはinput_shapeの情報が必ず必要。 Sequentialモデルのガイド - Keras Documentation

model = Sequential()
model.add(Conv2D(32, (3, 3), padding='same',
                 input_shape=x_train.shape[1:]))

model.summary()で各LayerとOutput Shape、Paramを確認することができる。ネットワークの構成としては次のもの。INPUT => CONV * 2 => POOL => CONV *2 => POOL => DENSE * 2 => OUTPUT。CNNの基本は畳み込み層とプーリング層で構成される。間に活性化関数を挟んでいるが、層としては取り扱わない(実際にはCONV層の活性化を図っている)。

  • CONV : 畳み込み層。フィルタの大きさを指定し、入力データの特徴マップを作成するために各フィルタでの畳込みの結果を出力する。
  • RELU : ここではCONVの出力に対して活性化関数(ランプ関数)を適用。
  • POOL : プーリング演算を適用。CONV層の後に適用され、画像データ等の入力データを扱いやすくするために重要な情報は残しながら圧縮するDown Samplingを行う。
  • DENSE : 全結合層。出力層の手前で実行され、出力はClassに分類される確率といった重みになる。 出力層の数は判別したいClass数に一致する必要がある。
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_5 (Conv2D)            (None, 32, 32, 32)        896       
_________________________________________________________________
activation_7 (Activation)    (None, 32, 32, 32)        0         
_________________________________________________________________
conv2d_6 (Conv2D)            (None, 30, 30, 32)        9248      
_________________________________________________________________
activation_8 (Activation)    (None, 30, 30, 32)        0         
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 15, 15, 32)        0         
_________________________________________________________________
dropout_4 (Dropout)          (None, 15, 15, 32)        0         
_________________________________________________________________
conv2d_7 (Conv2D)            (None, 15, 15, 64)        18496     
_________________________________________________________________
activation_9 (Activation)    (None, 15, 15, 64)        0         
_________________________________________________________________
conv2d_8 (Conv2D)            (None, 13, 13, 64)        36928     
_________________________________________________________________
activation_10 (Activation)   (None, 13, 13, 64)        0         
_________________________________________________________________
max_pooling2d_4 (MaxPooling2 (None, 6, 6, 64)          0         
_________________________________________________________________
dropout_5 (Dropout)          (None, 6, 6, 64)          0         
_________________________________________________________________
flatten_2 (Flatten)          (None, 2304)              0         
_________________________________________________________________
dense_3 (Dense)              (None, 512)               1180160   
_________________________________________________________________
activation_11 (Activation)   (None, 512)               0         
_________________________________________________________________
dropout_6 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_4 (Dense)              (None, 10)                5130      
_________________________________________________________________
activation_12 (Activation)   (None, 10)                0         
=================================================================
Total params: 1,250,858
Trainable params: 1,250,858
Non-trainable params: 0
_________________________________________________________________

Modelの学習にはcompileメソッドを利用する。loss関数として交差エントロピー、最適化手法としてRMSprop、評価指標としてはaccuracyを出力する。学習済みモデルと重みは指定したファイルに出力することができる。100epoch回した結果としての最終Accuracyは73.4%ということが分かる。

# Let's train the model using RMSprop
model.compile(loss='categorical_crossentropy',
              optimizer=opt,
              metrics=['accuracy'])

# Save model and weights
if not os.path.isdir(save_dir):
    os.makedirs(save_dir)
model_path = os.path.join(save_dir, model_name)
model.save(model_path)
print('Saved trained model at %s ' % model_path)

# Score trained model.
scores = model.evaluate(x_test, y_test, verbose=1)
print('Test loss:', scores[0])
print('Test accuracy:', scores[1])

Epoch 99/100
1563/1563 [==============================] - 225s 144ms/step - loss: 0.8315 - acc: 0.7239 - val_loss: 0.7454 - val_acc: 0.7533
Epoch 100/100
1563/1563 [==============================] - 221s 142ms/step - loss: 0.8340 - acc: 0.7233 - val_loss: 0.7877 - val_acc: 0.7354
Saved trained model at /xxxx/git/keras/examples/saved_models/keras_cifar10_trained_model.h5
10000/10000 [==============================] - 12s 1ms/step
Test loss: 0.7876939533233642
Test accuracy: 0.7354

出力されたh5のファイルからモデルを参照する事も可能。ただし、これを実行する上ではいくつかのpydot系のmoduleをpip installとgraphvizbrew installしなしなければならないので注意が必要。plot_modelの結果は図のように出力される。

$ pip install pydot
$ brew install graphviz

from keras.models import load_model
model= load_model('./saved_models/keras_cifar10_trained_model.h5')
model.summary()

from keras.utils import plot_model
plot_model(model, 'model.png')

f:id:yutakikuchi:20180924170532p:plain:h300

tmux : powerlineの表示ズレを解消する

表示ズレの解消

f:id:yutakikuchi:20180918001843p:plain:w450

ref : tmux 2.5 以降において East Asian Ambiguous Character を全角文字の幅で表示する · GitHub file-tmux-2-7-fix-diff : https://gist.github.com/z80oolong/e65baf0d590f62fab8f4f7c358cbcc34#file-tmux-2-7-fix-diff

上図のようにtmuxのpowerline行がずっと増え続ける問題を解消する。対応方針としてはpatchを当てる。PC環境はMac、tmuxのversionは2.7を想定。patchは上記gistにversion毎にpatchが用意されている。brew edit tmuxコマンドで下記内容を追記し、brew reinstallにてpatchを適用し再度install。

// コマンドは下記を実行
$ tmux -V
tmux 2.7

$ brew edit tmux

// 下記を追記
  def patches
     [
       "https://gist.githubusercontent.com/z80oolong/e65baf0d590f62fab8f4f7c358cbcc34/raw/d478a099aa5074e932e3323e9b16033e13919cdf/tmux-2.7-fix.diff"
     ]
  end

$ brew reinstall --build-from-source tmux
==> Summary
🍺  /usr/local/Cellar/tmux/2.7: 10 files, 705.2KB, built in 29 seconds

DeepLearningによる画像解析

概要

http://www.image-net.org/challenges/LSVRC/ http://www.image-net.org/challenges/LSVRC/2012/

ILSVRC(ImageNet Large Scale Visual Recognition Challenge)はImageNetが毎年主催するコンピュータを利用した画像解析による物体認識・検出のコンペ。2012年にDeepLearningの手法が登場し、物体認識・検出の技術として3位以降のMachineLearningチームとError率で圧倒的な差をつけて優勝したことから注目を集めた。DeepLearningによる画像解析タスクといっても目的が複数存在するため、言葉の定義を下記にまとめる。

  • 物体認識(Object Recognition・Classification) : 1枚ずつの画像毎に何の物体であるかを認識する。(1枚の画像に対して1つの物体のラベルを付与する。)
  • 物体位置特定(Object Localization) : 1枚の画像の中に物体が何処に映っているかの領域を認識する。
  • 物体検出(Object Detection) : 1枚の画像の中に何が何処に映っているかを検出する。(1枚の画像に対して複数の物体のラベルと領域を認識する。)
  • セグメンテーション(Segmentation) : 1枚の画像の中に何が何処に映っているかをピクセル単位で分離する。

Object Recognition: which object is depicted in the image?
Object detection: where is this object in the image?

Ref : image processing - Object detection versus object recognition - Signal Processing Stack Exchange

画像解析アルゴリズム

f:id:yutakikuchi:20180916233821p:plain:w450 f:id:yutakikuchi:20180917013315p:plain:w450 DeepLearningの画像解析アルゴリズムは目的により多数あり、それぞれで使用目的が異なる。

Ref : Object Localization and Detection · Artificial Inteligence A 2017 Guide to Semantic Segmentation with Deep Learning

物体認識の精度比較

f:id:yutakikuchi:20180917011720p:plain:w450 左図はCNNベースの物体認識(Object Recognition・Classification)の精度比較グラフ(縦軸精度)であり、後発のアルゴリズムほど精度が高い様子が分かる。右図は精度(縦軸)、学習速度(横軸)、メモリ使用量(円の大きさ)を示している。一般的には精度が高くなれば学習速度が遅くなる。精度、学習速度・メモリ使用量はそれぞれtrade offの関係となるようだ。

Ref : Object Localization and Detection · Artificial Inteligence https://arxiv.org/pdf/1605.07678.pdf

Computer Vision : Visual Importance Mapの研究

Youtube :

Paper : f:id:yutakikuchi:20180909041527p:plain:w450 f:id:yutakikuchi:20180909044034p:plain:h400

Ref: http://web.mit.edu/zoya/www/docs/predImportance_final.pdf http://www.dgp.toronto.edu/~donovan/layout/designLayout.pdf

MIT・Toronto大・Adobeなど様々な企業において、特定のGraphic Designに対して、どこが人が注目しているかをVisualizationするVisual Importance Mapという仕組みが研究されている。可視化の方法としてはGraphic Designの上にHeat Mapとして注目される領域をAIにより予測してOverlayしている。

一般的なCreative作成においてはGraphic Designerの経験と勘に基づいて作られているが、DesignのAudienceが注目されやすいポイントをVisualizationすることで新しいInsightをDesignerに与える。更にGraphic DesignerがInteractiveにCreativeを操作可能な画面の中で効果を予測しながら編集しリアルタイムに新しい価値を気づくことが可能な環境を提供することで、従来必要としたA/BテストによるAudienceの反応を計測する必要が無く、Operationコストと事前に効果を最大化するための施策を実行できることが魅力となる。

f:id:yutakikuchi:20180909053043p:plain:w450

Designの効果の予測はどうやっているのか。PaperによるとAIへの入力となるデータについてはflickrのDesign、Mturkを利用して多人数にAnnotationをさせている。 Amazon Mechanical Turk

Annotationの方法としてはBubble ViewというCreativeをぼやかした状態において、Annotatorがどこをより見たいかを選択してもらう。これよりGround truth(教師データ)を集める。Ground truthデータをFully Convolutional Networks (FCNs)にかけてModelを生成し、新しいデータをModelに適用することでCreative上の注目ポイントを画像のPixelレベルで表示を可能としている。類似のResearchとしてSaliency Mapという人間の脳へのbottom-up性注意を予測するModelがある。(Saliencyの場合は視覚としての刺激を抽出することで、例えば暗い夜に月が明るく照らされると対比によって月の効果を認識する心理学的理論を示す)

Ref : github.com

既にAdobe senseiなどのApplicationでは上のようなGraphic Designの最適化、自動生成の世界が発表されており、今後ますます注目されてくる領域である。

www.adobe.com

スポンサーリンク