かずきち。の日記

サーバサイドエンジニアのつぶやき

DeepLearningの積層自己符号について

DeepLearniningの事前学習の評価は重要である。

自己符号化器自体は教師なし学習で行われるので、その特徴量が本当に分類に重要な要素だったかを検討するのは難しい。
ロジスティック回帰モデルとMNISTの数字認識を比較してみよう。

http://cdn-ak.f.st-hatena.com/images/fotolife/a/aidiary/20151202/20151202220755.png
引用:http://cdn-ak.f.st-hatena.com/images/fotolife/a/aidiary/20151202/20151202220755.png:image=http://cdn-ak.f.st-hatena.com/images/fotolife/a/aidiary/20151202/20151202220755.png

自己符号化器の構造的な特徴は

  • 入力層、隠れ層、出力層の三層構造が基本
  • 入力層と出力層のユニット数は同じ
  • 隠れ層のユニット数は入力層より小さい

となる。入力データに含まれる意味のある特徴を学習するためには隠れ層のユニット数を入力層のユニット数より小さくする必要がある。ただし、例外的にスパース自己符号化はスパース制約を入れるため隠れ層が大きくてもOKとのこと。これは後でためそう。

人工知能というのはAIBOとかSiriに代表されるものを思いつくだろう。
でも人工知能の本質はシナプスの原理をいかにコンピュータで表すか?ということだと思う。

http://blogs.c.yimg.jp/res/blog-e6-1b/miyabiman_now/folder/679902/16/25862716/img_5?1452241162
引用:http://blogs.c.yimg.jp/res/blog-e6-1b/miyabiman_now/folder/679902/16/25862716/img_5?1452241162:image=http://blogs.c.yimg.jp/res/blog-e6-1b/miyabiman_now/folder/679902/16/25862716/img_5?1452241162

入力層と出力層の中間層に至るまでのパラメタ付与は非常に重要である。
コンピュータは単細胞的に、クリックしたら何かアクションを起こすというのは前時代的ある。
株価も人間の動きも非常に複雑である。
DeepLearningはその仕組みを解決してくれるお大きな鍵をにぎる。

最後に先生の本を紹介しておきます。

www.amazon.co.jp