2012年にDeepLearning登場 CNN を利用した『AlexNet』
ジェフリー・ヒントン教授が率いるトロント大学のSuperVisionチームが写真データに写っている物体を特定する人工知能をディープラーニングで構成し、「タスク1：分類」「タスク2:局所化と分類」部門で優勝。
他のチームがエラー率26％前後のところ、エラー率17％弱とダントツの認識率をマーク。
ReLU（Rectified Liner Units）
従来のニューラルネットワーク手法では非線形な活性化関数として
f(x) = tanh(x)あるいはf(x) = 1 / (1 + exp(-x))が利用されていました。
これらの活性化関数は 0 や 1 に近付くほど値の差が減るため、深いネットワークを構築すると勾配が消失してしまう問題がありました。（勾配消失問題）
ReLUはf(x) = max(0, x)とすることで深いネットワークに対する勾配消失問題を解決。
現在ではいくつか発展系の活性化関数も提案されていますが、最新のモデルにおいても広く利用されています。
Dropout
Dropoutは，学習時のネットワークについて，隠れ層のニューロンを一定確率で無効化する手法である．
これにより，擬似的に毎回異なるアーキテクチャで学習を行うこととなり，アンサンブル学習と同様の効果をもたらし，より汎化されたモデルを学習することができる．
AlexNetでは，最初の2つの全結合層にこのdropoutが導入されている．
Dropoutを行わない場合にはかなりの過学習が発生したが，dropoutによりこの過学習を抑えられる一方，収束までのステップ数が約2倍になったと報告されている．
2014
GoogleNetは2014年に「インセプトンモジュール」
また、オープンソフトウェアとしてカリフォルニア大学バークレー校による「Caffe」や、トロント大学のSuperVisionのメンバーであるAlex Krizhevsky氏が公開している「Cuda convnet2」といったPCで使えるディープラーニングフレームワークも提供されており、個人がディープラーニングを使ったソフトウェアやサービスを作り、公開することも可能となっています。
コメント