ILSVRC(ImageNet Large Scale Visual Recognition Competition/大規模画像認識)の2012・2014

2012年にDeepLearning登場 CNN を利用した『AlexNet』

ジェフリー・ヒントン教授が率いるトロント大学のSuperVisionチームが写真データに写っている物体を特定する人工知能をディープラーニングで構成し、「タスク1:分類」「タスク2:局所化と分類」部門で優勝。

他のチームがエラー率26%前後のところ、エラー率17%弱とダントツの認識率をマーク。

ReLU(Rectified Liner Units)

従来のニューラルネットワーク手法では非線形な活性化関数として
f(x) = tanh(x)あるいはf(x) = 1 / (1 + exp(-x))が利用されていました。

これらの活性化関数は 0 や 1 に近付くほど値の差が減るため、深いネットワークを構築すると勾配が消失してしまう問題がありました。(勾配消失問題)

ReLUはf(x) = max(0, x)とすることで深いネットワークに対する勾配消失問題を解決。
現在ではいくつか発展系の活性化関数も提案されていますが、最新のモデルにおいても広く利用されています。

Dropout

Dropoutは,学習時のネットワークについて,隠れ層のニューロンを一定確率で無効化する手法である.
これにより,擬似的に毎回異なるアーキテクチャで学習を行うこととなり,アンサンブル学習と同様の効果をもたらし,より汎化されたモデルを学習することができる.
AlexNetでは,最初の2つの全結合層にこのdropoutが導入されている.

Dropoutを行わない場合にはかなりの過学習が発生したが,dropoutによりこの過学習を抑えられる一方,収束までのステップ数が約2倍になったと報告されている.

2014

GoogleNetは2014年に「インセプトンモジュール」

また、オープンソフトウェアとしてカリフォルニア大学バークレー校による「Caffe」や、トロント大学のSuperVisionのメンバーであるAlex Krizhevsky氏が公開している「Cuda convnet2」といったPCで使えるディープラーニングフレームワークも提供されており、個人がディープラーニングを使ったソフトウェアやサービスを作り、公開することも可能となっています。