青:SGD 水色:Momentum 緑:AdaGrad 黄色:RMSProp 赤:Adam オレンジ:Adabeleaf 局所的最適解を作ってみました。
deeplearningの学習に使われているかなり代表的なアルゴリズムたちをまとめました。 Nesterov系統,めんどくさいからやりたくない
