深層学習。学習の方法として、バックプロパゲーション以外の方法はないのか？
そもそも、バックプロパゲーションが使われているのかも、よくわかっていませんが。
ぐぐった結果
【１】バックプロパゲーションを使わないでニューラルネットワークを学習させることは可能ですか？（訳）
Is it possible to train a neural network without backpropagation?
少し、質問の具体的な内容も引用
Many neural network books and tutorials spend a lot of time on the backpropagation algorithm, which is essentially a tool to compute the gradient.
Let's assume we are building a model with ~10K parameters / weights. Is it possible to run the optimization using some gradient free optimization algorithms?
回答は、
So for very high dimensional problems, DFO algorithms just are not competitive with derivative based ones.
(訳：そのため、非常に高次元の問題では、DFOアルゴリズムは微分ベースのアルゴリズムには勝てないのです。)
追加の情報として、
So for very high dimensional problems, DFO algorithms For example, the recent review in Nature says "Recent theoretical and empirical results strongly suggest that local minima are not a serious issue in general. Instead, the landscape is packed with a combinatorially large number of saddle points where the gradient is zero, and the surface curves up in most dimensions and curves down in the remainder."
(訳：そのため、非常に高次元の問題に対しては、DFOアルゴリズム 例えば、Natureに掲載された最近のレビューでは、"最近の理論的、経験的な結果は、一般的にローカルミニマムが深刻な問題ではないことを強く示唆しているl "と書かれています。むしろ、勾配がゼロになるサドルポイントが組み合わせ的に多く存在し、曲面はほとんどの次元で上にカーブし、残りの次元では下にカーブしている。"）
【2】NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える
Back propagationが登場した頃の話。生き証人。。。。 ↓↓
まとめ
特にありません。
