**バックプロパゲーション（誤差逆伝播法）**は長年、ディープラーニングの基礎となってきましたが、その限界や生物的非現実性から、代替的な手法が研究されています。以下に、最近注目されている「バックプロパゲーションに頼らない技術」の代表例を紹介します。
🔹1. Hebbian Learning（ヘッブ学習）
- 概要：「同時に発火するニューロンは、結びつきが強くなる」というシンプルな学習規則。
- 利点：生物学的妥当性が高く、バックプロパゲーション不要。
- 限界：複雑なタスクや深層構造に向かない。
🔹2. Equilibrium Propagation（平衡伝播）
- 提唱者：Benjamin Scellier と Yoshua Bengio（2017年）
- 概要：エネルギーベースモデルを使い、ネットワークが自然に「平衡状態」に落ち着くまでのダイナミクスを利用して学習。
- 特徴：局所的な更新で済み、生物的実装可能性もある。
- 用途：一部のリカレントネットワークやエネルギーモデルで有望。
🔹3. Local Learning Rules（局所学習則）
- 概要：各ニューロンや層での情報に基づいて重みを更新する方法。
- 例：ターゲットプロパゲーション、difference target propagation、feedback alignment（下記）など。
🔹4. Feedback Alignment（フィードバック整列）
- 提唱者：Lillicrapら（2016年）
- 概要：誤差の逆伝播において、正確な勾配ではなくランダムな行列を使っても学習が進むという発見。
- 利点：勾配の対称性（forward weight と backward weight の一致）が不要。
- 問題点：収束速度や精度が通常のBPより劣る場合がある。
🔹5. Predictive Coding（予測符号化）
- 概要：脳の知覚モデルに基づく手法。ネットワークが常に予測と誤差を使って情報を伝達・更新する。
- 注目点：局所的な計算で学習が進む点で、生物学的モデルに近い。
- 用途：視覚・知覚・予測モデルなど。
🔹6. Evolutionary Algorithms（進化的アルゴリズム）
- 概要：遺伝的アルゴリズムや進化戦略などを使い、ネットワーク全体の性能に基づいて重みを選択。
- 利点：勾配が不要で、離散的な構造にも対応可能。
- 欠点：計算コストが大きく、学習に時間がかかる。
🔹7. Spiking Neural Networks（スパイキングニューラルネットワーク）
- 概要：実際のニューロンの発火モデルに近づけたネットワーク。通常のBPは使えないため、局所学習則や**STDP（Spike-Timing Dependent Plasticity）**を用いる。
- 用途：省電力デバイス、脳型コンピューティングなど。
🔹8. Meta-Learning / Neural Architecture Search（メタ学習・自動アーキテクチャ設計）
- 関連技術：バックプロパゲーションを使わず、試行錯誤によってアーキテクチャやパラメータを探索する進化的アプローチ。
- 利点：勾配が計算できない環境でも学習可能。
✅まとめ
| 技術 | BP不要 | 生物的モデル | 深層対応 | 備考 |
|---|---|---|---|---|
| Hebbian Learning | ✅ | ✅ | ❌ | 単純学習には有効 |
| Equilibrium Propagation | ✅ | ✅ | △ | リカレントに適している |
| Feedback Alignment | ✅ | △ | ✅ | 精度はBPに劣ることも |
| Predictive Coding | ✅ | ✅ | △ | 知覚や脳モデルに近い |
| Evolutionary Algorithms | ✅ | ✅ | ✅ | 計算コスト大 |
| Spiking Neural Networks | ✅ | ✅ | △ | 実装が複雑 |
以上、すべて、ChatGPTです。
補足
以下、自分の関連記事
