『The Bayesian Learning Rule』を読む
以下を読む。 Khan, M. E., & Rue, H. (2021). The Bayesian learning rule. arXiv preprint arXiv:2107.04562.
https://arxiv.org/pdf/2107.04562.pdf
読む目的
読む目的は2つ。
- 注目の論文として紹介されていたから
- この類の数式が0%しか読めないので、少し、勉強するため
概要
引用(Deepl訳)
多くの機械学習アルゴリズムが、ベイズ学習則と呼ばれる単一のアルゴリズムの特定のインスタンスであることを示す。ベイズの原理から導かれるこのルールは、最適化、深層学習、グラフィカルモデルなどの分野から、幅広いアルゴリズムを生み出す。これには、リッジ回帰、ニュートン法、カルマンフィルターなどの古典的アルゴリズムや、確率勾配降下、RMSprop、Dropoutなどの最新のディープラーニングアルゴリズムが含まれる。このようなアルゴリズムを導き出す上で重要な考え方は、自然勾配を用いて推定した候補分布を用いて事後分布を近似することである。候補分布が異なればアルゴリズムも異なり、さらに自然勾配に近似することで、それらのアルゴリズムのバリエーションが生まれます。我々の研究は、既存のアルゴリズムを統一し、一般化し、改善するだけでなく、新しいアルゴリズムの設計にも役立ちます。
面白そう。。。。
