論文『A Survey of Uncertainty in Deep Neural Networks』を読みすすめる。
対象論文。
https://arxiv.org/pdf/2107.03342.pdf
？？？ なぜか、Google scholarで、出てこない！！（謎。。。）
以下、論文から引用の図
この論文を読む動機
ベイズのあたりを理解したいと思って、 なんかしてたら、たまたま、この論文にたどり着いた。 これを理解したら、ある程度、ベイズが理解できるかも。。。
【読解1】「概要」のところを読んだ
ポイントとなる文章を以下に引用してみた。
- 基本的なニューラルネットワークは、確実な推定値を提供しなかったり、信頼度の過不足に悩まされたりする、つまり、うまく較正されていないのです
- 最も重要な不確実性の原因について包括的に紹介し、それらを還元可能なモデルの不確実性と還元不可能なデータの不確実性に分離して提示する
- 決定論的ニューラルネットワーク、ベイズ型ニューラルネットワーク、ニューラルネットワークのアンサンブル、テスト時データ補強アプローチに基づくこれらの不確実性のモデル化を紹介
- ミッションクリティカルおよびセーフティクリティカルな実世界のアプリケーションにおけるニューラルネットワークの不確実性定量化手法の実用的な限界について議論し、そのような手法の幅広い使用に向けて次のステップの見通しを示す
引用（DeepL訳。事前に自力でも訳しましたが。。。）
過去10年間で、ニューラルネットワークは科学のほぼ全ての分野に到達し、様々な実世界のアプリケーションで重要な役割を果たすようになった。その普及に伴い、ニューラルネットワークの予測に対する信頼性がますます重要になってきている。しかし、基本的なニューラルネットワークは、確実な推定値を提供しなかったり、信頼度の過不足に悩まされたりする、つまり、うまく較正されていないのです。これを克服するために、多くの研究者がニューラルネットワークの予測における不確実性を理解し、定量化することに取り組んできた。その結果、様々な不確実性の種類や原因が特定され、ニューラルネットワークの不確実性を測定し定量化する様々なアプローチが提案されている。この著作では、ニューラルネットワークの不確実性推定について包括的に概観し、この分野の最近の進歩をレビューし、現在の課題を明らかにし、潜在的な研究機会を特定する。この分野の予備知識を前提とせず、ニューラルネットワークの不確実性推定に興味を持つ人に、幅広い概要と入門書を提供することを意図している。そのために、最も重要な不確実性の原因について包括的に紹介し、それらを還元可能なモデルの不確実性と還元不可能なデータの不確実性に分離して提示する。また、決定論的ニューラルネットワーク、ベイズ型ニューラルネットワーク、ニューラルネットワークのアンサンブル、テスト時データ補強アプローチに基づくこれらの不確実性のモデル化を紹介し、これらの分野の異なる枝と最新の開発について議論する。実用化に向けては、さまざまな不確実性の尺度、ニューラルネットワークのキャリブレーションのためのアプローチ、既存のベースラインと利用可能な実装の概要を説明する。医療画像解析、ロボット、地球観測の分野における幅広い課題からの様々な例は、ニューラルネットワークの実用的なアプリケーションにおける不確実性に関するニーズと課題のアイデアを提供する。さらに、ミッションクリティカルおよびセーフティクリティカルな実世界のアプリケーションにおけるニューラルネットワークの不確実性定量化手法の実用的な限界について議論し、そのような手法の幅広い使用に向けて次のステップの見通しを示す。
進捗
概要を読んだ程度。
補足
ベイズに関しては、以下も参考になる。
コメント
何か、アドバイスなどあれば、コメントなどお願いします。
