帰納バイアスと深層学習の関係（記事など集める）
帰納バイアスと深層学習の関係について記事など集めてみます。
【1】イマドキノCV 三つ巴の学習戦略
URL
https://www.kyoritsu-pub.co.jp/app/file/goods_contents/3841.pdf
内容
引用
ここまでの機械学習手法の発展の歴史は，この帰納バイアスを絞ってきた歴 史でもある。帰納バイアスを小さくして，代わりに大量のデータで大量のパラ メータを学習すればよい，というような傾向を生んだのが今の Transformer で あり，MLP 系のネットワーク構造である。一方で，かつてのようにすべての画 像の画素を 1 列に並べて，2 層の全結合型ニューラルネットワークを学習すれ ばよい，といったような状況には戻らないであろう。
【2】《日経Robo》なぜディープラーニングがうまく学習できるのか
URL
https://xtech.nikkei.com/dm/atcl/mag/15/00144/00026/
内容
引用1
ディープラーニングも含めた機械学習手法は、学習データからパラメータそして関数を獲得する。一方で、学習データ以外に最初からもっている知識または仮説を、帰納的バイアスと呼ぶ。
引用2(一部抜粋）
（1）低次の多項式 （2）局所性 （3）対称性
引用3
一方で、人や動物が非常に少ない経験から学習できることは、まだ見つかっていない帰納的バイアスがあることを示唆している。人や動物はこうした帰納的バイアスを進化の過程で脳の構造として獲得してきたが、そこに工学的に参考になる部分はまだ多いにあると考えられる。
【3】[AAAI2021採択論文] 深層学習による株価予測
URL
https://tech.preferred.jp/ja/blog/deep-portfolio/
内容
引用1
画像に関してうまくいく理由は「畳み込みニューラルネットワーク」と呼ばれる構造が、画像とは何かという「帰納バイアス」（データがどのような性質を満たすかという制約）を効率よく深層学習モデルに与えているからだと私は考えています。
引用2
具体的には、
残差項（個別銘柄特有の変動）の効率的な抽出
金融時系列の振幅不変性・時間スケール不変性を考慮したネットワークアーキテクチャの提案
分布予測によるポートフォリオ構築
の 3 つの要素技術の提案を行い、株取引における性能が向上することを確かめました。これらはいずれも、金融分野で研究されてきたドメイン知識を帰納バイアスとして機械学習モデルに取り組む手段を提供しているといえます。
コメント
特にありません
