(この記事､すべて､記憶で書いてます｡｡｡)
その前に、、、、
たぶん権利化された特許が公開されたという記事だと思うが。。。。
時期がおかしくないか。。。
attention is all you need みたいなのが出たのは？2019❓？あたり
その直前ぐらいに出願しているはず
もう5年ぐらい過ぎているが。。。。権利化まで、寝かせられる期間が長いのかな。。。。
内容を想像。。。
上記、例の有名な画であるが。。。。 この段階での新規の内容として、、
①（細かいのから）位置情報がわかるようにした
ポジショニングのためのsin波みたいなのを入れた
②エンコーダ側、デコーダ側ともに、複数の層にした
③エンコーダ側を学習し、エンコーダ＋デコーダ側を学習する
単なる文章があれば、それ自体で学習できる。 ただ、それ自体は新しくないので、それを、この構成で学習する
④まず、self-attentionみたいな層がある
⑤情報のつながり方、、、resnetみたいな（直接と処理後の両方を）
って､感じかな｡｡｡｡
コメント
いま､世間のモデル､巨大だけど｡｡｡｡ どこが巨大になるのかが良く理解できてないことがわかった｡｡｡｡
