2021年の人工知能10大トレンド、についていけてるかチェック
以下の記事に示されている10大トレンドについていけてるかチェックする。 ja.stateofaiguides.com
【1】テキストと画像の類似関係をとらえる CLIP
知ってるか
CLIPという言葉を知らないので、0点
内容が理解できるか
引用
CLIP の仕組みは、非常に単純です。ウェブから豊富に取得できる大量の画像と、それらに結び付けられたテキストを使って、画像とテキストの対応モデルを事前学習します。
↑理解できないような内容ではないが。。。
説明に出てくる基礎用語
- ゼロショット学習
コメント
特になし
【2】 自己教師あり学習・対照学習
知ってるか
知ってる100点。
内容が理解できるか
以前からあるので、ある程度、理解できる。
説明に出てくる基礎用語
SimCLR(2020)
DINO(2021)
自己教師あり学習 (self-supervised learning)
対照学習 (contrastive learning)
コメント
成果の程度がよくわかっていない。
【3】 多層パーセプトロン (MLP)
知ってるか
知っている。100点。
内容が理解できるか
引用
2021年は、多層パーセプトロン (multilayer perceptron; MLP) が盛り上がった年でもありました。線形層と活性化関数のみを使う「元祖ニューラルネットワーク」とも言える単純なモデルでありながら、アーキテクチャに工夫を凝らし、近代的な方法によって訓練すると、驚くべき強力な性能を発揮することが示されたのです。
CNN、また、それに少し批判的な感じがするtransformers(attention系）。
Attentionについて考えた場合、実は、それも、CNNほど膠着ではないが、制約がある感じがあり、
MLPの登場は不思議ではない。
ただ、先祖返り感があり、もっと、ダイナミックな構成力があるモデルが出てくるべきでは！（と偉そうなことを言ってみる！！）
説明に出てくる基礎用語
多層パーセプトロン (multilayer perceptron; MLP)
コメント
今後、どうなるのかな。
【4】 第３の深層学習ライブラリ JAX
知ってるか
知っている。Windowsでコンパイルしたこともある！！100点。
内容が理解できるか
引用
JAX は、Google Research によって開発された機械学習用ライブラリで、「GPU/TPU 上で動く自動微分付きの Numpy」と紹介されることが良くありますが、ライブラリのコアは Numpy 的なベクトル・行列演算と、それらに対する自動微分機能です。個人的には、Numpy や PyTorch/TensorFlow などとの最大の違いは、JAX が「(純粋)関数型指向」であり、自動微分や誤差逆伝播に関する考え方が根本的に異なっている点だと思っています。
多少、理解できる。
説明に出てくる基礎用語
自動微分
コメント
Windowsにやさしくして欲しい。
【5】 拡散モデル
知ってるか
0点。
内容が理解できるか
引用
データに徐々にノイズを加え、その過程の逆を学習することにより画像や言語を生成する「拡散確率モデル」もしくは単に「拡散モデル (diffusion model)」。
わからないというか、あまり、意識できてない。。。
説明に出てくる基礎用語
拡散モデル (diffusion model)
コメント
ちょっと、勉強しよう
【6】 データ・セントリックな AI
知ってるか
知らない0点。
内容が理解できるか
引用
伝統的にも、データを中心に据える「データ・プログラミング」の手法 (Ratner et al., 2016, Ratner et al., 2017) があり、その技術を元に生まれたスタートアップ Snorkel.ai は、評価額 $1B (1千億円以上) を達成しユニコーンの仲間入りを果たしています。
引用
本セミナーで、Ng 氏は、主導したあるプロジェクトを紹介しています。コンピューター・ビジョンを使って製品の欠陥を検出するシステムを開発していました。2週間の開発期間の後、データを固定してモデルを改善した場合には精度向上が得られなかった一方で、モデルを固定してデータを改善した場合、16.9% の性能向上が得られたということです。
説明に出てくる基礎用語
データ・セントリック
コメント
これ、勉強しようーーー！！
【7】 音声の教師無し表現学習
知ってるか
表現学習という言葉は知ってるが。。。50点
内容が理解できるか
？？
説明に出てくる基礎用語
表現学習
コメント
表現学習を勉強しよう。
【8】 巨大言語モデル、指示チューニング
知ってるか
Gopher (Rae et al., 2021)を知ってるから70点。
内容が理解できるか
あれ、Deepmindが12月にGopherともう一つの発表をしてなかったか？ あれ、25倍、何かが小さい話をしてなかったか？Gopherじゃないほうか？？
説明に出てくる基礎用語
Gopher (Rae et al., 2021)
コメント
上記のDeepMindを、もう少し、知ろう
【9】 ノンパラメトリックな手法
知ってるか
0点
内容が理解できるか
引用
そこで、2020年頃から、知識をモデルのパラメーターとして全て表現するのではなく、何らかの外部知識として表現して利用する「ノンパラメトリック」手法が近年さかんに研究されています。これらのモデルは、外部知識を検索するので、「検索ベース」の手法とも呼ばれます。
RETRO (Borgeaud et al., 2021) が、上記の項で書いたDeepMindのかな。。。
説明に出てくる基礎用語
RETRO (Borgeaud et al., 2021)
コメント
「8 巨大言語モデル、指示チューニング」のコメントに同じ
【10】 人工知能で進む「分野の大統一」
知ってるか
ある程度、50点。
内容が理解できるか
- perceiver(DeepMind)も、ここに示されるべきでは？
- Transformer系の画像への展開は、結局、具体的な成果になっているのだろうか？
説明に出てくる基礎用語
大統一 (great consolidation) ？？コメント
（再掲）「Transformer系の画像への展開は、結局、具体的な成果になっているのだろうか？」が関心事。
全体を通してのコメント
ざっくりした感想
自分が興味をもっている分野が頓珍漢でない気がして、良かった。 ただ、しっかり、理解できているものが何もないのは、寂しかった。
トレンドに入れて欲しかったもの
- 強化学習
- 自動運転??ほか、アプリケーション
- ハードウェアの進歩
- シミュレーション他のAIで問題を解くような分野
