Qiita『2021年の深層学習ハイライト（研究論文編）』、についていけてるかチェック
以下の記事に示されている論文についていけてるかチェックする。
【1】Exploring Simple Siamese Representation Learning
URL
https://arxiv.org/abs/2011.10566
知ってるか
0点
内容が理解できるか
引用
この結果が示唆するのは，自己教師表現学習の重要な要素は，大きなバッチサイズ，負例ペア，モメンタムエンコーダのいずれでもなく，勾配停止と予測モジュールだということです．
↑ 理解できませぬ。
説明に出てくる基礎用語
自己教師表現学習
コメント
面白そう。。。
【2】Extracting Training Data from Large Language Models
URL
https://arxiv.org/abs/2012.07805
知ってるか
0点
内容が理解できるか
引用
この論文では，大規模言語モデルのある脆弱性を指摘しています．それは，学習データの抽出が可能であるということです．GPT-2（インターネットから収集したデータセットで学習させた，公開されている大規模言語モデル） [4]に繰り返しクエリ文を入力し，生成されたテキストをあるアルゴリズムでフィルタリングすると，名前，電話番号，メールアドレス，128ビットのUUID，オンラインチャットの会話記録などの機密データを抽出することができました．
↑ 理解できませぬ。
説明に出てくる基礎用語
大規模言語モデル
コメント
いまは、ちょっと、直接は興味ありません。。。
【3】E(n) Equivariant Graph Neural Networks
URL
https://arxiv.org/abs/2102.09844
知ってるか
0点
内容が理解できるか
引用
本論文では，ggとしてE(n)変換を考えます．E(n)変換とは，n次元ユークリッド空間における並進，回転，反射，並べ替えのことです．グラフニューラルネットワーク (GNN)は設計上，並べ替えに対しては同変ですが，他の変換に対しては同変ではありません．同変性と不変性の概念は，2次元データよりも自由度の大きい3次元データにおいて，より重要です．
↑ 理解できませぬ。
説明に出てくる基礎用語
グラフニューラルネットワーク (GNN)
コメント
グラフニューラルネットワーク (GNN)んんん。。。
【4】Learning Transferable Visual Models From Natural Language Supervision
URL
https://arxiv.org/abs/2102.09844
知ってるか
(100点満点で）3点
内容が理解できるか
引用
個人的には，2021年に発表された論文の中で最もインパクトのある論文だと思います．この論文では，自然言語を教師として視覚的な概念を学習するCLIP（contrastive language-image pre-training）を提案しています．ネットワークはテキストエンコーダと画像エンコーダからなります．2つのエンコーダは，意味的に類似したペアは近く，類似しないペアは遠くなるような空間にテキストおよび画像をエンコードするように同時に学習されます．そしてこれは，インターネットから収集した4億組の画像とテキストを用いた対照学習により実現されています．
説明に出てくる基礎用語
CLIP
コメント
面白そう。。。
【5】Unsupervised Speech Recognition
URL
https://arxiv.org/abs/2105.11084
知ってるか
(100点満点で）3点
内容が理解できるか
引用
その結果，wav2vec-Uは数千時間のデータで教師あり学習した従来のSOTA手法に近い音素誤り率（PER; phoneme error rate）を達成しました．また，キルギス語，スワヒリ語，タタール語などの低リソース言語に対する実験でも，その有効性が確認されました．
説明に出てくる基礎用語
wav2vec-U
コメント
面白そう。。。
【6】Alias-Free Generative Adversarial Networks
URL
https://arxiv.org/abs/2106.12423
知ってるか
(100点満点で）23点
内容が理解できるか
引用
StyleGANs [9,10] の進化はまだ終わっていません．Tero KarrasのチームはStyleGAN3を発表し，画像の絶対座標にいくつかの細部の特徴が貼り付いてしまう現象を引き起こす，望ましくないエイリアシング効果を解決しました．この公式ビデオを見てください．StyleGAN2 のパネルでは，頭を動かしても，髪の毛とひげが画面に貼り付いています．
説明に出てくる基礎用語
StyleGANs
コメント
面白そう。。。
【7】Deep Reinforcement Learning at the Edge of the Statistical Precipice
URL
https://arxiv.org/abs/2108.13264
知ってるか
(100点満点で）2点
内容が理解できるか
引用
強化学習の分野では，一連のタスクをまたいだスコアの平均値や中央値などの要約統計量の点推定値によってアルゴリズムを評価します．しかし実際には，これは統計的な不確実性を無視しており，報告されたスコアは不当に「幸運な」ものであることが多いという問題がありました．
説明に出てくる基礎用語
コメント
強化学習に詳しくなりたいが。。。。。。。。。
【8】Fake It Till You Make It: Face analysis in the wild using synthetic data alone
URL
https://arxiv.org/abs/2106.12423
知ってるか
(100点満点で）2点
内容が理解できるか
引用
Face Syntheticsは，ランドマーク検出や顔のセグメンテーションなど，顔に関連するタスクに対するニューラルネットワークの訓練に実際に役立っています．このデータセットで事前学習し，下流タスクでファインチューニングしたResNetは，実データで学習したSOTAモデルと同等の性能を発揮しました．
説明に出てくる基礎用語
Face Synthetics
コメント
ちょっと、分野が。。。。。。
全体を通してのコメント
全く、ついていけてない！！！
