BERTは、『自己教師あり学習』か？

BERTは、『自己教師あり学習』か？

BERTは、『自己教師あり学習』(じこきょうしありがくしゅう、英: self-supervised learning、SSL）か？

回答

たぶん、そうだと思いますが。。。。

BERTの論文では

https://arxiv.org/pdf/1810.04805.pdf

Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).

「self-supervised」の単語は、0回の登場です。。。。 とほほ

コメント

アドバイスなどあれば、お願いします。