平成29年
Transformer論文「Attention Is All You Need」発表
科学 世界
Googleの研究者らが論文「Attention Is All You Need」で、注意機構を中心とする深層学習モデル「Transformer」を発表した。学習を並列化しやすく大量のデータで訓練できるため、BERTやGPTなど事前学習モデルの開発につながった。
平成29年
科学 世界
Googleの研究者らが論文「Attention Is All You Need」で、注意機構を中心とする深層学習モデル「Transformer」を発表した。学習を並列化しやすく大量のデータで訓練できるため、BERTやGPTなど事前学習モデルの開発につながった。