2017年に、Transformerが新しいニューラル機械翻訳のモデルとして開発されました。 本日、あらゆる大規模言語モデル（LLM）にTransformerが使用されています。Transformerのエンコーダとデコーダに、Self-AttentionとSource-Target Attentionを採用し、その特性により、離れた位置にある単語同士の関係性も捉えやすくなり、長文の解析の精度が飛躍的に向上しました。この動画ではTransformerとその背景にあるAttentionを解説します。
#データサイエンス #ai #nlp #g検定