会員（無料）になると、いいね！でマイページに保存できます。 本稿の要点とは？ 本稿で述べているのは、以下のような内容です。 ・GPTが革命的なのはプロンプトによって多様な用途に使える汎用性があることだが、それはGPTが「自己回帰モデル」である ...

Transformers have revolutionized deep learning, but have you ever wondered how the decoder in a transformer actually works?

Transformerは、LLMの中心にある設計であり、自己注意（Self-Attention）はその核となる仕掛けだ。自己注意をひとことで言うなら「文の中のどこに注目すべきかを、入力そのものから計算して決める仕組み」である。

A 'transformer' model was introduced, which consists of an encoder part and a decoder part. The paper also introduces a number of modern foundational concepts such as positional input encoding.