高校生にトランスフォーマーモデルを説明する

Transformerの仕組み（少しコードがわかる人向け）

ある文を渡されて、それを本当に理解するように言われたと想像してみてください。文字を認識するだけでなく、各単語の意味、単語同士の関係、そして次に論理的に来るべきものを把握することです。それがTransformerの仕事であり、それは数字と算術だけを使って行われます。段階を追って説明していきましょう。

1. 単語埋め込み：単語を数字に変換する

コンピューターは「犬」という単語を直接考えることはできません。彼らは数字を処理するだけです。そのため、Transformerが最初に行うことは、各単語を数字のリスト、つまり「埋め込み」と呼ばれるものに変換することです。この埋め込みは、数百、あるいは数千もの数字を含むことがあります。

しかし、ここが賢いところです。これらの数字はランダムではなく、「犬 = 47」のような単なるIDでもありません。代わりに、数字は意味を捉えるように配置されています。各単語を巨大な多次元空間の点と考えてください。意味が似ている単語は、その空間で近くに配置され、意味が異なる単語は遠くに配置されます。

有名な例：もし「王様」の埋め込みから「男」の埋め込みを引き、それに「女」の埋め込みを加えると、「女王」の埋め込みに非常に近い場所にたどり着きます。数字は文字通り、性別、王族などの関係をエンコードしています。モデルはこれらの関係を手動で教えられるのではなく、膨大な量のテキストを読み、どの単語が似たような文脈で現れるかに気づくことによって学習します。似たような状況で現れる単語は、似たような埋め込みを得ます。

したがって、この段階では、「猫が座った」のような文は、単語の意味の数値的な指紋である3つの数字の配列に変換されています。

2. 位置エンコーディング：順序を追跡する

ここに問題があります。「犬が男を噛んだ」と「男が犬を噛んだ」は、全く同じ単語を使っていますが、意味は全く異なります。単語の順序は非常に重要です。

Transformerの難しい点は、人間のように一つずつ読むのではなく、すべての単語を一度に並列に見ることです。これは速度には良いですが、モデルはそれ自体では、どの単語が最初、2番目、3番目に来たのかを知る方法がありません。モデルにとって、文は単なる単語埋め込みの順序付けされていない袋です。

その解決策は「位置エンコーディング」と呼ばれます。処理の前に、モデルは各単語の埋め込みに別の数字の配列、つまり単語の文中の位置を示す一種の数値的な「スタンプ」を追加します。単語1にはあるパターンが、単語2にはわずかに異なるパターンが与えられます。これらのパターンは、モデルが2つの単語が異なる位置にあることだけでなく、それらがどれだけ離れているかもわかるように設計されています。

したがって、今では各単語の配列は2種類の情報が組み合わさって運ばれています。単語の意味（埋め込み）と、文中のどこにあるか（位置エンコーディング）です。これで、モデルは「犬が男を噛む」と「男が犬を噛む」を区別できるようになります。

3. 自己注意機構：機械の心臓部

これが大きなアイデアであり、オリジナルの2017年の論文が「Attention Is All You Need」と呼ばれた理由です。

「動物は疲れていたので、通りを渡らなかった。」という文を考えてみましょう。

「それ」は何を指しているのでしょうか？あなたはそれが通りではなく、動物を指していることをすぐに知っています。しかし、どうやってそれを知ったのでしょうか？あなたは文中の他の単語を見て、「それ」を理解するために「動物」が最も関連性の高い単語であると判断しました。あなたは他の単語よりも一部の単語に注意を払いました。

自己注意機構は、モデルがまさにそれを行うことを可能にします。モデルが各単語を処理するとき、それは「この単語をよりよく理解するために、この文中のどの他の単語に焦点を当てるべきか？」という質問をします。そして、最も関連性の高い単語からの情報をブレンドします。

役立つ例え：プロジェクトでの自分の役割を理解しようとしているグループ会議で、各単語が立っていると想像してください。

• 各単語は、自分が探しているものを説明するサインを掲げます。（Transformerの用語では、これは「クエリ」と呼ばれます。）
• 各単語は、提供できるものを説明するラベルも着用しています。（これは「キー」です。）
• そして、各単語は共有するための実際の情報を持っています。（これは「値」です。）

「それ」という単語が部屋を見回すと、そのクエリ（「私は代名詞であり、何を参照しているかを知る必要がある」）を他のすべての人のキーと比較します。「動物」という単語は非常によく一致するラベルを持っているため、「それ」は「動物」に多くの注意を払い、その情報を引き込みます。「the」や「street」のような単語はほとんど一致しないため、「それ」はそれらをほとんど無視します。

自己注意機構の「自己」とは、各単語が同じ文中の他のすべての単語と同時にこれを行うことを意味します。その結果、各単語の配列は、それに最も重要な単語からのコンテキストを含めるように更新されます。このステップの後、「それ」の配列は実質的に「それ（動物を参照）」を意味します。

さらにいくつかの強力な詳細：

• モデルはこれを一度だけ行うわけではありません。「マルチヘッドアテンション」と呼ばれる多くの注意操作を並列に実行します。1つのヘッドは文法的な関係に焦点を当てるかもしれません。別のヘッドは、どの単語が同じものを指しているかに焦点を当てるかもしれません。別のヘッドは、トーンに焦点を当てるかもしれません。それは、複数の専門家が異なる角度から文を見ているようなものです。
• モデルはまた、この層を何層も積み重ねます。最初の注意ラウンドの後、単語は別のラウンドを通過し、さらに別のラウンドを通過し、各レベルでより豊かでより深い理解を構築します。これは、難しい箇所を完全に理解するために何度も読み返すのと同じ方法です。

すべてをまとめる

したがって、これが平易な言葉での全体のパイプラインです。

1. 各単語は、その意味を捉える数字の配列（埋め込み）になります。
2. モデルが単語の順序を知るために、位置スタンプが追加されます（位置エンコーディング）。
3. 自己注意機構を通じて、各単語は最も関連性の高い他の単語からコンテキストを収集し、多くのヘッドと多くの層で繰り返され、モデルが文を深く、コンテキストを意識した理解を得るまで行われます。

なぜそれが非常に強力なのか

GPTのようなタスクでは、モデルはこれらすべてを使用して次の単語を予測します。これまでに読んだすべてに基づいて、次にどの単語が来るべきかの確率を生成し、1つを選択し、文に追加し、繰り返します。これを何度も繰り返すと、流暢な段落、コード、詩、または質問への回答が得られます。

このアーキテクチャがうまく機能する理由は、自己注意機構にあります。古いアプローチはテキストを厳密に左から右に読み、数語前に起こったことを「忘れる」傾向がありました。自己注意機構は、どの単語も他のどの単語にも、どれだけ離れていても、1回のステップで直接接続できます。これは、モデルが、段落の前に言及されたものを参照する代名詞のような、長距離の関係を容易に処理できることを意味します。そして、これらすべてが一度に1単語ずつではなく並列に起こるため、Transformerは膨大な量のテキストで効率的にトレーニングできます。

この組み合わせ、つまり豊かな数値的な意味、順序の認識、そしてすべてをすべてに接続する柔軟な注意機構が、Transformerを今日の最も有能な言語モデルの背後にあるエンジンにしています。

トランスフォーマーは、シーケンス、特に言語を読み書きするために構築された一種の機械です。重要なのは、一度に1単語ずつ読み、それ以前の内容のほとんどを忘れてしまうのではなく、多くの単語をまとめて確認し、現在の単語を理解するためにどの単語が最も重要かを判断できることです。

非常に高度なオートコンプリートシステムだと考えることができます。たとえば、次のようなものを見たとします。

「猫は___の上に座った」

「マット」と推測する必要があります。これをうまく行うには、単語をデータに変換し、単語の順序を記憶し、単語間の関係に注意を払う方法が必要です。トランスフォーマーアーキテクチャはまさにそれを実行するように設計されています。

1.単語埋め込み：単語を意味のある数値に変換する

コンピューターは単語を直接理解できません。数値しか扱えません。したがって、最初の問題は、どのようにして「猫」のような単語を便利な方法で数値に変換するかということです。

簡単なアプローチは、すべての単語にID番号を付けることです。

猫 = 17
マット = 42
走る = 103

しかし、これだけでは不十分です。単純なIDでは、コンピューターは「猫」と「犬」が異なることは知っていますが、それらが似たようなものであることはまったくわかりません。

トランスフォーマーは代わりに埋め込みと呼ばれるものを使用します。埋め込みは、各単語の数値のリストであり、巨大な意味空間内の座標のようなものです。

たとえば、各単語が次のような配列を取得すると想像してください。

猫 -> [0.2, -1.1, 0.7, ...]
犬 -> [0.3, -1.0, 0.6, ...]
バナナ -> [-0.8, 0.5, 1.4, ...]

これらの数値は、膨大な量のテキストから学習されます。モデルは、似たような状況で使用される単語が似たような埋め込みを持つように、徐々に調整します。したがって、「猫」と「犬」は近くに配置され、「バナナ」は遠くに配置される可能性があります。

埋め込みは、単語の圧縮されたプロファイルと考えることができます。辞書的な定義を格納するわけではありません。代わりに、その単語が言語でどのように機能するかについてのヒントを格納します。
-どのような種類の単語がその近くに現れるか
-通常、名詞か動詞かなど
-どのようなトピックに関連しているか
-どのような他の単語と頻繁に似たように機能するか

言語の意味はしばしば使用パターンから生じるため、これは強力です。2つの単語が似たようなコンテキストで使用される場合、それらはしばしば関連する意味を持ちます。

したがって、トランスフォーマーの最初のステップは次のとおりです。
-各単語またはトークンを取得する
-それを学習済みのベクトル（数値の配列）に置き換える

これで、文は単語のリストではなくなりました。意味豊かな数値ベクトルのリストになりました。

2.位置エンコーディング：単語の順序を追跡する

しかし、問題があります。埋め込みのバッグをモデルに渡すだけでは、どの単語が存在するかはわかりますが、その順序はわかりません。

そして、順序は非常に重要です。

比較してください：
-「犬が男を噛む」
-「男が犬を噛む」

同じ単語、非常に異なる意味。

一部の古いシーケンスモデルとは異なり、トランスフォーマーは多くの単語を一度に確認するため効率的です。しかし、それはまた、各単語が文のどこにあるかを知るための追加の方法が必要であることを意味します。

ここで位置エンコーディングが登場します。

アイデアはシンプルです。単語がどのようなものであるかを示す埋め込みに加えて、単語がどこにあるかを示す別のベクトルを追加します。

したがって、文が次のようになっている場合：

「猫は眠った」

「猫」は位置1、「猫」は位置2、「眠った」は位置3を取得します。

各位置には独自の数値パターンがあり、そのパターンは単語の埋め込みに追加されます。したがって、モデルは両方を取得します。
-単語の意味
-単語の位置

スポーツフィールドの選手にラベルを付けるようなものです。選手が誰であるかを知ることも重要ですが、どこにいるかを知ることも重要です。ストライカーとゴールキーパーは、ポジションによって異なるように理解されます。同様に、単語の役割は、それがどこに現れるかによって部分的に決まります。

位置エンコーディングの後、モデルは次の違いを区別できます。
-「犬が猫を追いかけた」
-「猫が犬を追いかけた」

同じ単語の埋め込みが異なる位置とペアになっているためです。

3.自己注意：中心的なトリック

これがトランスフォーマーの心臓部です。

自己注意は、各単語が文中の他の単語を確認し、それを理解するためにどの単語が重要かを判断できるメカニズムです。

主な直感は次のとおりです。
文を読むとき、すべての前の単語を等しく重要とはみなしません。各単語について、脳は自動的に、それを説明するのに役立つ他の特定の単語に注意を払います。

例：

「動物は疲れていたので、道を渡らなかった。」

「それ」は何を指しますか？おそらく「動物」であり、「道」ではありません。それを理解するために、最も意味のある単語に「それ」を接続します。

トランスフォーマーも同様のことを行います。

簡単な例え：スマートハイライト付きのグループチャット

文がグループチャットであると想像してください。各単語はチャットの参加者です。ある単語がコンテキストで何を意味するかを理解しようとするとき、他の単語からのメッセージを見て次のように尋ねます。
-私に関連しているのは誰ですか？
-誰の情報に最も注意を払うべきですか？

したがって、各単語は他の単語に対して一種の注意スコアを作成します。高いスコアは「この単語は現在私を理解するために重要です」を意味します。低いスコアは「あまり関連性がありません」を意味します。

次に、重要な単語からの情報を混合して、新しい更新されたバージョンを作成します。

たとえば、次のような場合：

「川沿いの銀行は浸水した。」

「銀行」という単語は、金融機関または川岸を意味する可能性があります。自己注意は、モデルが「川」と「浸水した」に気づくのに役立ち、意味を川岸の方に押しやります。

「彼女は銀行にお金を預けた。」

今度は「預けた」と「お金」が重要になり、「銀行」を金融の意味の方に押しやります。

自己注意が非常に役立つのはこのためです。単語の意味は固定されていません。コンテキストに依存します。

高レベルでの仕組み

トランスフォーマーは各単語について次のように尋ねます。
-何を探していますか？
-他の単語は何の情報を持っていますか？
-どの単語が私のニーズに合っていますか？

次に、有用な情報を集めます。

全体像を把握するためにすべての数学が必要なわけではありませんが、大まかには次のようになります。
-各単語は「検索リクエスト」を作成します
-各単語は「含まれる内容の説明」も提供します
-モデルがそれらを比較します
-より強い一致がより多くの注意を得ます
-単語は、収集した重み付けされた情報を使用して自身を更新します

したがって、単語が辞書のような埋め込みによってのみ表されるのではなく、その単語のコンテキストを意識したバージョンになります。

お金の文脈での「銀行」と川の文脈での「銀行」は、同じ基本的な埋め込みから始まりますが、注意の後、異なるコンテキストを吸収したため、異なるものになります。

なぜ自己注意と呼ばれるのですか？

モデルが同じ文またはシーケンス内で注意を払っているためです。各単語は、その同じ入力内の他の単語に注意を払います。

文に10語ある場合、10語すべてが自分自身を含む10語すべてを見ることができます。これにより、モデルは次のような関係を発見できます。
-形容詞 -> 名詞
-代名詞 -> それが指すもの
-動詞 -> 主語
-前のトピック -> 後続の詳細

これは、近くの単語しか見ないよりもはるかに柔軟です。

複数の注意ヘッド：一度に複数の視点

トランスフォーマーは通常、1つの注意パターンだけを使用しません。複数の注意ヘッドを使用します。

これは、それぞれ異なる種類の関係を探している、複数の目のセットを持っていると考えることができます。

1つのヘッドは次のようなことに焦点を当てる可能性があります。
-代名詞がどの名詞を指すか

別のヘッドは次のようなことに焦点を当てる可能性があります。
-どの形容詞がどの名詞を説明するか

別のヘッドは次のようなことに焦点を当てる可能性があります。
-文の全体的なトピック

それは、異なる色の複数のハイライターを持っていて、それぞれが異なる種類の接続をマークしているようなものです。

これにより、モデルは言語のより豊かな理解を構築できます。

レイヤーごとの理解

トランスフォーマーは単一の注意ステップではありません。多くのレイヤーをスタックします。

各レイヤーは、文の現在の表現を取得し、それを洗練します。初期レイヤーは単純なパターンに気づく可能性があります。後続のレイヤーは、それらをより抽象的なアイデアに組み合わせることができます。

読解のアナロジーは次のとおりです。
-最初のパス：単語を認識する
-2番目のパス：文法関係を見る
-後続のパス：意味、トーン、含意を理解する

各レイヤーで、単語を表すベクトルはより賢く、よりコンテキストを意識したものになります。

トランスフォーマーが強力な理由

トランスフォーマーは、いくつかの大きな理由で画期的なものになりました。

第一に、コンテキストを非常によく処理します。
単語は、シーケンス内の他の単語に直接注意を払うことができ、たとえそれらが離れていても可能です。これは、長い文や複雑な関係に役立ちます。

第二に、多くの単語を並列に処理します。
古いモデルはしばしば厳密に一度に1ステップずつ読む必要がありました。トランスフォーマーは一度に多くの作業を実行できるため、巨大なデータセットでのトレーニングが実用的になります。

第三に、膨大な量のテキストから微妙なパターンを学習します。
数十億または数兆の単語の組み合わせを見ることで、文法、スタイル、一般的な事実、および多くの推論パターンを学習します。

すべてをまとめる

全体像のパイプラインは次のとおりです。

1.テキストをトークンに分割します。
これらは通常、単語または単語の一部です。

2.各トークンを埋め込みに変換します。
これで、各トークンは意味の側面を捉えたベクトルになります。

3.位置エンコーディングを追加します。
これで、モデルは各トークンがどこに現れるかを知ることができます。

4.自己注意を実行します。
各トークンは他のトークンを確認し、最も重要なものを決定します。

5.多くのレイヤーを通して繰り返します。
表現はよりコンテキストを意識したものになり、より有用になります。

6.次のトークンを予測するか、何らかの出力を生成します。
GPTのようなモデルの場合、これは多くの場合、最も可能性の高い次のテキスト部分を推測することを意味します。

これがテキスト生成に役立つ理由

GPTが文を書いていると仮定します。各ステップで、それまでのすべてのテキストを確認し、トランスフォーマーを使用してそのコンテキストの豊かな理解を構築します。次に、次に可能性の高いトークンを予測します。

埋め込みを使用するため、単語の類似性の感覚があります。
位置エンコーディングを使用するため、順序を知っています。
自己注意を使用するため、現在の瞬間を最も関連性の高い前の単語に接続できます。

その組み合わせが、流暢でコンテキストを意識した言語を生成するのに非常に優れている理由です。

最終的な直感

短いメンタルモデルが必要な場合は、トランスフォーマーを次のようなシステムと考えてください。
-単語は意味ベクトルになります
-位置はモデルに単語がどこにあるかを伝えます
-注意は各単語が文の周りを見て「私にとって重要なのは誰ですか？」と尋ねることを可能にします

最後の部分が魔法です。トランスフォーマーは言語を厳格なチェーンとして扱うのではなく、関係のウェブとして扱います。各単語は最も関連性の高い他の単語に接続でき、それらの接続はモデルが驚くべき力で言語を理解し生成するのに役立ちます。