Erkläre einem Teenager ein Transformer-Modell

Wie ein Transformer funktioniert (für jemanden, der ein wenig Code kennt)

Stellen Sie sich vor, Sie erhalten einen Satz und sollen ihn wirklich verstehen: nicht nur die Buchstaben erkennen, sondern erfassen, was jedes Wort bedeutet, wie die Wörter miteinander zusammenhängen und was logischerweise als Nächstes kommen sollte. Das ist die Aufgabe eines Transformers, und er erledigt sie mit nichts anderem als Zahlen und Arithmetik. Lassen Sie uns das Bild Stück für Stück aufbauen.

1. Wort-Einbettungen: Wörter in Zahlen verwandeln

Computer können nicht direkt über das Wort „Hund“ nachdenken. Sie verarbeiten nur Zahlen. Das Allererste, was ein Transformer tut, ist also, jedes Wort in eine Zahlenliste umzuwandeln, die wir als Array bezeichnen würden. Dieses Array wird als „Einbettung“ bezeichnet und kann Hunderte oder sogar Tausende von Zahlen enthalten.

Aber hier ist der clevere Teil: Dies sind keine zufälligen Zahlen, und es ist nicht nur eine ID wie „Hund = 47“. Stattdessen sind die Zahlen so angeordnet, dass sie Bedeutung erfassen. Stellen Sie sich jedes Wort als einen Punkt in einem riesigen mehrdimensionalen Raum vor. Wörter mit ähnlicher Bedeutung liegen in diesem Raum nahe beieinander, und Wörter mit unterschiedlicher Bedeutung liegen weit auseinander.

Ein berühmtes Beispiel: Wenn Sie die Einbettung für „König“ nehmen, die Einbettung für „Mann“ subtrahieren und die Einbettung für „Frau“ addieren, landen Sie sehr nahe an der Einbettung für „Königin“. Die Zahlen kodieren buchstäblich Beziehungen wie Geschlecht, Königtum und so weiter. Dem Modell werden diese Beziehungen nicht von Hand mitgeteilt, es lernt sie, indem es riesige Textmengen liest und bemerkt, welche Wörter in ähnlichen Kontexten vorkommen. Wörter, die in ähnlichen Situationen vorkommen, erhalten ähnliche Einbettungen.

Daher ist in diesem Stadium ein Satz wie „Die Katze saß“ zu drei Arrays von Zahlen geworden, jedes eine numerische Fingerabdruck der Bedeutung eines Wortes.

2. Positionskodierung: Reihenfolge im Auge behalten

Hier ist ein Problem. „Der Hund biss den Mann“ und „Der Mann biss den Hund“ verwenden exakt dieselben Wörter, bedeuten aber völlig unterschiedliche Dinge. Die Wortreihenfolge ist enorm wichtig.

Das Schwierige an einem Transformer ist, dass er alle Wörter gleichzeitig, parallel, betrachtet, anstatt sie nacheinander zu lesen, wie Sie es tun. Das ist gut für die Geschwindigkeit, bedeutet aber, dass das Modell von sich aus keine Ahnung hat, welches Wort zuerst, zweitens oder drittens kam. Für es ist der Satz nur eine ungeordnete Ansammlung von Wort-Einbettungen.

Die Lösung heißt „Positionskodierung“. Vor der Verarbeitung fügt das Modell jeder Wort-Einbettung ein weiteres Zahlen-Array hinzu, eine Art numerischen „Stempel“, der die Position des Wortes im Satz signalisiert. Wort 1 erhält ein Muster, Wort 2 ein leicht anderes Muster und so weiter. Diese Muster sind so konzipiert, dass das Modell nicht nur erkennen kann, dass zwei Wörter an unterschiedlichen Stellen stehen, sondern auch, wie weit sie voneinander entfernt sind.

Somit trägt jedes Wort-Array nun zwei Arten von Informationen gemischt bei: was das Wort bedeutet (die Einbettung) und wo es im Satz steht (die Positionskodierung). Das reicht aus, damit das Modell „Hund beißt Mann“ von „Mann beißt Hund“ unterscheiden kann.

3. Self-Attention: Das Herzstück der Maschine

Das ist die große Idee, und der Grund, warum das ursprüngliche Papier von 2017 „Attention Is All You Need“ hieß.

Betrachten Sie den Satz: „Das Tier überquerte die Straße nicht, weil es zu müde war.“

Worauf bezieht sich „es“? Sie wissen sofort, dass es sich auf das Tier und nicht auf die Straße bezieht. Aber wie haben Sie das herausgefunden? Sie haben die anderen Wörter im Satz betrachtet und entschieden, dass „Tier“ das relevanteste für das Verständnis von „es“ war. Sie haben einigen Wörtern mehr Aufmerksamkeit geschenkt als anderen.

Self-Attention ermöglicht es dem Modell, genau das zu tun. Wenn das Modell jedes Wort verarbeitet, stellt es eine Frage: „Auf welche anderen Wörter in diesem Satz sollte ich mich konzentrieren, um dieses Wort besser zu verstehen?“ Dann mischt es Informationen von den relevantesten Wörtern ein.

Eine hilfreiche Analogie: Stellen Sie sich jedes Wort bei einem Gruppentreffen vor, bei dem jeder versucht, seine Rolle im Projekt zu verstehen.

• Jedes Wort hält ein Schild hoch, das beschreibt, wonach es sucht. (In Transformer-Begriffen nennt man das seine „Query“.)
• Jedes Wort trägt auch ein Etikett, das beschreibt, was es anbietet. (Das ist sein „Key“.)
• Und jedes Wort hat tatsächliche Informationen zu teilen. (Das ist sein „Value“.)

Wenn das Wort „es“ sich im Raum umsieht, vergleicht es seine Query („Ich bin ein Pronomen, ich muss wissen, worauf ich mich beziehe“) mit den Keys aller anderen. Das Wort „Tier“ hat ein Etikett, das sehr gut passt, also schenkt „es“ dem „Tier“ viel Aufmerksamkeit und zieht dessen Informationen heran. Wörter wie „der“ oder „Straße“ passen schlecht, also ignoriert „es“ sie größtenteils.

Das „Self“ in Self-Attention bedeutet einfach, dass jedes Wort dies mit jedem anderen Wort im selben Satz tut, und zwar gleichzeitig. Das Ergebnis ist, dass das Array jedes Wortes aktualisiert wird, um den Kontext der Wörter aufzunehmen, die für es am wichtigsten sind. Nach diesem Schritt bedeutet das Array für „es“ effektiv „es (bezogen auf das Tier)“.

Ein paar weitere leistungsstarke Details:

• Das Modell macht das nicht nur einmal. Es führt viele Aufmerksamkeitsoperationen parallel durch, die als „Multi-Head Attention“ bezeichnet werden. Ein Head könnte sich auf grammatikalische Beziehungen konzentrieren, ein anderer darauf, welche Wörter sich auf dasselbe beziehen, ein anderer auf den Tonfall. Es ist, als hätten Sie mehrere Spezialisten, die den Satz aus verschiedenen Blickwinkeln betrachten.
• Das Modell stapelt auch viele Schichten übereinander. Nach der ersten Aufmerksamkeitsrunde durchlaufen die Wörter eine weitere Runde, dann noch eine, wodurch auf jeder Ebene ein immer reichhaltigeres Verständnis aufgebaut wird, genauso wie Sie eine schwierige Passage mehrmals wiederholen könnten, um sie vollständig zu erfassen.

Alles zusammenfügen

Hier ist also die gesamte Pipeline in einfachen Worten:

1. Jedes Wort wird zu einem Array von Zahlen, das seine Bedeutung erfasst (Einbettung).
2. Ein Positionsstempel wird hinzugefügt, damit das Modell die Wortreihenfolge kennt (Positionskodierung).
3. Durch Self-Attention sammelt jedes Wort Kontext von den relevantesten anderen Wörtern, wiederholt über viele Heads und viele Schichten, bis das Modell ein tiefes, kontextbezogenes Verständnis des Satzes hat.

Warum es so mächtig ist

Für Aufgaben wie die, die GPT erledigt, nutzt das Modell all dies, um das nächste Wort vorherzusagen. Angesichts allem, was es bisher gelesen hat, erzeugt es eine Wahrscheinlichkeit dafür, welches Wort als Nächstes kommen sollte, wählt eines aus, fügt es dem Satz hinzu und wiederholt den Vorgang. Wenn Sie das immer wieder tun, erhalten Sie flüssige Absätze, Code, Gedichte oder Antworten auf Fragen.

Der Grund, warum diese Architektur so gut funktioniert, liegt in der Self-Attention. Ältere Ansätze lasen Text streng von links nach rechts und neigten dazu, Dinge zu „vergessen“, die viele Wörter zuvor passiert waren. Self-Attention ermöglicht es jedem Wort, sich direkt mit jedem anderen Wort zu verbinden, egal wie weit entfernt, in einem einzigen Schritt. Das bedeutet, dass das Modell Langzeitbeziehungen, wie ein Pronomen, das sich auf etwas bezieht, das einen Absatz zuvor erwähnt wurde, mühelos bewältigen kann. Und da all dies parallel und nicht Wort für Wort geschieht, können Transformer effizient mit einer erstaunlichen Menge an Text trainiert werden.

Diese Kombination aus reichhaltiger numerischer Bedeutung, Berücksichtigung der Reihenfolge und einem flexiblen Aufmerksamkeitsmechanismus, der alles mit allem verbindet, ist das, was den Transformer zum Motor der heute leistungsfähigsten Sprachmodelle macht.

Ein Transformer ist eine Art Maschine, die zum Lesen und Schreiben von Sequenzen, insbesondere von Sprache, entwickelt wurde. Die große Idee ist, dass sie, anstatt ein Wort nach dem anderen zu lesen und das meiste vom Vorherigen zu vergessen, viele Wörter gleichzeitig betrachten und entscheiden kann, welche für das Verständnis des aktuellen Wortes am wichtigsten sind.

Man kann es sich als ein sehr fortschrittliches Autovervollständigungssystem vorstellen. Wenn es sieht:

„Die Katze saß auf der ___“

sollte es „Matte“ erraten. Um das gut zu machen, benötigt es eine Möglichkeit, Wörter in Daten umzuwandeln, die Wortreihenfolge zu speichern und Beziehungen zwischen Wörtern zu erkennen. Genau dafür ist die Transformer-Architektur konzipiert.

1. Wort-Einbettungen: Wörter in aussagekräftige Zahlen umwandeln

Computer verstehen Wörter nicht direkt. Sie arbeiten nur mit Zahlen. Das erste Problem ist also: Wie wandeln wir ein Wort wie „Katze“ auf nützliche Weise in Zahlen um?

Ein einfacher Ansatz wäre, jedem Wort eine ID-Nummer zu geben:

Katze = 17
Matte = 42
Laufen = 103

Aber das reicht nicht aus. Mit einfachen IDs weiß der Computer, dass „Katze“ und „Hund“ unterschiedlich sind, aber er hat keine Ahnung, dass sie ähnliche Dinge sind.

Transformer verwenden stattdessen etwas, das als Einbettungen bezeichnet wird. Eine Einbettung ist eine Liste von Zahlen für jedes Wort, wie eine Koordinate in einem riesigen Bedeutungsraum.

Stellen Sie sich zum Beispiel vor, jedes Wort erhält ein Array wie:

Katze -> [0,2, -1,1, 0,7, ...]
Hund -> [0,3, -1,0, 0,6, ...]
Banane -> [-0,8, 0,5, 1,4, ...]

Diese Zahlen werden aus riesigen Textmengen gelernt. Das Modell passt sie schrittweise an, sodass Wörter, die in ähnlichen Situationen verwendet werden, ähnliche Einbettungen erhalten. „Katze“ und „Hund“ könnten also nahe beieinander liegen, während „Banane“ weiter entfernt ist.

Man kann eine Einbettung als ein komprimiertes Profil eines Wortes betrachten. Sie speichert keine Wörterbuchdefinition. Stattdessen speichert sie Hinweise darauf, wie sich dieses Wort in der Sprache verhält:

• welche Arten von Wörtern in seiner Nähe vorkommen
• ob es sich normalerweise um ein Nomen, ein Verb usw. handelt
• mit welchen Themen es zusammenhängt
• mit welchen anderen Wörtern es oft vergleichbar ist

Das ist mächtig, denn Bedeutung in der Sprache ergibt sich oft aus Nutzungsmustern. Wenn zwei Wörter in ähnlichen Kontexten vorkommen, haben sie oft verwandte Bedeutungen.

Der erste Schritt in einem Transformer ist also:

• jedes Wort oder Token nehmen
• es durch einen gelernten Vektor ersetzen, der nur ein Array von Zahlen ist

Jetzt ist der Satz keine Liste von Wörtern mehr. Es ist eine Liste von bedeutungsvollen numerischen Vektoren.

2. Positionskodierung: Wortreihenfolge im Auge behalten

Es gibt jedoch ein Problem. Wenn man dem Modell nur eine Tüte mit Einbettungen gibt, weiß es, welche Wörter vorhanden sind, aber nicht ihre Reihenfolge.

Und die Reihenfolge ist sehr wichtig.

Vergleichen Sie:

• „Hund beißt Mann“
• „Mann beißt Hund“

Die gleichen Wörter, eine sehr unterschiedliche Bedeutung.

Im Gegensatz zu einigen älteren Sequenzmodellen betrachtet ein Transformer viele Wörter gleichzeitig, was effizient ist. Aber das bedeutet auch, dass er eine zusätzliche Möglichkeit benötigt, um zu wissen, wo sich jedes Wort im Satz befindet.

Hier kommt die Positionskodierung ins Spiel.

Die Idee ist einfach: Zusätzlich zur Einbettung, die sagt, wie das Wort ist, fügt man einen weiteren Vektor hinzu, der sagt, wo das Wort ist.

Wenn der Satz also lautet:

„Die Katze schlief“

dann erhält „Die“ die Position 1, „Katze“ die Position 2, „schlief“ die Position 3.

Jede Position hat ihr eigenes numerisches Muster, und dieses Muster wird zur Einbettung des Wortes hinzugefügt. So erhält das Modell beides:

• die Bedeutung des Wortes
• den Ort des Wortes

Man kann es sich wie das Beschriften von Spielern auf einem Sportfeld vorstellen. Zu wissen, wer der Spieler ist, ist wichtig, aber zu wissen, wo er ist, ist auch wichtig. Ein Stürmer und ein Torwart werden je nach Position unterschiedlich verstanden. Ebenso hängt die Rolle eines Wortes teilweise davon ab, wo es erscheint.

Nach der Positionskodierung kann das Modell unterscheiden zwischen:

• „Der Hund jagte die Katze“
• „Die Katze jagte den Hund“

weil die gleichen Wort-Einbettungen nun mit unterschiedlichen Positionen gepaart sind.

3. Self-Attention: der Kernkniff

Das ist das Herzstück des Transformers.

Self-Attention ist der Mechanismus, der es jedem Wort ermöglicht, die anderen Wörter im Satz zu betrachten und zu entscheiden, welche für das Verständnis wichtig sind.

Hier ist die Hauptintuition:
Wenn Sie einen Satz lesen, behandeln Sie nicht jedes frühere Wort als gleich wichtig. Für jedes Wort achtet Ihr Gehirn automatisch auf bestimmte andere Wörter, die helfen, es zu erklären.

Beispiel:

„Das Tier überquerte die Straße nicht, weil es zu müde war.“

Worauf bezieht sich „es“? Wahrscheinlich auf „das Tier“, nicht auf „die Straße“. Um das herauszufinden, verbinden Sie „es“ mit den Wörtern, die am sinnvollsten sind.

Ein Transformer macht etwas Ähnliches.

Eine einfache Analogie: Gruppenchat mit intelligenter Hervorhebung

Stellen Sie sich einen Satz als einen Gruppenchat vor. Jedes Wort ist eine Person im Chat. Wenn ein Wort versucht herauszufinden, was es im Kontext bedeutet, betrachtet es die Nachrichten der anderen Wörter und fragt:

• Wer ist hier für mich relevant?
• Wessen Informationen sollte ich am meisten beachten?

Jedes Wort erstellt also eine Art Aufmerksamkeits-Score für die anderen Wörter. Ein hoher Score bedeutet „dieses Wort ist gerade wichtig für mein Verständnis“. Ein niedriger Score bedeutet „nicht sehr relevant“.

Dann baut es eine neue, aktualisierte Version von sich selbst auf, indem es Informationen von den wichtigen Wörtern mischt.

Zum Beispiel in:

„Die Bank am Fluss wurde überflutet.“

Das Wort „Bank“ könnte ein Finanzinstitut oder das Ufer eines Flusses bedeuten. Self-Attention hilft dem Modell, „Fluss“ und „überflutet“ zu bemerken, was die Bedeutung in Richtung Flussufer lenkt.

In:

„Sie zahlte Geld bei der Bank ein.“

werden nun „zahlte“ und „Geld“ wichtig und lenken „Bank“ in Richtung der finanziellen Bedeutung.

Deshalb ist Self-Attention so nützlich: Die Bedeutung eines Wortes ist nicht festgelegt. Sie hängt vom Kontext ab.

Wie es auf hoher Ebene funktioniert

Für jedes Wort fragt der Transformer:

• Was suche ich?
• Welche Informationen haben die anderen Wörter?
• Welche Wörter passen zu dem, was ich brauche?

Dann sammelt es die nützlichen Informationen.

Man muss nicht die ganze Mathematik kennen, um das Gesamtbild zu verstehen, aber grob gesagt:

• jedes Wort erstellt eine „Suchanfrage“
• jedes Wort bietet auch eine „Beschreibung dessen, was es enthält“
• das Modell vergleicht sie
• stärkere Übereinstimmungen erhalten mehr Aufmerksamkeit
• das Wort aktualisiert sich dann mit den gewichteten Informationen, die es gesammelt hat

Anstatt dass ein Wort nur durch seine wörterbuchähnliche Einbettung repräsentiert wird, wird es zu einer kontextbewussten Version dieses Wortes.

„Bank“ in einem Geldsatz und „Bank“ in einem Satz über Flüsse beginnen mit der gleichen Basis-Einbettung, aber nach der Aufmerksamkeit werden sie unterschiedlich, weil sie unterschiedlichen Kontext aufgenommen haben.

Warum heißt es Self-Attention?

Weil das Modell innerhalb desselben Satzes oder derselben Sequenz aufmerksam ist. Jedes Wort achtet auf andere Wörter in derselben Eingabe.

Wenn der Satz 10 Wörter hat, kann jedes der 10 Wörter auf alle 10 Wörter, einschließlich sich selbst, schauen. Das ermöglicht es dem Modell, Beziehungen zu entdecken wie:

• Adjektiv -> Nomen
• Pronomen -> Bezugsobjekt
• Verb -> Subjekt
• früheres Thema -> spätere Details

Das ist viel flexibler, als nur auf nahegelegene Wörter zu schauen.

Mehrere Attention Heads: mehrere Perspektiven gleichzeitig

Transformer verwenden normalerweise nicht nur ein Aufmerksamkeitsmuster. Sie verwenden mehrere Attention Heads.

Man kann sich das wie mehrere Augenpaare vorstellen, die jeweils nach unterschiedlichen Arten von Beziehungen suchen.

Ein Head könnte sich konzentrieren auf:

• auf welches Nomen sich ein Pronomen bezieht

Ein anderer könnte sich konzentrieren auf:

• welches Adjektiv welches Nomen beschreibt

Ein anderer könnte sich konzentrieren auf:

• das allgemeine Thema des Satzes

Es ist, als hätte man mehrere Textmarker in verschiedenen Farben, die jeweils eine andere Art von Verbindung markieren.

Das hilft dem Modell, ein reichhaltigeres Sprachverständnis aufzubauen.

Schicht für Schicht verstehen

Ein Transformer ist nicht nur ein Aufmerksamkeits-Schritt. Er stapelt viele Schichten.

Jede Schicht nimmt die aktuelle Darstellung des Satzes und verfeinert sie. Frühe Schichten können einfache Muster erkennen. Spätere Schichten können diese zu abstrakteren Ideen kombinieren.

Eine grobe Analogie ist Leseverständnis:

• erster Durchgang: Wörter erkennen
• zweiter Durchgang: grammatikalische Beziehungen erkennen
• spätere Durchgänge: Bedeutung, Ton und Implikationen verstehen

Mit jeder Schicht werden die Vektoren, die die Wörter darstellen, intelligenter und kontextbewusster.

Warum Transformer so mächtig sind

Der Transformer wurde aus mehreren wichtigen Gründen zu einem Durchbruch.

Erstens, er verarbeitet Kontext sehr gut.
Ein Wort kann direkt auf jedes andere Wort in der Sequenz achten, auch wenn sie weit voneinander entfernt sind. Das hilft bei langen Sätzen und komplizierten Beziehungen.

Zweitens, er verarbeitet viele Wörter parallel.
Ältere Modelle mussten oft streng Schritt für Schritt lesen. Transformer können viel mehr Arbeit gleichzeitig erledigen, was das Training auf riesigen Datensätzen praktikabel macht.

Drittens, er lernt subtile Muster aus riesigen Textmengen.
Durch das Sehen von Milliarden oder Billionen von Wortkombinationen lernt er Grammatik, Stil, gängige Fakten und viele Denkweisen.

Alles zusammenfügen

Hier ist die Gesamtpipeline:

1. Text in Tokens aufteilen.
   Das sind normalerweise Wörter oder Wortteile.

2. Jeden Token in eine Einbettung umwandeln.
   Jetzt ist jeder Token ein Vektor, der Aspekte der Bedeutung erfasst.

3. Positionskodierung hinzufügen.
   Jetzt weiß das Modell, wo jeder Token erscheint.

4. Self-Attention ausführen.
   Jeder Token betrachtet die anderen und entscheidet, welche am wichtigsten sind.

5. Durch viele Schichten wiederholen.
   Die Darstellungen werden kontextbewusster und nützlicher.

6. Den nächsten Token vorhersagen oder eine Ausgabe erzeugen.
   Für ein Modell wie GPT bedeutet dies oft, das wahrscheinlichste nächste Textstück zu erraten.

Warum das bei der Textgenerierung hilft

Angenommen, GPT schreibt einen Satz. Bei jedem Schritt betrachtet es den bisherigen Text und nutzt den Transformer, um ein reichhaltiges Verständnis dieses Kontexts aufzubauen. Dann sagt es voraus, welcher Token wahrscheinlich als nächstes kommt.

Da es Einbettungen verwendet, hat es ein Gefühl für Wortähnlichkeit.
Da es Positionskodierung verwendet, kennt es die Reihenfolge.
Da es Self-Attention verwendet, kann es den aktuellen Moment mit den relevantesten früheren Wörtern verbinden.

Diese Kombination macht es so gut darin, flüssige, kontextbewusste Sprache zu erzeugen.

Eine letzte Intuition

Wenn Sie ein kurzes mentales Modell wünschen, stellen Sie sich einen Transformer als ein System vor, bei dem:

• Wörter zu Bedeutungsvektoren werden
• Positionen dem Modell sagen, wo die Wörter sind
• Aufmerksamkeit es jedem Wort ermöglicht, sich im Satz umzusehen und zu fragen: „Wer ist für mich wichtig?“

Dieser letzte Teil ist die Magie. Anstatt Sprache wie eine starre Kette zu behandeln, behandelt der Transformer sie wie ein Netz von Beziehungen. Jedes Wort kann sich mit den relevantesten anderen Wörtern verbinden, und diese Verbindungen helfen dem Modell, Sprache mit überraschender Kraft zu verstehen und zu erzeugen.