Expliquer un modèle Transformer à un·e adolescent·e

Comment fonctionne un Transformer (pour quelqu'un qui connaît un peu le code)

Imaginez que l'on vous donne une phrase et qu'on vous demande de la comprendre vraiment : pas seulement de reconnaître les lettres, mais de saisir ce que chaque mot signifie, comment les mots sont liés les uns aux autres, et ce qui devrait logiquement suivre. C'est le travail qu'accomplit un transformeur, et il le fait en utilisant uniquement des nombres et de l'arithmétique. Construisons l'image pièce par pièce.

1. Plongements de mots : Transformer les mots en nombres

Les ordinateurs ne peuvent pas penser directement au mot « chien ». Ils ne font que manipuler des nombres. La toute première chose qu'un transformeur fait est donc de convertir chaque mot en une liste de nombres, ce que nous appellerions un tableau. Ce tableau est appelé un « plongement » (embedding), et il peut contenir des centaines, voire des milliers de nombres.

Mais voici la partie astucieuse : ce ne sont pas des nombres aléatoires, et ce ne sont pas juste un identifiant comme « chien = 47 ». Au lieu de cela, les nombres sont arrangés de manière à capturer le sens. Pensez à chaque mot comme à un point dans un espace géant multidimensionnel. Les mots ayant des significations similaires se retrouvent proches les uns des autres dans cet espace, et les mots ayant des significations différentes se retrouvent éloignés.

Un exemple célèbre : si vous prenez le plongement de « roi », soustrayez le plongement de « homme » et ajoutez le plongement de « femme », vous arrivez très près du plongement de « reine ». Les nombres codent littéralement des relations comme le genre, la royauté, etc. Le modèle n'est pas informé de ces relations manuellement ; il les apprend en lisant d'énormes quantités de texte et en remarquant quels mots apparaissent dans des contextes similaires. Les mots qui apparaissent dans des situations similaires obtiennent des plongements similaires.

Ainsi, à ce stade, une phrase comme « Le chat s'est assis » est devenue trois tableaux de nombres, chacun étant une empreinte numérique du sens d'un mot.

2. Encodage positionnel : Garder une trace de l'ordre

Voici un problème. « Le chien a mordu l'homme » et « L'homme a mordu le chien » utilisent exactement les mêmes mots, mais ils signifient des choses complètement différentes. L'ordre des mots est extrêmement important.

La chose délicate avec un transformeur est qu'il examine tous les mots en même temps, en parallèle, plutôt que de les lire un par un comme vous le faites. C'est excellent pour la vitesse, mais cela signifie que, seul, le modèle n'a aucune idée quel mot est venu en premier, en deuxième ou en troisième. Pour lui, la phrase n'est qu'un sac de plongements de mots non ordonnés.

La solution s'appelle « l'encodage positionnel ». Avant le traitement, le modèle ajoute un autre tableau de nombres au plongement de chaque mot, une sorte de « tampon » numérique qui signale la position du mot dans la phrase. Le mot 1 reçoit un motif, le mot 2 reçoit un motif légèrement différent, et ainsi de suite. Ces motifs sont conçus de manière à ce que le modèle puisse dire non seulement que deux mots sont à des endroits différents, mais aussi quelle est la distance entre eux.

Ainsi, maintenant, le tableau de chaque mot porte deux types d'informations mélangées : ce que le mot signifie (le plongement) et où il se trouve dans la phrase (l'encodage positionnel). C'est suffisant pour que le modèle puisse distinguer « le chien mord l'homme » de « l'homme mord le chien ».

3. Auto-attention : Le cœur de la machine

C'est la grande idée, et c'est la raison pour laquelle le document original de 2017 s'intitulait « Attention Is All You Need » (L'attention est tout ce dont vous avez besoin).

Considérez la phrase : « L'animal n'a pas traversé la rue parce qu'il était trop fatigué. »

À quoi « il » fait-il référence ? Vous savez instantanément que cela signifie l'animal, pas la rue. Mais comment avez-vous découvert cela ? Vous avez regardé les autres mots de la phrase et décidé que « animal » était le plus pertinent pour comprendre « il ». Vous avez prêté plus d'attention à certains mots qu'à d'autres.

L'auto-attention permet au modèle de faire exactement cela. Lorsque le modèle traite chaque mot, il pose une question : « Sur quels autres mots de cette phrase dois-je me concentrer pour mieux comprendre ce mot ? » Ensuite, il intègre les informations des mots les plus pertinents.

Une analogie utile : imaginez chaque mot lors d'une réunion de groupe où chacun essaie de comprendre son propre rôle dans le projet.

• Chaque mot brandit une pancarte décrivant ce qu'il recherche. (En termes de transformeur, c'est ce qu'on appelle sa « requête ».)
• Chaque mot porte également une étiquette décrivant ce qu'il offre. (C'est sa « clé ».)
• Et chaque mot a des informations réelles à partager. (C'est sa « valeur ».)

Lorsque le mot « il » regarde autour de la pièce, il compare sa requête (« Je suis un pronom, j'ai besoin de savoir à quoi je me réfère ») avec les clés de chacun. Le mot « animal » a une étiquette qui correspond très bien, donc « il » prête beaucoup d'attention à « animal » et en extrait ses informations. Les mots comme « le » ou « rue » correspondent mal, donc « il » les ignore largement.

Le « auto » dans auto-attention signifie simplement que chaque mot fait cela avec chaque autre mot de la même phrase, tout à la fois. Le résultat est que le tableau de chaque mot est mis à jour pour inclure le contexte des mots qui lui importent le plus. Après cette étape, le tableau de « il » signifie effectivement « il (se référant à l'animal) ».

Quelques détails supplémentaires puissants :

• Le modèle ne fait pas cela une seule fois. Il exécute plusieurs opérations d'attention en parallèle, appelées « attention multi-têtes ». Une tête peut se concentrer sur les relations grammaticales, une autre sur les mots qui se réfèrent à la même chose, une autre sur le ton. C'est comme avoir plusieurs spécialistes qui regardent la phrase sous un angle différent.
• Le modèle empile également de nombreuses couches les unes sur les autres. Après le premier cycle d'attention, les mots passent par un autre cycle, puis un autre, construisant une compréhension de plus en plus riche à chaque niveau, de la même manière que vous pourriez relire un passage difficile plusieurs fois pour le saisir pleinement.

Mettre le tout ensemble

Voici donc tout le pipeline en termes simples :

1. Chaque mot devient un tableau de nombres qui capture son sens (plongement).
2. Un tampon positionnel est ajouté pour que le modèle connaisse l'ordre des mots (encodage positionnel).
3. Grâce à l'auto-attention, chaque mot recueille le contexte des autres mots les plus pertinents, répété sur de nombreuses têtes et de nombreuses couches, jusqu'à ce que le modèle ait une compréhension profonde et consciente du contexte de la phrase.

Pourquoi c'est si puissant

Pour des tâches comme celles que GPT effectue, le modèle utilise tout cela pour prédire le mot suivant. Compte tenu de tout ce qu'il a lu jusqu'à présent, il produit une probabilité pour le mot qui devrait suivre, en choisit un, l'ajoute à la phrase et répète. Faites cela encore et encore et vous obtenez des paragraphes fluides, du code, des poèmes ou des réponses à des questions.

La raison pour laquelle cette architecture fonctionne si bien réside dans l'auto-attention. Les approches plus anciennes lisaient le texte strictement de gauche à droite et avaient tendance à « oublier » les choses qui s'étaient produites de nombreux mots auparavant. L'auto-attention permet à n'importe quel mot de se connecter directement à n'importe quel autre mot, quelle que soit la distance, en une seule étape. Cela signifie que le modèle peut gérer les relations à longue portée, comme un pronom se référant à quelque chose mentionné un paragraphe plus tôt, avec aisance. Et comme tout cela se produit en parallèle plutôt qu'un mot à la fois, les transformeurs peuvent être entraînés sur des quantités de texte stupéfiantes de manière efficace.

Cette combinaison, un sens numérique riche, une conscience de l'ordre et un mécanisme d'attention flexible qui relie tout à tout, est ce qui fait du transformeur le moteur derrière les modèles de langage les plus performants d'aujourd'hui.

Un transformeur est une sorte de machine conçue pour lire et écrire des séquences, en particulier du langage. L'idée principale est qu'au lieu de lire un mot à la fois et d'oublier la plupart de ce qui précède, il peut examiner plusieurs mots ensemble et décider lesquels sont les plus importants pour comprendre le mot actuel.

Vous pouvez le considérer comme un système de complétion automatique très avancé. S'il voit :

« Le chat s'est assis sur le ___ »

il devrait deviner « tapis ». Pour bien faire cela, il a besoin d'un moyen de transformer les mots en données, de se souvenir de l'ordre des mots et de remarquer les relations entre les mots. C'est exactement ce que l'architecture du transformeur est conçue pour faire.

1. Plongements lexicaux : transformer les mots en nombres significatifs

Les ordinateurs ne comprennent pas les mots directement. Ils ne travaillent qu'avec des nombres. Le premier problème est donc : comment transformer un mot comme « chat » en nombres d'une manière utile ?

Une approche simple serait de donner à chaque mot un numéro d'identification :

chat = 17
tapis = 42
courir = 103

Mais ce n'est pas suffisant. Avec des identifiants simples, l'ordinateur sait que « chat » et « chien » sont différents, mais il n'a aucune idée qu'ils sont des choses similaires.

Les transformeurs utilisent plutôt quelque chose appelé plongements lexicaux. Un plongement lexical est une liste de nombres pour chaque mot, comme une coordonnée dans un espace de signification géant.

Par exemple, imaginez que chaque mot obtienne un tableau comme :

chat -> [0.2, -1.1, 0.7, ...]
chien -> [0.3, -1.0, 0.6, ...]
banane -> [-0.8, 0.5, 1.4, ...]

Ces nombres sont appris à partir d'énormes quantités de texte. Le modèle les ajuste progressivement de sorte que les mots utilisés dans des situations similaires finissent par avoir des plongements lexicaux similaires. Ainsi, « chat » et « chien » pourraient finir par être proches, tandis que « banane » est plus éloignée.

Vous pouvez considérer un plongement lexical comme un profil compressé d'un mot. Il ne stocke pas une définition de dictionnaire. Au lieu de cela, il stocke des indices sur la façon dont ce mot se comporte dans la langue :

• quels types de mots apparaissent près de lui
• s'il s'agit généralement d'un nom, d'un verbe, etc.
• à quels sujets il se rapporte
• avec quels autres mots il agit souvent de manière similaire

C'est puissant car le sens dans la langue vient souvent de modèles d'utilisation. Si deux mots apparaissent dans des contextes similaires, ils ont souvent des significations liées.

Donc, la première étape dans un transformeur est :

• prendre chaque mot ou jeton
• le remplacer par un vecteur appris, qui n'est qu'un tableau de nombres

Maintenant, la phrase n'est plus une liste de mots. C'est une liste de vecteurs numériques riches en sens.

2. Encodage positionnel : garder une trace de l'ordre des mots

Il y a cependant un problème. Si vous donnez simplement au modèle un sac de plongements lexicaux, il sait quels mots sont présents, mais pas leur ordre.

Et l'ordre est très important.

Comparez :

• « Le chien mord l'homme »
• « L'homme mord le chien »

Mêmes mots, signification très différente.

Contrairement à certains anciens modèles de séquences, un transformeur examine plusieurs mots à la fois, ce qui est efficace. Mais cela signifie également qu'il a besoin d'un moyen supplémentaire de savoir où se trouve chaque mot dans la phrase.

C'est là qu'intervient l'encodage positionnel.

L'idée est simple : en plus du plongement lexical qui dit à quoi ressemble le mot, ajoutez un autre vecteur qui dit où se trouve le mot.

Donc, si la phrase est :

« Le chat dormait »

alors « Le » obtient la position 1, « chat » obtient la position 2, « dormait » obtient la position 3.

Chaque position a son propre schéma numérique, et ce schéma est ajouté au plongement lexical du mot. Ainsi, le modèle obtient les deux :

• le sens du mot
• l'emplacement du mot

Vous pouvez penser à cela comme à l'étiquetage des joueurs sur un terrain de sport. Savoir qui est le joueur est important, mais savoir où il se trouve l'est aussi. Un attaquant et un gardien de but sont compris différemment selon leur position. De même, le rôle d'un mot dépend en partie de l'endroit où il apparaît.

Après l'encodage positionnel, le modèle peut faire la différence entre :

• « le chien a poursuivi le chat »
• « le chat a poursuivi le chien »

car les mêmes plongements lexicaux sont maintenant associés à des positions différentes.

3. Auto-attention : le truc principal

C'est le cœur du transformeur.

L'auto-attention est le mécanisme qui permet à chaque mot de regarder les autres mots de la phrase et de décider lesquels sont importants pour le comprendre.

Voici l'intuition principale :
lorsque vous lisez une phrase, vous ne traitez pas chaque mot précédent comme étant d'égale importance. Pour chaque mot, votre cerveau accorde automatiquement plus d'attention à certains autres mots qui aident à l'expliquer.

Exemple :

« L'animal n'a pas traversé la rue parce qu'il était trop fatigué. »

À quoi « il » fait-il référence ? Probablement à « l'animal », pas à « la rue ». Pour le déterminer, vous connectez « il » aux mots qui ont le plus de sens.

Un transformeur fait quelque chose de similaire.

Une analogie simple : un chat de groupe avec une mise en surbrillance intelligente

Imaginez qu'une phrase soit un chat de groupe. Chaque mot est une personne dans le chat. Lorsqu'un mot essaie de comprendre ce qu'il signifie dans son contexte, il regarde les messages des autres mots et demande :

• Qui ici est pertinent pour moi ?
• Les informations de qui devrais-je le plus considérer ?

Ainsi, chaque mot crée une sorte de score d'attention pour les autres mots. Un score élevé signifie « ce mot est important pour me comprendre en ce moment ». Un score faible signifie « pas très pertinent ».

Ensuite, il construit une nouvelle version mise à jour de lui-même en mélangeant les informations des mots importants.

Par exemple, dans :

« La banque au bord de la rivière a été inondée. »

Le mot « banque » pourrait signifier un établissement financier ou le bord d'une rivière. L'auto-attention aide le modèle à remarquer « rivière » et « inondée », ce qui oriente le sens vers la rive.

Dans :

« Elle a déposé de l'argent à la banque. »

maintenant « déposé » et « argent » deviennent importants, orientant « banque » vers le sens financier.

C'est pourquoi l'auto-attention est si utile : le sens d'un mot n'est pas fixe. Il dépend du contexte.

Comment cela fonctionne à un niveau élevé

Pour chaque mot, le transformeur demande :

• Que suis-je en train de chercher ?
• Quelles informations les autres mots ont-ils ?
• Quels mots correspondent à ce dont j'ai besoin ?

Ensuite, il rassemble les informations utiles.

Vous n'avez pas besoin de toutes les mathématiques pour comprendre l'idée générale, mais en gros :

• chaque mot crée une « requête de recherche »
• chaque mot offre également une « description de ce qu'il contient »
• le modèle les compare
• les correspondances les plus fortes reçoivent plus d'attention
• le mot se met ensuite à jour en utilisant les informations pondérées qu'il a recueillies

Ainsi, au lieu qu'un mot soit représenté uniquement par son plongement lexical de type dictionnaire, il devient une version sensible au contexte de ce mot.

« banque » dans une phrase sur l'argent et « banque » dans une phrase sur une rivière commencent avec le même plongement lexical de base, mais après l'attention, ils deviennent différents car ils ont absorbé un contexte différent.

Pourquoi est-ce appelé auto-attention ?

Parce que le modèle accorde de l'attention au sein de la même phrase ou séquence. Chaque mot accorde de l'attention aux autres mots de cette même entrée.

Si la phrase a 10 mots, chacun des 10 mots peut regarder les 10 mots, y compris lui-même. Cela permet au modèle de découvrir des relations telles que :

• adjectif -> nom
• pronom -> chose à laquelle il se réfère
• verbe -> sujet
• sujet précédent -> détail ultérieur

C'est beaucoup plus flexible que de ne regarder que les mots voisins.

Multiples têtes d'attention : plusieurs perspectives à la fois

Les transformeurs n'utilisent généralement pas un seul schéma d'attention. Ils utilisent plusieurs têtes d'attention.

Vous pouvez penser à cela comme à plusieurs paires d'yeux, chacune recherchant différents types de relations.

Une tête pourrait se concentrer sur :

• à quel nom un pronom fait référence

Une autre pourrait se concentrer sur :

• quel adjectif décrit quel nom

Une autre pourrait se concentrer sur :

• le sujet général de la phrase

C'est comme avoir plusieurs surligneurs de couleurs différentes, chacun marquant un type de connexion différent.

Cela aide le modèle à construire une compréhension plus riche du langage.

Compréhension couche par couche

Un transformeur n'est pas juste une étape d'attention. Il empile de nombreuses couches.

Chaque couche prend la représentation actuelle de la phrase et l'affine. Les premières couches peuvent remarquer des schémas simples. Les couches ultérieures peuvent les combiner en idées plus abstraites.

Une analogie approximative est la compréhension de lecture :

• première passe : reconnaître les mots
• deuxième passe : voir les relations grammaticales
• passes ultérieures : comprendre le sens, le ton et les implications

Avec chaque couche, les vecteurs représentant les mots deviennent plus intelligents et plus sensibles au contexte.

Pourquoi les transformeurs sont si puissants

Le transformeur est devenu une percée pour quelques grandes raisons.

Premièrement, il gère très bien le contexte.
Un mot peut directement accorder de l'attention à tout autre mot de la séquence, même s'ils sont éloignés. Cela aide avec les phrases longues et les relations compliquées.

Deuxièmement, il traite plusieurs mots en parallèle.
Les anciens modèles devaient souvent lire strictement étape par étape. Les transformeurs peuvent faire beaucoup plus de travail en une seule fois, ce qui rend l'entraînement sur d'énormes ensembles de données pratique.

Troisièmement, il apprend des schémas subtils à partir de quantités massives de texte.
En voyant des milliards ou des billions de combinaisons de mots, il apprend la grammaire, le style, les faits courants et de nombreux schémas de raisonnement.

Tout mettre ensemble

Voici le pipeline général :

1. Diviser le texte en jetons.
   Ce sont généralement des mots ou des morceaux de mots.

2. Transformer chaque jeton en un plongement lexical.
   Maintenant, chaque jeton est un vecteur qui capture des aspects du sens.

3. Ajouter l'encodage positionnel.
   Maintenant, le modèle sait où apparaît chaque jeton.

4. Exécuter l'auto-attention.
   Chaque jeton regarde les autres et décide lesquels sont les plus importants.

5. Répéter à travers de nombreuses couches.
   Les représentations deviennent plus sensibles au contexte et plus utiles.

6. Prédire le jeton suivant ou produire une sortie.
   Pour un modèle comme GPT, cela signifie souvent deviner le prochain morceau de texte le plus probable.

Pourquoi cela aide à la génération de texte

Supposons que GPT écrive une phrase. À chaque étape, il regarde tout le texte jusqu'à présent et utilise le transformeur pour construire une compréhension riche de ce contexte. Ensuite, il prédit quel jeton est susceptible de venir ensuite.

Parce qu'il utilise des plongements lexicaux, il a une idée de la similarité des mots.
Parce qu'il utilise l'encodage positionnel, il connaît l'ordre.
Parce qu'il utilise l'auto-attention, il peut relier le moment présent aux mots précédents les plus pertinents.

Cette combinaison est ce qui le rend si bon pour produire un langage fluide et sensible au contexte.

Une dernière intuition

Si vous voulez un modèle mental court, pensez à un transformeur comme à un système où :

• les mots deviennent des vecteurs de sens
• les positions indiquent au modèle où se trouvent les mots
• l'attention permet à chaque mot de regarder autour de la phrase et de demander : « Qui est important pour moi ? »

Ce dernier point est la magie. Au lieu de traiter le langage comme une chaîne rigide, le transformeur le traite comme une toile de relations. Chaque mot peut se connecter aux autres mots les plus pertinents, et ces connexions aident le modèle à comprendre et à générer du langage avec une puissance surprenante.