Explicar un modelo Transformer a un adolescente

Cómo funciona un Transformer (para alguien que sabe un poco de código)

Imagina que te han entregado una oración y te han pedido que la entiendas de verdad: no solo que reconozcas las letras, sino que comprendas qué significa cada palabra, cómo se relacionan entre sí las palabras y qué debería seguir lógicamente. Ese es el trabajo que hace un transformer, y lo hace sin nada más que números y aritmética. Construyamos la imagen pieza por pieza.

1. Incrustaciones de palabras: Convirtiendo palabras en números

Los ordenadores no pueden pensar en la palabra "perro" directamente. Solo procesan números. Así que lo primero que hace un transformer es convertir cada palabra en una lista de números, lo que llamaríamos un array. Este array se llama "embedding" (incrustación), y puede tener cientos o incluso miles de números.

Pero aquí está la parte inteligente: estos no son números aleatorios, y no son solo un ID como "perro = 47". En cambio, los números están organizados de manera que capturan el significado. Piensa en cada palabra como un punto en un espacio gigante multidimensional. Las palabras con significados similares terminan juntas en ese espacio, y las palabras con significados diferentes terminan separadas.

Un ejemplo famoso: si tomas la incrustación de "rey", le restas la incrustación de "hombre" y le sumas la incrustación de "mujer", llegas muy cerca de la incrustación de "reina". Los números codifican literalmente relaciones como género, realeza, etc. El modelo no conoce estas relaciones a mano, las aprende leyendo enormes cantidades de texto y notando qué palabras aparecen en contextos similares. Las palabras que aparecen en situaciones similares obtienen incrustaciones similares.

Así que en esta etapa, una oración como "El gato se sentó" se ha convertido en tres arrays de números, cada uno una huella numérica del significado de una palabra.

2. Codificación posicional: Manteniendo el orden

Aquí hay un problema. "El perro mordió al hombre" y "El hombre mordió al perro" usan exactamente las mismas palabras, pero significan cosas completamente diferentes. El orden de las palabras importa enormemente.

Lo complicado de un transformer es que mira todas las palabras a la vez, en paralelo, en lugar de leerlas una por una como tú. Eso es genial para la velocidad, pero significa que, por sí solo, el modelo no tiene idea de qué palabra vino primero, segunda o tercera. Para él, la oración es solo una bolsa desordenada de incrustaciones de palabras.

La solución se llama "codificación posicional". Antes de procesar, el modelo añade otro array de números a la incrustación de cada palabra, una especie de "sello" numérico que indica la posición de la palabra en la oración. La palabra 1 recibe un patrón, la palabra 2 recibe un patrón ligeramente diferente, y así sucesivamente. Estos patrones están diseñados para que el modelo pueda decir no solo que dos palabras están en lugares diferentes, sino también qué tan separadas están.

Así que ahora el array de cada palabra lleva dos tipos de información combinados: lo que significa la palabra (la incrustación) y dónde se encuentra en la oración (la codificación posicional). Eso es suficiente para que el modelo distinga "el perro muerde al hombre" de "el hombre muerde al perro".

3. Autoatención: El corazón de la máquina

Esta es la gran idea, y es la razón por la que el artículo original de 2017 se tituló "Attention Is All You Need" (Solo necesitas atención).

Considera la oración: "El animal no cruzó la calle porque estaba demasiado cansado."

¿A qué se refiere "estaba"? Tú sabes instantáneamente que se refiere al animal, no a la calle. Pero, ¿cómo lo averiguaste? Miraste las otras palabras de la oración y decidiste que "animal" era la más relevante para entender "estaba". Prestaste más atención a algunas palabras que a otras.

La autoatención permite que el modelo haga exactamente eso. Cuando el modelo procesa cada palabra, hace una pregunta: "¿En qué otras palabras de esta oración debería centrarme para entender mejor esta palabra?" Luego combina la información de las palabras más relevantes.

Una analogía útil: imagina cada palabra en una reunión de grupo donde todos intentan comprender su propio papel en el proyecto.

• Cada palabra levanta un cartel que describe lo que está buscando. (En términos de transformer, esto se llama su "consulta".)
• Cada palabra también lleva una etiqueta que describe lo que ofrece. (Esta es su "clave".)
• Y cada palabra tiene información real para compartir. (Este es su "valor".)

Cuando la palabra "estaba" mira alrededor de la sala, compara su consulta ("Soy un pronombre, necesito saber a qué me refiero") con las claves de todos los demás. La palabra "animal" tiene una etiqueta que coincide muy bien, por lo que "estaba" presta mucha atención a "animal" y extrae su información. Palabras como "la" o "calle" coinciden mal, por lo que "estaba" las ignora en su mayor parte.

El "auto" en autoatención simplemente significa que cada palabra hace esto con cada otra palabra en la misma oración, todo a la vez. El resultado es que el array de cada palabra se actualiza para incluir el contexto de las palabras que más le importan. Después de este paso, el array de "estaba" efectivamente significa "estaba (refiriéndose al animal)".

Algunos detalles más potentes:

• El modelo no hace esto solo una vez. Ejecuta muchas operaciones de atención en paralelo, llamadas "atención multijefe". Una cabeza puede centrarse en relaciones gramaticales, otra en qué palabras se refieren a lo mismo, otra en el tono. Es como tener varios especialistas mirando la oración desde diferentes ángulos.
• El modelo también apila muchas capas de esto una encima de otra. Después de la primera ronda de atención, las palabras pasan por otra ronda, luego otra, construyendo una comprensión cada vez más rica en cada nivel, de la misma manera que podrías releer un pasaje difícil varias veces para comprenderlo completamente.

Uniendo todo

Así que aquí está todo el proceso en términos sencillos:

1. Cada palabra se convierte en un array de números que captura su significado (incrustación).
2. Se añade un sello posicional para que el modelo sepa el orden de las palabras (codificación posicional).
3. A través de la autoatención, cada palabra recopila contexto de las otras palabras más relevantes, repetido en múltiples cabezas y múltiples capas, hasta que el modelo tiene una comprensión profunda y consciente del contexto de la oración.

Por qué es tan potente

Para tareas como las que hace GPT, el modelo utiliza todo esto para predecir la siguiente palabra. Dada toda la información que ha leído hasta ahora, produce una probabilidad de qué palabra debería seguir, elige una, la añade a la oración y repite. Haz eso una y otra vez y obtendrás párrafos fluidos, código, poemas o respuestas a preguntas.

La razón por la que esta arquitectura funciona tan bien se debe a la autoatención. Los enfoques anteriores leían el texto estrictamente de izquierda a derecha y tendían a "olvidar" cosas que sucedieron muchas palabras atrás. La autoatención permite que cualquier palabra se conecte directamente con cualquier otra palabra, sin importar cuán separadas estén, en un solo paso. Eso significa que el modelo puede manejar relaciones a largo plazo, como un pronombre que se refiere a algo mencionado en un párrafo anterior, con facilidad. Y dado que todo esto sucede en paralelo en lugar de una palabra a la vez, los transformers pueden entrenarse con cantidades asombrosas de texto de manera eficiente.

Esa combinación, significado numérico rico, conciencia del orden y un mecanismo de atención flexible que conecta todo con todo, es lo que hace que el transformer sea el motor detrás de los modelos de lenguaje más capaces de la actualidad.

Un transformer es un tipo de máquina construida para leer y escribir secuencias, especialmente lenguaje. La gran idea es que, en lugar de leer una palabra a la vez y olvidar la mayor parte de lo que vino antes, puede mirar muchas palabras juntas y decidir cuáles son las más importantes para entender la palabra actual.

Puedes pensar en ello como un sistema de autocompletado muy avanzado. Si ve:

“El gato se sentó en la ___”

debería adivinar “alfombra”. Para hacerlo bien, necesita alguna forma de convertir las palabras en datos, recordar el orden de las palabras y notar las relaciones entre ellas. Eso es exactamente para lo que está diseñada la arquitectura del transformer.

1. Incrustaciones de palabras: convertir palabras en números significativos

Las computadoras no entienden las palabras directamente. Solo trabajan con números. Así que el primer problema es: ¿cómo convertimos una palabra como “gato” en números de una manera útil?

Un enfoque simple sería dar a cada palabra un número de identificación:

gato = 17
mat = 42
correr = 103

Pero esto no es suficiente. Con identificaciones simples, la computadora sabe que “gato” y “perro” son diferentes, pero no tiene idea de que son tipos de cosas similares.

Los transformers usan algo llamado incrustaciones (embeddings) en su lugar. Una incrustación es una lista de números para cada palabra, como una coordenada en un espacio de significado gigante.

Por ejemplo, imagina que cada palabra recibe un array como:

gato -> [0.2, -1.1, 0.7, ...]
perro -> [0.3, -1.0, 0.6, ...]
plátano -> [-0.8, 0.5, 1.4, ...]

Estos números se aprenden de enormes cantidades de texto. El modelo los ajusta gradualmente para que las palabras utilizadas en situaciones similares terminen con incrustaciones similares. Así que “gato” y “perro” podrían terminar cerca, mientras que “plátano” está más lejos.

Puedes pensar en una incrustación como un perfil comprimido de una palabra. No almacena una definición de diccionario. En cambio, almacena pistas sobre cómo se comporta esa palabra en el lenguaje:

• qué tipos de palabras aparecen cerca de ella
• si suele ser un sustantivo, verbo, etc.
• a qué temas se relaciona
• con qué otras palabras a menudo actúa de manera similar

Eso es poderoso porque el significado en el lenguaje a menudo proviene de patrones de uso. Si dos palabras aparecen en contextos similares, a menudo tienen significados relacionados.

Así que el primer paso en un transformer es:

• tomar cada palabra o token
• reemplazarlo con un vector aprendido, que es solo un array de números

Ahora la oración ya no es una lista de palabras. Es una lista de vectores numéricos ricos en significado.

2. Codificación posicional: hacer un seguimiento del orden de las palabras

Sin embargo, hay un problema. Si simplemente le das al modelo una bolsa de incrustaciones, sabe qué palabras están presentes, pero no su orden.

Y el orden importa mucho.

Compara:

• “El perro muerde al hombre”
• “El hombre muerde al perro”

Mismas palabras, significado muy diferente.

A diferencia de algunos modelos de secuencias más antiguos, un transformer mira muchas palabras a la vez, lo que es eficiente. Pero eso también significa que necesita una forma adicional de saber dónde está cada palabra en la oración.

Aquí es donde entra la codificación posicional.

La idea es simple: además de la incrustación que dice cómo es la palabra, agrega otro vector que dice dónde está la palabra.

Así que si la oración es:

“El gato durmió”

entonces “El” obtiene la posición 1, “gato” obtiene la posición 2, “durmió” obtiene la posición 3.

Cada posición tiene su propio patrón numérico, y ese patrón se suma a la incrustación de la palabra. Así que el modelo obtiene ambas cosas:

• el significado de la palabra
• la ubicación de la palabra

Puedes pensar en ello como etiquetar jugadores en un campo deportivo. Saber quién es el jugador importa, pero saber dónde está también importa. Un delantero y un portero se entienden de manera diferente según la posición. De la misma manera, el papel de una palabra depende en parte de dónde aparece.

Después de la codificación posicional, el modelo puede distinguir entre:

• “el perro persiguió al gato”
• “el gato persiguió al perro”

porque las mismas incrustaciones de palabras ahora se emparejan con posiciones diferentes.

3. Autoatención: el truco principal

Este es el corazón del transformer.

La autoatención es el mecanismo que permite que cada palabra mire a las otras palabras de la oración y decida cuáles son importantes para entenderla.

Aquí está la intuición principal:
cuando lees una oración, no tratas cada palabra anterior como igualmente importante. Para cada palabra, tu cerebro presta automáticamente más atención a ciertas otras palabras que ayudan a explicarla.

Ejemplo:

“El animal no cruzó la calle porque estaba demasiado cansado.”

¿A qué se refiere “estaba”? Probablemente a “el animal”, no a “la calle”. Para averiguarlo, conectas “estaba” con las palabras que tienen más sentido.

Un transformer hace algo similar.

Una analogía simple: chat grupal con resaltado inteligente

Imagina que una oración es un chat grupal. Cada palabra es una persona en el chat. Cuando una palabra intenta averiguar qué significa en contexto, mira los mensajes de las otras palabras y pregunta:

• ¿Quién aquí es relevante para mí?
• ¿De quién información debería preocuparme más?

Así que cada palabra crea una especie de puntuación de atención para las otras palabras. Puntuación alta significa “esta palabra es importante para entenderme ahora mismo”. Puntuación baja significa “no muy relevante”.

Luego construye una versión nueva y actualizada de sí misma mezclando información de las palabras importantes.

Por ejemplo, en:

“El banco junto al río se inundó.”

La palabra “banco” podría significar una institución financiera o la orilla de un río. La autoatención ayuda al modelo a notar “río” y “inundó”, lo que inclina el significado hacia orilla del río.

En:

“Ella depositó dinero en el banco.”

ahora “depositó” y “dinero” se vuelven importantes, inclinando “banco” hacia el significado financiero.

Es por eso que la autoatención es tan útil: el significado de una palabra no es fijo. Depende del contexto.

Cómo funciona a alto nivel

Para cada palabra, el transformer pregunta:

• ¿Qué estoy buscando?
• ¿Qué información tienen las otras palabras?
• ¿Qué palabras coinciden con lo que necesito?

Luego reúne la información útil.

No necesitas todas las matemáticas para captar la idea general, pero aproximadamente:

• cada palabra crea una “solicitud de búsqueda”
• cada palabra también ofrece una “descripción de lo que contiene”
• el modelo las compara
• las coincidencias más fuertes obtienen más atención
• la palabra se actualiza utilizando la información ponderada que recopiló

Así que en lugar de que una palabra sea representada solo por su incrustación similar a un diccionario, se convierte en una versión consciente del contexto de esa palabra.

“Banco” en una oración de dinero y “banco” en una oración de río comienzan con la misma incrustación base, pero después de la atención se vuelven diferentes porque absorbieron un contexto diferente.

¿Por qué se llama autoatención?

Porque el modelo presta atención dentro de la misma oración o secuencia. Cada palabra atiende a otras palabras en esa misma entrada.

Si la oración tiene 10 palabras, cada una de las 10 palabras puede mirar las 10 palabras, incluida ella misma. Eso permite al modelo descubrir relaciones como:

• adjetivo -> sustantivo
• pronombre -> cosa a la que se refiere
• verbo -> sujeto
• tema anterior -> detalle posterior

Esto es mucho más flexible que solo mirar palabras cercanas.

Múltiples cabezas de atención: varias perspectivas a la vez

Los transformers generalmente no usan un solo patrón de atención. Usan múltiples cabezas de atención.

Puedes pensar en esto como tener varios pares de ojos, cada uno buscando diferentes tipos de relaciones.

Una cabeza podría centrarse en:

• a qué sustantivo se refiere un pronombre
  Otra podría centrarse en:
• qué adjetivo describe a qué sustantivo
  Otra podría centrarse en:
• el tema general de la oración

Es como tener varios resaltadores de diferentes colores, cada uno marcando un tipo diferente de conexión.

Esto ayuda al modelo a construir una comprensión más rica del lenguaje.

Comprensión capa por capa

Un transformer no es solo un paso de atención. Apila muchas capas.

Cada capa toma la representación actual de la oración y la refina. Las capas tempranas pueden notar patrones simples. Las capas posteriores pueden combinarlos en ideas más abstractas.

Una analogía aproximada es la comprensión lectora:

• primera pasada: reconocer las palabras
• segunda pasada: ver las relaciones gramaticales
• pasadas posteriores: comprender el significado, el tono y las implicaciones

Con cada capa, los vectores que representan las palabras se vuelven más inteligentes y conscientes del contexto.

Por qué los transformers son tan potentes

El transformer se convirtió en un avance por varias razones importantes.

Primero, maneja muy bien el contexto.
Una palabra puede prestar atención directamente a cualquier otra palabra en la secuencia, incluso si están muy separadas. Eso ayuda con oraciones largas y relaciones complicadas.

Segundo, procesa muchas palabras en paralelo.
Los modelos anteriores a menudo tenían que leer estrictamente paso a paso. Los transformers pueden hacer mucho más trabajo a la vez, lo que hace que el entrenamiento con conjuntos de datos enormes sea práctico.

Tercero, aprende patrones sutiles de cantidades masivas de texto.
Al ver miles de millones o billones de combinaciones de palabras, aprende gramática, estilo, hechos comunes y muchos patrones de razonamiento.

Juntándolo todo

Aquí está el proceso general:

1. Dividir el texto en tokens.
   Estos suelen ser palabras o partes de palabras.

2. Convertir cada token en una incrustación.
   Ahora cada token es un vector que captura aspectos del significado.

3. Agregar codificación posicional.
   Ahora el modelo sabe dónde aparece cada token.

4. Ejecutar autoatención.
   Cada token mira a los demás y decide cuáles son los más importantes.

5. Repetir a través de muchas capas.
   Las representaciones se vuelven más conscientes del contexto y más útiles.

6. Predecir el siguiente token o producir alguna salida.
   Para un modelo como GPT, esto a menudo significa adivinar la siguiente pieza de texto más probable.

Por qué esto ayuda a la generación de texto

Supongamos que GPT está escribiendo una oración. En cada paso, mira todo el texto hasta el momento y utiliza el transformer para construir una comprensión rica de ese contexto. Luego predice qué token es probable que venga a continuación.

Debido a que utiliza incrustaciones, tiene una noción de similitud de palabras.
Debido a que utiliza codificación posicional, conoce el orden.
Debido a que utiliza autoatención, puede conectar el momento actual con las palabras anteriores más relevantes.

Esa combinación es lo que lo hace tan bueno para producir lenguaje fluido y consciente del contexto.

Una intuición final

Si quieres un modelo mental corto, piensa en un transformer como un sistema donde:

• las palabras se convierten en vectores de significado
• las posiciones le dicen al modelo dónde están las palabras
• la atención permite que cada palabra mire alrededor de la oración y pregunte: “¿Quién es importante para mí?”

Esa última parte es la magia. En lugar de tratar el lenguaje como una cadena rígida, el transformer lo trata como una red de relaciones. Cada palabra puede conectarse con las otras palabras más relevantes, y esas conexiones ayudan al modelo a comprender y generar lenguaje con un poder sorprendente.