Explique um Modelo Transformer para um Adolescente

Como Funciona um Transformer (Para Alguém Que Sabe um Pouco de Código)

Imagine que lhe entregaram uma frase e pediram para a entender verdadeiramente: não apenas para reconhecer as letras, mas para apreender o que cada palavra significa, como as palavras se relacionam entre si e o que logicamente deveria vir a seguir. Esse é o trabalho que um transformer faz, e ele faz isso usando apenas números e aritmética. Vamos construir a imagem peça por peça.

1. Embeddings de Palavras: Transformando Palavras em Números

Os computadores não conseguem pensar diretamente na palavra "cão". Eles apenas processam números. Portanto, a primeira coisa que um transformer faz é converter cada palavra numa lista de números, o que chamaríamos de array. Este array é chamado de "embedding", e pode ter centenas ou até milhares de números.

Mas aqui está a parte inteligente: estes não são números aleatórios, e não são apenas um ID como "cão = 47". Em vez disso, os números são organizados de forma a capturar o significado. Pense em cada palavra como um ponto num espaço multidimensional gigante. Palavras com significados semelhantes acabam juntas nesse espaço, e palavras com significados diferentes acabam distantes.

Um exemplo famoso: se você pegar o embedding de "rei", subtrair o embedding de "homem" e adicionar o embedding de "mulher", você chega muito perto do embedding de "rainha". Os números codificam literalmente relações como género, realeza, etc. O modelo não é informado destas relações manualmente, ele aprende-as lendo enormes quantidades de texto e notando quais palavras aparecem em contextos semelhantes. Palavras que aparecem em situações semelhantes obtêm embeddings semelhantes.

Assim, nesta fase, uma frase como "O gato sentou-se" tornou-se três arrays de números, cada um deles uma impressão digital numérica do significado de uma palavra.

2. Codificação Posicional: Mantendo o Rasto da Ordem

Aqui está um problema. "O cão mordeu o homem" e "O homem mordeu o cão" usam exatamente as mesmas palavras, mas significam coisas completamente diferentes. A ordem das palavras importa enormemente.

A coisa complicada sobre um transformer é que ele olha para todas as palavras de uma vez, em paralelo, em vez de as ler uma a uma como você faz. Isso é ótimo para a velocidade, mas significa que, por si só, o modelo não tem ideia de qual palavra veio primeiro, segundo ou terceiro. Para ele, a frase é apenas um saco desordenado de embeddings de palavras.

A solução chama-se "codificação posicional". Antes do processamento, o modelo adiciona outro array de números ao embedding de cada palavra, uma espécie de "selo" numérico que sinaliza a posição da palavra na frase. A palavra 1 recebe um padrão, a palavra 2 recebe um padrão ligeiramente diferente, e assim por diante. Estes padrões são projetados para que o modelo possa dizer não apenas que duas palavras estão em posições diferentes, mas também quão distantes elas estão.

Assim, agora o array de cada palavra carrega dois tipos de informação misturados: o que a palavra significa (o embedding) e onde ela se situa na frase (a codificação posicional). Isso é suficiente para o modelo distinguir "cão morde homem" de "homem morde cão".

3. Auto-Atenção: O Coração da Máquina

Esta é a grande ideia, e é a razão pela qual o artigo original de 2017 se chamava "Attention Is All You Need" (Atenção é Tudo o Que Você Precisa).

Considere a frase: "O animal não atravessou a rua porque estava muito cansado."

O que "estava" se refere? Você sabe instantaneamente que se refere ao animal, não à rua. Mas como você descobriu isso? Você olhou para as outras palavras na frase e decidiu que "animal" era a mais relevante para entender "estava". Você prestou mais atenção a algumas palavras do que a outras.

A auto-atenção permite que o modelo faça exatamente isso. Quando o modelo processa cada palavra, ele faz uma pergunta: "Em quais outras palavras desta frase devo focar para entender melhor esta palavra?" Em seguida, ele mistura informações das palavras mais relevantes.

Uma analogia útil: imagine cada palavra numa reunião de grupo onde todos estão a tentar entender o seu próprio papel no projeto.

• Cada palavra levanta um sinal descrevendo o que está a procurar. (Em termos de transformer, isso é chamado de sua "query" ou consulta.)
• Cada palavra também usa um rótulo descrevendo o que oferece. (Esta é a sua "key" ou chave.)
• E cada palavra tem informação real para partilhar. (Este é o seu "value" ou valor.)

Quando a palavra "estava" olha em volta da sala, ela compara a sua consulta ("Sou um pronome, preciso de saber a que me refiro") com as chaves de todos os outros. A palavra "animal" tem um rótulo que corresponde muito bem, então "estava" presta muita atenção a "animal" e puxa a sua informação. Palavras como "o" ou "rua" correspondem mal, então "estava" ignora-as na maior parte.

O "auto" em auto-atenção significa apenas que cada palavra faz isso com todas as outras palavras na mesma frase, tudo ao mesmo tempo. O resultado é que o array de cada palavra é atualizado para incluir o contexto das palavras que mais importam para ela. Após esta etapa, o array de "estava" efetivamente significa "estava (referindo-se ao animal)".

Alguns detalhes mais poderosos:

• O modelo não faz isso apenas uma vez. Ele executa várias operações de atenção em paralelo, chamadas "multi-head attention" (atenção multi-cabeça). Uma cabeça pode focar-se em relações gramaticais, outra em quais palavras se referem à mesma coisa, outra no tom. É como ter vários especialistas a olhar para a frase de um ângulo diferente.
• O modelo também empilha muitas camadas umas sobre as outras. Após a primeira ronda de atenção, as palavras passam por outra ronda, depois outra, construindo uma compreensão cada vez mais rica em cada nível, da mesma forma que você pode reler uma passagem difícil várias vezes para a compreender totalmente.

Juntando Tudo

Então, aqui está todo o pipeline em termos simples:

1. Cada palavra torna-se um array de números que captura o seu significado (embedding).
2. Um selo posicional é adicionado para que o modelo saiba a ordem das palavras (codificação posicional).
3. Através da auto-atenção, cada palavra recolhe contexto das outras palavras mais relevantes, repetido em várias cabeças e várias camadas, até que o modelo tenha uma compreensão profunda e consciente do contexto da frase.

Por Que É Tão Poderoso

Para tarefas como as que o GPT faz, o modelo usa tudo isso para prever a próxima palavra. Dada tudo o que leu até agora, ele produz uma probabilidade para a palavra que deve vir a seguir, escolhe uma, adiciona-a à frase e repete. Faça isso repetidamente e você obtém parágrafos fluentes, código, poemas ou respostas a perguntas.

A razão pela qual esta arquitetura funciona tão bem deve-se à auto-atenção. Abordagens mais antigas liam o texto estritamente da esquerda para a direita e tendiam a "esquecer" coisas que aconteceram muitas palavras atrás. A auto-atenção permite que qualquer palavra se conecte diretamente a qualquer outra palavra, não importa quão distantes estejam, num único passo. Isso significa que o modelo pode lidar com relações de longo alcance, como um pronome a referir-se a algo mencionado num parágrafo anterior, com facilidade. E como tudo isso acontece em paralelo em vez de uma palavra de cada vez, os transformers podem ser treinados em quantidades estonteantes de texto de forma eficiente.

Essa combinação, significado numérico rico, consciência da ordem e um mecanismo de atenção flexível que conecta tudo a tudo, é o que torna o transformer o motor por trás dos modelos de linguagem mais capazes de hoje.

Um transformer é um tipo de máquina construída para ler e escrever sequências, especialmente linguagem. A grande ideia é que, em vez de ler uma palavra de cada vez e esquecer a maior parte do que veio antes, ele pode olhar para muitas palavras juntas e decidir quais delas são mais importantes para entender a palavra atual.

Você pode pensar nisso como um sistema de autocompletar muito avançado. Se ele vê:

“O gato sentou no ___”

deveria adivinhar “tapete”. Para fazer isso bem, ele precisa de alguma forma de transformar palavras em dados, lembrar a ordem das palavras e notar as relações entre elas. É exatamente para isso que a arquitetura transformer foi projetada.

1. Embeddings de palavras: transformando palavras em números significativos

Os computadores não entendem palavras diretamente. Eles só trabalham com números. Então, o primeiro problema é: como transformamos uma palavra como “gato” em números de uma forma útil?

Uma abordagem simples seria dar a cada palavra um número de ID:

gato = 17
mat = 42
correr = 103

Mas isso não é suficiente. Com IDs simples, o computador sabe que “gato” e “cachorro” são diferentes, mas não tem ideia de que são coisas semelhantes.

Os transformers usam algo chamado embeddings em vez disso. Um embedding é uma lista de números para cada palavra, como uma coordenada em um espaço de significado gigante.

Por exemplo, imagine que cada palavra recebe um array como:

gato -> [0.2, -1.1, 0.7, ...]
cachorro -> [0.3, -1.0, 0.6, ...]
banana -> [-0.8, 0.5, 1.4, ...]

Esses números são aprendidos a partir de enormes quantidades de texto. O modelo os ajusta gradualmente para que palavras usadas em situações semelhantes acabem com embeddings semelhantes. Assim, “gato” e “cachorro” podem acabar próximos, enquanto “banana” fica mais distante.

Você pode pensar em um embedding como um perfil comprimido de uma palavra. Ele não armazena uma definição de dicionário. Em vez disso, ele armazena pistas sobre como essa palavra se comporta na linguagem:

• que tipos de palavras aparecem perto dela
• se é geralmente um substantivo, verbo, etc.
• a quais tópicos ela se relaciona
• com quais outras palavras ela frequentemente age de forma semelhante

Isso é poderoso porque o significado na linguagem muitas vezes vem de padrões de uso. Se duas palavras aparecem em contextos semelhantes, elas frequentemente têm significados relacionados.

Então, o primeiro passo em um transformer é:

• pegar cada palavra ou token
• substituí-lo por um vetor aprendido, que é apenas um array de números

Agora a frase não é mais uma lista de palavras. É uma lista de vetores numéricos ricos em significado.

2. Codificação posicional: mantendo o controle da ordem das palavras

Há um problema, no entanto. Se você apenas entregar ao modelo uma sacola de embeddings, ele saberá quais palavras estão presentes, mas não a ordem delas.

E a ordem importa muito.

Compare:

• “Cachorro morde homem”
• “Homem morde cachorro”

Mesmas palavras, significado muito diferente.

Ao contrário de alguns modelos de sequência mais antigos, um transformer olha para muitas palavras de uma vez, o que é eficiente. Mas isso também significa que ele precisa de uma maneira extra de saber onde cada palavra está na frase.

É aqui que entra a codificação posicional.

A ideia é simples: além do embedding que diz como a palavra é, adicione outro vetor que diz onde a palavra está.

Então, se a frase é:

“O gato dormiu”

então “O” recebe a posição 1, “gato” recebe a posição 2, “dormiu” recebe a posição 3.

Cada posição tem seu próprio padrão numérico, e esse padrão é adicionado ao embedding da palavra. Assim, o modelo obtém ambos:

• o significado da palavra
• a localização da palavra

Você pode pensar nisso como rotular jogadores em um campo de esportes. Saber quem é o jogador importa, mas saber onde ele está também importa. Um atacante e um goleiro são entendidos de forma diferente dependendo da posição. Da mesma forma, o papel de uma palavra depende em parte de onde ela aparece.

Após a codificação posicional, o modelo pode diferenciar entre:

• “o cachorro perseguiu o gato”
• “o gato perseguiu o cachorro”

porque os mesmos embeddings de palavras agora são emparelhados com posições diferentes.

3. Autoatenção: o truque principal

Este é o coração do transformer.

A autoatenção é o mecanismo que permite que cada palavra olhe para as outras palavras na frase e decida quais delas são importantes para entendê-la.

Aqui está a intuição principal:
quando você lê uma frase, você não trata cada palavra anterior como igualmente importante. Para cada palavra, seu cérebro presta automaticamente mais atenção a certas outras palavras que ajudam a explicá-la.

Exemplo:

“O animal não atravessou a rua porque estava muito cansado.”

A que “estava” se refere? Provavelmente “o animal”, não “a rua”. Para descobrir isso, você conecta “estava” às palavras que fazem mais sentido.

Um transformer faz algo semelhante.

Uma analogia simples: bate-papo em grupo com destaque inteligente

Imagine que uma frase é um bate-papo em grupo. Cada palavra é uma pessoa no bate-papo. Quando uma palavra tenta descobrir o que significa no contexto, ela olha para as mensagens das outras palavras e pergunta:

• Quem aqui é relevante para mim?
• Da informação de quem eu deveria me importar mais?

Assim, cada palavra cria uma espécie de pontuação de atenção para as outras palavras. Pontuação alta significa “esta palavra é importante para me entender agora”. Pontuação baixa significa “não muito relevante”.

Em seguida, ela constrói uma nova versão atualizada de si mesma misturando informações das palavras importantes.

Por exemplo, em:

“O banco perto do rio foi inundado.”

A palavra “banco” pode significar uma instituição financeira ou a margem de um rio. A autoatenção ajuda o modelo a notar “rio” e “inundado”, que direcionam o significado para margem de rio.

Em:

“Ela depositou dinheiro no banco.”

agora “depositou” e “dinheiro” se tornam importantes, direcionando “banco” para o significado financeiro.

É por isso que a autoatenção é tão útil: o significado de uma palavra não é fixo. Depende do contexto.

Como funciona em um nível alto

Para cada palavra, o transformer pergunta:

• O que estou procurando?
• Que informação as outras palavras têm?
• Quais palavras correspondem ao que preciso?

Em seguida, ele reúne as informações úteis.

Você não precisa de toda a matemática para ter a ideia geral, mas aproximadamente:

• cada palavra cria uma “solicitação de pesquisa”
• cada palavra também oferece uma “descrição do que contém”
• o modelo compara-os
• correspondências mais fortes recebem mais atenção
• a palavra então se atualiza usando as informações ponderadas que coletou

Assim, em vez de uma palavra ser representada apenas por seu embedding semelhante a um dicionário, ela se torna uma versão ciente do contexto dessa palavra.

“banco” em uma frase de dinheiro e “banco” em uma frase de rio começam com o mesmo embedding base, mas após a atenção eles se tornam diferentes porque absorveram contextos diferentes.

Por que é chamada de autoatenção?

Porque o modelo está prestando atenção dentro da mesma frase ou sequência. Cada palavra presta atenção a outras palavras na mesma entrada.

Se a frase tem 10 palavras, cada uma das 10 palavras pode olhar para todas as 10 palavras, incluindo ela mesma. Isso permite que o modelo descubra relações como:

• adjetivo -> substantivo
• pronome -> coisa a que se refere
• verbo -> sujeito
• tópico anterior -> detalhe posterior

Isso é muito mais flexível do que apenas olhar para palavras próximas.

Múltiplas cabeças de atenção: várias perspectivas ao mesmo tempo

Os transformers geralmente não usam apenas um padrão de atenção. Eles usam várias cabeças de atenção.

Você pode pensar nisso como ter vários conjuntos de olhos, cada um procurando diferentes tipos de relações.

Uma cabeça pode se concentrar em:

• a qual substantivo um pronome se refere

Outra pode se concentrar em:

• qual adjetivo descreve qual substantivo

Outra pode se concentrar em:

• o tópico geral da frase

É como ter vários marcadores em cores diferentes, cada um marcando um tipo diferente de conexão.

Isso ajuda o modelo a construir uma compreensão mais rica da linguagem.

Compreensão camada por camada

Um transformer não é apenas um passo de atenção. Ele empilha muitas camadas.

Cada camada pega a representação atual da frase e a refina. As primeiras camadas podem notar padrões simples. As camadas posteriores podem combiná-los em ideias mais abstratas.

Uma analogia aproximada é a compreensão de leitura:

• primeira passagem: reconhecer as palavras
• segunda passagem: ver relações gramaticais
• passagens posteriores: entender o significado, o tom e as implicações

Com cada camada, os vetores que representam as palavras se tornam mais inteligentes e mais cientes do contexto.

Por que os transformers são tão poderosos

O transformer se tornou um avanço por algumas grandes razões.

Primeiro, ele lida muito bem com o contexto.
Uma palavra pode prestar atenção diretamente a qualquer outra palavra na sequência, mesmo que estejam distantes. Isso ajuda com frases longas e relações complicadas.

Segundo, ele processa muitas palavras em paralelo.
Modelos mais antigos frequentemente tinham que ler estritamente um passo de cada vez. Os transformers podem fazer muito mais trabalho de uma vez, o que torna o treinamento em enormes conjuntos de dados prático.

Terceiro, ele aprende padrões sutis de enormes quantidades de texto.
Ao ver bilhões ou trilhões de combinações de palavras, ele aprende gramática, estilo, fatos comuns e muitos padrões de raciocínio.

Juntando tudo

Aqui está o pipeline geral:

1. Dividir o texto em tokens.
   Estes são geralmente palavras ou partes de palavras.

2. Transformar cada token em um embedding.
   Agora cada token é um vetor que captura aspectos do significado.

3. Adicionar codificação posicional.
   Agora o modelo sabe onde cada token aparece.

4. Executar autoatenção.
   Cada token olha para os outros e decide quais são mais importantes.

5. Repetir através de muitas camadas.
   As representações se tornam mais cientes do contexto e mais úteis.

6. Prever o próximo token ou produzir alguma saída.
   Para um modelo como o GPT, isso geralmente significa adivinhar o próximo pedaço de texto mais provável.

Por que isso ajuda na geração de texto

Suponha que o GPT esteja escrevendo uma frase. A cada passo, ele olha para todo o texto até agora e usa o transformer para construir uma compreensão rica desse contexto. Em seguida, ele prevê qual token é provável que venha a seguir.

Porque usa embeddings, ele tem um senso de similaridade de palavras.
Porque usa codificação posicional, ele sabe a ordem.
Porque usa autoatenção, ele pode conectar o momento atual às palavras anteriores mais relevantes.

Essa combinação é o que o torna tão bom em produzir linguagem fluida e ciente do contexto.

Uma intuição final

Se você quiser um modelo mental curto, pense em um transformer como um sistema onde:

• palavras se tornam vetores de significado
• posições dizem ao modelo onde as palavras estão
• a atenção permite que cada palavra olhe ao redor da frase e pergunte: “Quem é importante para mim?”

Essa última parte é a mágica. Em vez de tratar a linguagem como uma corrente rígida, o transformer a trata como uma teia de relações. Cada palavra pode se conectar às outras palavras mais relevantes, e essas conexões ajudam o modelo a entender e gerar linguagem com um poder surpreendente.