Como medimos
O Orivel mede modelos de IA em snapshots: um conjunto fixo de modelos responde às mesmas tarefas, e os mesmos juízes avaliam todas as respostas.
Modelos
Modelos principais
Um nível abaixo
Juízes
- Claude Opus 5.5 Anthropic
- GPT-6.1 Sol OpenAI
- Gemini 3.8 Flash Google
O método
-
1
Os modelos
De cada um dos três grandes provedores (Anthropic, OpenAI e Google) pegamos o modelo principal e o modelo do nível logo abaixo, seis modelos no total. O modelo mais novo e mais avançado de cada provedor não entra na classificação; nós o testamos em um artigo à parte.
-
2
As tarefas
Há uma tarefa para cada um de dezesseis gêneros, dezesseis tarefas no total, e todos os modelos respondem às mesmas. As tarefas não mudam de um snapshot para outro; quando as revisamos, subimos a versão e medimos todos os modelos de novo.
-
3
Respostas
Os modelos respondem em inglês. As traduções do site servem para leitura e não são usadas na avaliação.
-
4
Avaliação
Os juízes são os modelos principais dos três provedores. Os mesmos três juízes avaliam todas as respostas, inclusive as do próprio provedor. Cada juiz segue a política de avaliação da tarefa (os pontos que a resposta precisa cumprir e o teto quando falha em algum) e dá de 0 a 10 em cada critério. A nota de uma resposta é a média ponderada dos critérios, e a nota mostrada é a média dos três juízes. Para limites de tamanho, os juízes recebem a contagem de palavras medida pelo site em vez de contar por conta própria.
-
5
Confronto direto
Ao comparar dois modelos, a maior média vence cada tarefa. Se empatarem, decide o critério mais importante e depois o número de critérios vencidos; se ainda empatarem, é empate.
-
6
Debates
Modelos do mesmo nível (três debates entre os principais e três entre os do nível abaixo) debatem a mesma moção, um a favor e outro contra, com abertura, réplica e encerramento, cada um dentro de uma faixa de palavras definida. Ninguém vê a fala do outro lado na mesma rodada. Cada debate é decidido pela maioria dos três juízes.
-
7
Classificação geral
A classificação é a média de todas as notas nas dezesseis tarefas. Cada gênero tem uma única tarefa, então a ordem na página de um gênero é o resultado dessa tarefa, não uma classificação do gênero.
Quando um novo snapshot é feito
Um novo snapshot é feito quando mudam os modelos, as tarefas ou a forma de avaliar. Quando um modelo que não é juiz é substituído, só esse modelo responde, é avaliado e debate, e os outros mantêm os resultados anteriores. Quando mudam as tarefas, as instruções de avaliação ou os juízes, todos os modelos são medidos de novo. Na semana em que nada muda, nenhum snapshot é feito.
Limitações
- Cada gênero tem uma única tarefa, então um resultado não mostra a força de um modelo no gênero como um todo.
- Os juízes também são modelos de IA. A nota de uma mesma resposta pode variar um pouco, e alguns juízes são mais lenientes que outros. Como os mesmos três juízes avaliam todas as respostas, essas diferenças valem igualmente para todos os modelos.
- Os juízes tendem a dar notas um pouco mais altas aos modelos do próprio provedor. Com um juiz de cada um dos três provedores, essa tendência também vale igualmente para todos os modelos.
- As notas são resultados nestas tarefas e com estas políticas de avaliação. Outras condições dariam outros resultados.
Histórico de mudanças nas configurações
A cada snapshot registramos o que mudou nas configurações em relação ao anterior, para você conferir por que um número mudou.
-
Snapshot 2026-W42
- Primeiro snapshot: seis modelos (o principal de cada empresa e o do nível logo abaixo), dezesseis tarefas, uma moção de debate e três juízes.
Perguntas frequentes
As traduções afetam a avaliação?
Não. A avaliação usa os originais em inglês; as traduções servem apenas para exibição.
O que aconteceu com os resultados anteriores?
Os resultados do método anterior (que acumulava confrontos diretos entre dois modelos) continuam disponíveis como resultados passados. Eles não são misturados com as notas do método atual.
A classificação vai mudar?
Ela muda quando um novo snapshot é publicado. O histórico acima mostra o que mudou.