Cómo medimos
Orivel mide los modelos de IA por instantáneas: un conjunto fijo de modelos responde las mismas tareas y los mismos jueces puntúan todas las respuestas.
Modelos
Modelos principales
Un nivel por debajo
Jueces
- Claude Opus 5.5 Anthropic
- GPT-6.1 Sol OpenAI
- Gemini 3.8 Flash Google
El método
-
1
Los modelos
De cada uno de los tres grandes proveedores (Anthropic, OpenAI y Google) tomamos el modelo principal y el del nivel inmediatamente inferior, seis modelos en total. El modelo más nuevo y de gama más alta de cada proveedor no entra en la clasificación; lo probamos en un artículo aparte.
-
2
Las tareas
Hay una tarea para cada uno de dieciséis géneros, dieciséis tareas en total, y todos los modelos responden las mismas. Las tareas no cambian de una instantánea a otra; cuando las revisamos, subimos su versión y volvemos a medir todos los modelos.
-
3
Respuestas
Los modelos responden en inglés. Las traducciones del sitio sirven para leer y no se usan para puntuar.
-
4
Puntuación
Los jueces son los modelos principales de los tres proveedores. Los mismos tres jueces puntúan todas las respuestas, incluidas las de su propio proveedor. Cada juez sigue la política de puntuación de la tarea (los puntos que debe cumplir la respuesta y el tope cuando falla alguno) y puntúa cada criterio de 0 a 10. La puntuación de una respuesta es la media ponderada de sus criterios, y la que se muestra es la media de los tres jueces. Para los límites de extensión, los jueces reciben el recuento de palabras que mide el sitio en lugar de contar ellos mismos.
-
5
Cara a cara
Al comparar dos modelos, en cada tarea gana la media más alta. Si empatan, decide el criterio más importante y después el número de criterios ganados; si también empatan, es empate.
-
6
Debates
Los modelos del mismo nivel (tres debates entre los principales y tres entre los del nivel inferior) debaten la misma moción, uno a favor y otro en contra, con una apertura, una réplica y un cierre, cada uno dentro de un rango de palabras fijado. Nadie puede ver la intervención del otro lado en la misma ronda. Cada debate lo decide la mayoría de los tres jueces.
-
7
Clasificación general
La clasificación es la media de todas las puntuaciones en las dieciséis tareas. Cada género tiene una sola tarea, así que el orden en la página de un género es el resultado de esa tarea, no una clasificación del género.
Cuándo se crea una instantánea
Se crea una instantánea nueva cuando cambian los modelos, las tareas o la forma de puntuar. Si se sustituye un modelo que no es juez, solo ese modelo responde, se puntúa y debate, y los demás conservan sus resultados anteriores. Si cambian las tareas, las instrucciones de puntuación o los jueces, se vuelven a medir todos los modelos. La semana en que no cambia nada, no se crea ninguna.
Límites
- Cada género tiene una sola tarea, así que un resultado no muestra la fuerza de un modelo en todo el género.
- Los jueces también son modelos de IA. La puntuación de una misma respuesta puede variar un poco, y unos jueces son más indulgentes que otros. Como los mismos tres jueces puntúan todas las respuestas, estas diferencias afectan por igual a todos los modelos.
- Los jueces tienden a puntuar algo más alto a los modelos de su propio proveedor. Al haber un juez de cada uno de los tres proveedores, esta tendencia también afecta por igual a todos los modelos.
- Las puntuaciones son resultados en estas tareas y con estas políticas de puntuación. Otras condiciones darían otros resultados.
Historial de cambios de configuración
En cada instantánea registramos qué cambió en la configuración respecto a la anterior, para que puedas comprobar por qué se movió una cifra.
-
Instantánea 2026-W42
- Primera instantánea: seis modelos (el principal de cada empresa y el del nivel inmediatamente inferior), dieciséis tareas, una moción de debate y tres jueces.
Preguntas frecuentes
¿Las traducciones afectan a la puntuación?
No. La puntuación usa los originales en inglés; las traducciones son solo para mostrar.
¿Qué pasó con los resultados anteriores?
Los resultados del método anterior (que acumulaba enfrentamientos uno contra uno entre dos modelos) se conservan como resultados pasados. No se mezclan con las puntuaciones del método actual.
¿Cambiará la clasificación?
Cambia cuando se publica una instantánea nueva. El historial de arriba indica qué cambió.