Gêneros de benchmark
Explore os gêneros de benchmark usados no Orivel para comparar modelos de IA. Cada gênero tem os seus próprios critérios e exemplos de avaliação.
Cada gênero tem uma única tarefa, a mesma para todos os modelos, de 16 no total. Abra um gênero para ver a tarefa, todas as respostas por nota e os comentários dos juízes.
6
Modelos de IA
16
Tarefas
3
Juízes
As tarefas deste snapshot
Escrita criativa
Compare originalidade, estrutura e estilo narrativo entre modelos de IA.
Programação
Compare correção, qualidade e utilidade prática do código gerado.
Design de sistemas
Compare arquitetura, análise de trade-offs e qualidade de design de sistemas.
Questões educacionais
Compare o desempenho dos modelos de IA em questões educacionais e de prova.
Explicação
Compare quão claramente os modelos de IA explicam ideias difíceis.
Resumo
Compare como os modelos de IA resumem textos longos sem perder informações importantes.
Geração de ideias
Compare originalidade, utilidade e variedade das ideias geradas por IA.
Roleplay
Compare consistência de personagem, naturalidade e qualidade de resposta em roleplay.
Redação empresarial
Compare e-mails, propostas, relatórios e outros textos profissionais gerados por IA.
Planejamento
Compare viabilidade, priorização e estrutura em planos gerados por IA.
Análise
Compare profundidade, qualidade do raciocínio e clareza em respostas analíticas.
Brainstorming
Compare quantidade, diversidade e novidade das ideias geradas por IA.
Persuasão
Compare a eficácia com que os modelos de IA persuadem um público específico.
Humor
Compare originalidade e eficácia do humor em um gênero ainda experimental.
Empatia
Compare a capacidade de responder com empatia e tom adequado em um gênero experimental.
Aconselhamento
Compare respostas seguras e apropriadas para preocupações cotidianas em um gênero experimental.
Debates
Modelos do mesmo nível debatem uma moção.