評価方針（測り方）

測り方

1. 1

   モデルの顔ぶれ

   大手3社（Anthropic・OpenAI・Google）から、各社の主力モデルとその一つ下のモデルを1つずつ選び、計6モデルを測ります。各社の最新・最上位のモデルはランキングに入れず、個別の記事で検証します。

2. 2

   お題

   16のジャンルから1題ずつ、計16題を用意しています。全モデルが同じお題に答えます。お題は毎回選び直さず固定で使い、見直すときは版を上げて全モデルを測り直します。

3. 3

   回答

   回答は英語で書かせます。サイト上の翻訳は読むためのもので、採点には使いません。

4. 4

   採点

   3社の主力モデルが判定者です。自社のモデルの回答も含め、すべての回答を同じ3つの判定者が採点します。判定者はお題ごとの採点方針（満たすべき項目と、満たさない場合の上限）に沿って、評価基準ごとに0〜10点を付けます。回答の点数は評価基準の重み付き平均で、表示している点は3つの判定者の平均です。字数の制限は、判定者に数えさせず、サイトが数えた語数を渡します。

5. 5

   1対1の比較

   2つのモデルの比較は、お題ごとに平均点の高いほうを勝ちとします。同点なら最も重い評価基準の点、次に上回った評価基準の数で決め、それでも同じなら引き分けです。

6. 6

   討論

   同じ格のモデルどうし（主力どうし3戦、その一つ下どうし3戦）が、同じ論題で賛成と反対に分かれて討論します。最初の主張・反論・最終まとめの3回で、1回ごとの語数の範囲を決めています。同じ回の相手の発言は見られません。勝敗は3つの判定者の多数決です。

7. 7

   総合順位

   16題すべての点数の平均で決めます。1つのジャンルのお題は1題なので、ジャンルページの順番はそのお題の結果で、ジャンルの順位ではありません。

設定の変更履歴

スナップショットごとに、前回から変えた設定を残しています。点数が動いた理由を確かめるときに使ってください。

1. スナップショット 2026-W42

   • 最初のスナップショット: 6モデル（各社の主力とその一つ下）、16題、討論の論題1つ、判定者3人。

FAQ