「世界最強AI」の自己申告スコアはなぜ信用されなかったのか？

「世界最強AIが実は並み？」スコア大逆転の舞台裏

2026年9月、OpenAIが「世界で最もインテリジェントなモデル」として発表した GPT-6 Astra。ところが独立系の評価機関が出したスコアは、前の世代とほぼ変わらないという衝撃的な結果でした。「自分たちが言うほど本当にすごいのか？」という疑問が業界に飛び交うなか、AIの評価ランキングを運営する Artificial Analysis がインデックスを大幅刷新しました。この一件は「AIの強さってどうやって測るの？」という根本的な問いを、私たちの前に突きつけています。

そもそもどういうこと？

まず「インテリジェンス指数（Intelligence Index）」という言葉を聞き慣れない方も多いと思いますので、かみ砕いて説明します。

たとえば、新しいスマホが「カメラ性能が業界最高！」と宣伝されたとします。でもメーカー自身が撮った写真だけで判断するのは心許ないですよね。そこで第三者の評価サイトが「同じ条件で各社のスマホを撮り比べ」て、客観的なランキングを出す——これが独立系評価機関の役割です。

AIの世界でも同じことが起きています。Artificial Analysis は複数のAIモデルを同じ条件でテストし、「インテリジェンス指数」というスコアで順位をつけている、いわば「AIの第三者評価機関」です。

今回の問題は、GPT-6 Astraが自社発表では「99.9%」「100%」といった驚異的なスコアを叩き出す一方、Artificial Analysis の独立評価ではひとつ前のモデル（GPT-5.6 Sol）とほぼ同じスコアだった点です。「え、それどっちが本当？」となるのは当然で、その疑問への応答として Artificial Analysis がインデックスを v4.2 に刷新しました。

AIモデルをランキングする第三者評価機関のイメージ図。複数のAIロボットが同じ試験を受け、審査員が採点している様子

なぜ注目されているのか／何が起きたのか

「自己申告」と「第三者評価」の深刻な溝

OpenAI自身のテストでは、GPT-6 AstraはARC-AGI-3という難問テストで99.9%という驚異的なスコアを記録しました。しかし Artificial Analysis の旧インデックスでは前世代とほぼ同水準。この落差は「自社に都合の良い条件でテストしているのでは？」という疑念を呼びました。

たとえで言うと、英語の学習アプリが「利用者の90%が英語力アップ」と宣伝しているけれど、実際は「自社アプリのテストで自社アプリの問題を解いた」だけ——という状況に近いかもしれません。

ベンチマーク刷新で見えてきたAstraの本当の姿

v4.2 に刷新されたインデックスでは、 Claude Fable 5.1 が57点で首位、GPT-6 Astra が55点で2位という結果に。旧バージョンに比べて Astra は4点増となり、「前の世代と大差なし」という評価から少し改善されました。

注目すべきはPDF文書を読み解くテスト（GDP.pdf）で、ここでは GPT-6 Astraが33.2%でトップを獲得し、Claude Fable 5.1（26.2%）を逆転。「何でもかんでもClaude優勢」ではなく、得意不得意があることがわかります。

「問題集の答え丸暗記」を防ぐための工夫

旧来のベンチマークには「ベンチマーク汚染」という問題がありました。AIの学習データにテストの答えが含まれてしまい、「問題集を丸暗記した状態で試験を受ける」ような状態です。

v4.2 では外部に公開されていないプライベートテストデータの割合を 40%に拡大し、丸暗記では点を取れない仕組みを強化。また長らく使われてきた「GPQA-Diamond」というテストは、最近のモデルが軒並み満点近くを出してしまったため削除されました。テスト問題が簡単すぎると差がつかないのは、学校のテストと同じですね。

わたしたちにどう関係する？

「AIの評価の話でしょ、自分には関係ない」と思いましたか？実はそうでもありません。

AIツールを選ぶ判断基準が変わります。 たとえば仕事でChatGPTやClaudeなどを使っている方なら、「最新モデルに乗り換えるべきか」を判断する際に、企業の宣伝文句より第三者評価を参考にする方が賢明です。今回の件は、「公式発表のスコアをそのまま信じるのはリスクがある」ことを如実に示しています。

コストの問題も現実的です。 GPT-6 Astraのトークンあたりのコストは前世代の約2.5倍という報告があります。「高い＝優秀」とも限らないこの状況では、用途に合ったコスパの良いモデルを選ぶ目が大切になってきます。たとえば「メール文章の作成程度ならコスパ重視のモデル」「複雑な書類分析には特定のモデルが得意」という使い分けが現実的な選択になります。

気をつけたい点

「どのベンチマークで測るか」でランキングは変わる

今回の話でもっとも大切な教訓はここです。GPT-6 AstraはPDF文書の解析では首位、しかし総合スコアでは2位。AIに「絶対的な1位」は存在せず、用途によって最適なモデルは変わります。「最強AI」というキャッチコピーだけで選ばないようにしましょう。

評価環境（ハーネス）によってもスコアは変わる

専門的な話になりますが、AIのテストはその「評価環境（ハーネス）」によって結果が大きく変わることがあります。自社の最適な環境で測ると高スコアが出やすい——この構造的な問題はまだ解決されていません。

インデックス自体も「進化途中」

v4.2は「暫定リリース」と位置づけられており、次のv5に向けてまだ改善中です。今後も評価方法は変わり続けます。「今日の1位が半年後も1位とは限らない」という前提で情報を追うことが重要です。

まとめ

●GPT-6 Astraへの懐疑をきっかけに、Artificial Analysis がインデックスをv4.2に刷新。刷新後はClaude Fable 5.1が首位、GPT-6 Astraが2位という結果に。
●AI評価には「自己申告と第三者評価の乖離」「ベンチマーク汚染」「評価環境への依存」など構造的な問題が残っており、1つのスコアで優劣を断言するのは難しい。
●AIツールを使う立場では、用途・コスト・第三者評価を組み合わせてモデルを選ぶ目を養うことが実践的な対策になる。

次に知ると良いのは、各AIモデルの実際の用途別パフォーマンス比較です。「総合ランキング1位＝自分の仕事に最適」ではないことを念頭に、自分のユースケースに合った情報を探してみてください。