論文解説:AIの「なぜその答えを出したか」がついに自動解明できる時代へ(RAG,帰属グラフ)

論文紹介:AIが「自分の思考回路」を解読する時代が始まった

「このAI、なんでこんな答えを出したんだろう?」──使っていて不思議に思ったことはありませんか?

ChatGPTやClaudeに質問したとき、正しい答えが返ってくることもあれば、まるで自信満々に嘘をつくこともあります。でも、その理由を私たちは知る術がありませんでした。まるで「頭の中が見えない人」と会話しているようなものです。

そのブラックボックスをこじ開けようとする研究が、いま急速に進んでいます。そして2026年7月、スタンフォード大学の研究者たちが「AIが自分の思考回路を地図化したグラフを、別のAIに自動で読み解かせられる」という論文を発表しました。

そもそもどういうこと?

AIの「思考回路の地図」=帰属グラフ

まず「帰属グラフ」という言葉を説明します。

たとえば「マイケル・ジョーダンのチームの本拠地は?」とAIに聞いたとします。AIが「シカゴ」と答えるまでには、「マイケル・ジョーダン → バスケット選手 → シカゴ・ブルズ → シカゴ」という情報の流れがモデルの内部で起きているはずです。

帰属グラフとは、この「情報がどこを経由してきたか」を、ノード(点)とエッジ(線)で描いた”思考回路の地図”です。

ノードは「AIが内部で処理している概念のかたまり」、エッジは「ある概念が別の概念にどれだけ影響を与えたか」を表します。これを使うと、「このプロンプトに対してAIがどんな内部処理を経て答えに辿り着いたか」を因果的に追いかけることができるのです。

入力プロンプトから出力まで、ノードとエッジで情報の流れを示す帰属グラフのイメージ図

問題は「地図が巨大すぎる」こと

しかし、ここに大きな壁があります。

帰属グラフは理論上は素晴らしいツールですが、短い質問1件を分析するだけで、ノードとエッジが 600〜5,000個 に膨れあがることがあります。熟練した研究者でも、1つのプロンプトを解析するのに約2時間かかると報告されています。これでは実用化にほど遠い。

そこでスタンフォード大学のAmeenら3名の研究者が提案したのが、今回紹介する論文「LLMs Can Annotate Attribution Graphs(LLMは帰属グラフにアノテーションできる)」です。

なぜ注目されているのか/何がすごいのか

シンプルな発想:「LLMに読ませてしまえ」

これまでの研究では、巨大な帰属グラフを整理するために複雑なクラスタリングアルゴリズム(特徴量の数値的なパターンでグループ分けする手法)が使われていました。

この論文が提案したのは、もっと直感的な方法です。各特徴量(AIが内部で処理している概念のかたまり)の説明文をそのままLLMに渡して、「同じ概念のものをグループにまとめて」と頼むという、拍子抜けするほどシンプルなパイプラインです。

結果として、LLMが自動でまとめた「スーパーノード(関連する特徴量をひとつにまとめたグループ)」は、人間の専門家が手作業で作ったものと同等の品質を持つことが確認されました。

精度も実用性も高い

定量的な評価でも印象的な結果が出ています。「A国の首都→その国の公用語→その言語の主要都市」のように、2段階の推論が必要な問題(2ホップ推論タスク)で、 100件中97件で正しい中間ステップを自動で特定 することに成功しました。

さらに、Wikipediaの文章補完タスクで生成した1,000件もの帰属グラフを自動でアノテーション(分析・ラベル付け)し、興味深い事例を発見する大規模実験にも応用しています。人手では到底こなせないスケールで、AIの思考回路の解読が始まったわけです。

2ホップ推論タスクの自動・手動の精度比較

メカニスティック解釈可能性の急成長

この研究が属する「メカニスティック解釈可能性」という分野──「AIの内部をリバースエンジニアリングして、なぜその答えを出したかを解明しようとする研究」──は、2025年だけで関連論文が3.7倍に増加したとも言われるほど急成長中です。Anthropicが2025年3月に帰属グラフのオープンソースツールを公開したことも、この流れを加速させています。

わたしたちにどう関係する?

RAGの「自信満々な嘘」を防げるかもしれない

「RAG(検索拡張生成)」という技術があります。簡単に言うと、「まず外部の文書を検索して、その内容をAIの回答に組み込む」仕組みです。社内文書に基づくチャットボットや、最新情報を参照するAIアシスタントなど、ビジネス現場でも広く使われています。

ところが、このRAGには厄介な問題があります。正しい文書を検索できているのに、AIが「自分の脳内記憶(事前学習で覚えた知識)」を優先してしまい、文書と矛盾した回答を出すことがあるのです。

帰属グラフを使った研究(ICLR 2025採択の「ReDeEP」)では、「どこで外部知識が無視されたか」を因果的に追跡することに成功しています。帰属グラフの自動アノテーション技術が進むと、RAGの誤答を事後分析するだけでなく、リアルタイムで警告・修正するシステムの実現も近づきます

医療情報の参照、法律文書の解釈、企業の意思決定支援──こうした「間違えたら困る」用途にAIが使われる場面で、帰属グラフは「なぜ間違えたか」を突き止める道具になり得るのです。

気をつけたい点

「自動評価で人間並み」は額面通りに受け取れない

論文が自己申告している重要な限界があります。算術(計算)タスクへの適用実験では、LLMが生成したスーパーノードのラベルが粗すぎて、研究者がすでに知っている内部構造を捉えられなかった例が報告されています。

さらに問題なのは、そのときも自動評価スコアは高い値を示していたという点です。自動評価は「グループの内部が一貫しているか」を測るのが得意ですが、「本当に意味のある構造を発見できているか」とは別問題です。人間の専門家による定性的な検証が、まだまだ必要な段階です。

また「LLMがLLM自身の思考を読み解く」という構造には、哲学的な問いも潜んでいます。自分で自分を診断するとき、そこに客観性が担保されているかは慎重に考えたいところです。

まとめ

  • 帰属グラフはAIの「思考の因果経路」を可視化した地図で、メカニスティック解釈可能性研究の中心ツール
  • スタンフォードの新論文は、LLMを使って巨大な帰属グラフを自動で読み解くパイプラインを提案し、人手に匹敵する精度を実証した
  • RAGの誤答検出など実用的な応用への道が開けつつあるが、自動評価の限界には注意が必要

次に知ると面白いのは、スパースオートエンコーダ(SAE)の仕組みです。AIの内部を「1概念=1ユニット」に分解するこの技術が、帰属グラフの土台となっています。

 

参照リンク

LLMs Can Annotate Attribution Graphs

https://arxiv.org/abs/2608.02632