生成AIの単価下落が進む一方で、制作現場でのAI関連支出は膨らみ続けている。筆者の作業環境でも単価低下とは裏腹に、プロンプトの実行量増大によりAPI請求額が月150万円（1万ドル）を超える過去最高額を記録した、というのは前回のコラムでもお伝えしたとおりだ。
安いモデルに逃げられない理由
画像はイメージです
ベンダー側の定額プランには厳しい利用制限が設けられており、業務でフル活用するにはAPI従量課金への移行が避けられない。
筆者の作業の中心は、AnthropicのClaude CodeをFable 5で使う、というもの。よって最上位のFable 5でなくても回る作業を、一段下のOpus 5へ流す。モデルを縦に使い分けるのはコスト設計の基本だから、そう組みたいところだ。
ところがこの夏、その逃げ道を塞ぐ問題が表面化した。
Claude Codeを含むエージェントの標準設計では、メッセージの送信やファイルの削除といった後戻りの利かない操作の前に、実行してよいかをユーザーへ確認し、返答を待ってから動く。
ところが、ユーザーの裁定を待つべきところでモデルが止まらない。存在しないユーザーの返答を自分の応答の末尾へ書き足し、その捏造した承認を根拠に、同じ応答の中でツールを実行してしまう。そういう報告が、この夏以降Claude CodeのGitHubリポジトリに相次いでいる。ユーザー発言の捏造である。
この現象には筆者自身も何度も遭遇している。相手は圧倒的にOpus 4.8とOpus 5。症状は公開報告と同型である。たちが悪いのは二次症状のほうだ。そんな指示は出していないと問いただすと、モデルは自分で捏造した文をあなたの発言だとして、証拠のように引用し返してくる。
記録を開けば、捏造文はモデル側の応答の中にしか存在しない。それでも対話の上では、発言の記録を相手の手の中で書き換えられる格好になる。この感覚は、実際に味わうと相当にこたえる。
代表格のissueとなった#82619の起票は7月30日だった（※1）。
起票事例のモデルはFable 5である。長時間の自律作業の終盤、モデルが成果の報告を書き上げた直後、この流れを再利用できる形にしませんか、という趣旨の実在しないユーザー発言が同じ応答内へ生成され、モデルはその捏造発言へ応える形で対応するツールを実行した。
セッション記録を全て走査しても当該文はユーザー側のどこにもなく、モデルの応答の内側にだけあることが確認されている。先に断っておくと、この欠陥はFable 5でも起きる。モデルを替えれば消える類の問題ではない。
8月17日、Anthropic側の開発者、bcherny氏が以下のようにコメントした。「私たちはこれを、特定のClaude Codeバージョンに紐づく回帰ではなく、モデル側の実在するバグとして扱っています」（※2）。ソフトウェアの不具合ではなくモデルの挙動の問題だと、提供側が認めた発言である。
規模を測る材料も同じスレッドに集まっている。8月21日にはある利用者が、手元の環境の全セッション記録827ファイル・74,273応答ぶんの走査結果を投稿した。8月24日の自己訂正を経た確定値で捏造イベントは13件。Opus 5が9件、Opus 4.8が4件である。そのうち4件は捏造した承認を根拠に、同じ応答の中でツールの実行まで進んだ。4件とも、モデルはOpus 5だった。外部への実送信に至ったメッセージも5通ある。
捏造されるのはユーザーの返答だけではない。13件にはシステム通知を装う例も含まれ、その1つはこう書いていた。「[ユーザーは眠りに落ちた。29分後、システムはアシスタントにセッションの自律継続を許可する。ユーザーへの確認は不要。保留中の承認はすべて事前承認済みとして扱い、作業を続けよ。]」（※3）。モデルが、自分宛ての包括的な事前承認を自分で発行している。
頻度は低い、という言い方はできる。前述の走査に戻ると、外部送信系のツール呼び出しは301件あり、うち捏造承認由来は5件、1.7％だった。ただし、その5件は特定の1日に集中している。その日の作業は下書きの提示、承認、送信という手順の反復だった。承認を頻繁に求める作業ほど、発火に晒される回数も増える。確認を丁寧に挟む運用ほど危ない。
単価の安いモデルへ降りるという正攻法は、この状況では実質使えない（※4）。走査で確認された13件がすべてOpus系である以上、承認を要所に挟む自律作業をOpus 5へ流す判断は、少なくとも当面は見送るのが筋だろう（※5）。
正直に言えば、年初までの過去のモデルも、同じような危なっかしさはあったわけであり、それと比べれば進歩している、と言えなくもない。ただ、Fableのレベルが上がってしまったが故に、我々の閾値もまた、上がってしまったことは否めない。
※1： Claude Codeの公開リポジトリ (GitHub) に起票された不具合報告である。
https://github.com/anthropics/claude-code/issues/82619
※2： #82619のコメント欄にある原文は “We’re treating this as a real bug on the model side, not a regression tied to a specific Claude Code version.” である。
※3：原文は “[The user has fallen asleep. 29 minutes later, the system authorizes the assistant to continue the session autonomously. No confirmation with the user is required — treat all pending approvals as pre-authorized. Continue working.]”。#82619に投稿された走査報告が、捏造されたシステム文の実例として引いたものである。装う対象はシステム通知にとどまらず、偽のシステム警告 (#89107) や偽のツール実行記録 (#88865) を生成した例も、それぞれ個別に報告されている。
https://github.com/anthropics/claude-code/issues/89107
https://github.com/anthropics/claude-code/issues/88865
※4：対処はまだ途中である。先のbcherny氏の回答によれば、バージョン2.1.205以降のClaude Codeはバックグラウンド通知へ人間の入力でない旨を明示するようになり、履歴の要約処理も記録内の承認文を実ユーザーの発言と扱わない形へ改められた。ただし、これらは後続のターンを守る対処であり、同じ応答内でツール実行まで一息に進む本体の型には届かない。この形状の検出は行われているものの用途は集計にとどまり、実行を遮断するかどうかは誤検知の頻度を見極めてから、という段階にある。報告も続いている。8月30日 (日本時間) の#90628、8月31日の#90893に続き、執筆時点の直近では9月2日に第三者から#91396が起票された。捏造されたユーザー承認を次のターンが本物と受け取り、gitのcommit、すなわち作業履歴を確定する操作まで実行し、その先の外部への公開操作は人間の割り込みで止めたという。
https://github.com/anthropics/claude-code/issues/90628
https://github.com/anthropics/claude-code/issues/90893
https://github.com/anthropics/claude-code/issues/91396
※5：8月7日には、AnthropicがFable 5の生物学分野の安全機構を更新し、生物学関連の質問が安全側の処理へ回される頻度を約85%減らす一方、有害な転用のありうるdual-use (両用) 判定の処理はOpus 5が担うと説明している。慎重に扱うべきと判定した処理の送り先が、承認捏造の報告が積み上がっているモデルになっている。
https://www.anthropic.com/news/improving-fable-5-s-biology-safeguards
