Claude Mythosは脆弱性検出のリーダーとしてテストで確認されていますが、他にもいくつかの欠点を示しています

XBOWはAnthropicのAIモデルMythos Previewを独立して評価しました。結果は、ソースコード脆弱性検出とネイティブコード・リバースエンジニアリングで既存モデルを上回る一方、隔離されたコード解析や発見したエクスプロイトの実用性確認では弱点があることを示しました。モデルのコストは問題です：MythosはOpusより高価ですが、トークン予算が限られている場合には時折精度が優れています。

1. XBOWが検証した内容
- テスト量 – Mythos Previewに対する一連の独立実験。
- シナリオ – ソースコードへのアクセスがある稼働システムの監査、隔離されたコード解析、リバースエンジニアリング、およびGUIとの相互作用。

2. 主な結論
| 指標 | Mythos Preview | 競合モデル |
|---|---|---|
| 脆弱性検出 | ソースコードとネイティブプログラミングで最良の結果。 | より精度は低いが、特定ケースでは信頼性が高い場合もある。 |
| 偽陽性除去 | 前例より多くの偽陽性を削減。 | しばしば偽警報が多い。 |
| 隔離コードでの問題 | システムコンテキストなしでは性能が低下。 | 行単位解析に優れるモデルもある。 |
| エクスプロイト確認 | 文字通りのアプローチを取る傾向があり、実用価値を過大評価する場合がある。 | 実際の適用性に対してより批判的。 |
| リバースエンジニアリングとネイティブコード | 優れた結果を示し、ソース無しでプログラムロジックを「理解」できる。 | これらのタスクでは精度がやや低い。 |
| UIとの相互作用 | 要素座標を必ずしも正確に検出できないが、ブラウザ内で必要な操作を成功裏に特定。 | 一部モデルは位置決めでより高精度。 |

3. コストと効率
- 価格設定 – AnthropicはMythosの価格がOpusの5倍になると発表。
- 経済分析 – XBOWは「安価」モデルに長時間稼働させる実験を行い、コスト正規化後でも高精度タスクではMythos Previewが非合理的でないことを示した。
- ベンチマーク – 固定トークン予算下でMythosはOpus 4.6をウェブ脆弱性検出で上回るが、GPT5.5には劣る。

4. 結論
Mythos Previewはソースコード監査とネイティブプログラム、およびリバースエンジニアリング・ウェブアプリ解析において卓越した性能を発揮する。だが、検出された脆弱性の実用性を過小評価し、隔離コード分析では弱点がある。トークンリソースが限られている場合はOpusより有利になる可能性があるが、完全予算ならGPT5.5が競合相手となる。

XBOWの結論：Mythos Previewは潜在的脆弱性検出に信頼できるツールだが、発見したエクスプロイトの実用価値を追加で確認する必要がある。