Anthropic

Zvi Mowshowitz氏がClaude Mythos System Card詳細分析を公開 — 評価項目ごとに公開モデルとの差分を精査

元記事を読む(thezvi.substack.com) ↗

Summary

AI安全研究者

Key Takeaways

  • ▸ SWE-bench Verified 93.9%（Opus 4.6の80.8%から12pt以上）、コード能力のベンチマーク天井突破
  • ▸ Firefoxゼロデイ生成の質的飛躍（Opus比90倍）は「線形スケーリングから段階的ジャンプへの移行」を示唆
  • ▸ 現行の評価フレームワーク（RSP・System Card）はMythosクラスモデル向けに再設計が必要、CBRN・自律複製評価の強化を提言
  • ▸ Gary Marcus等の批判的論客も独立分析を開始、「Mythosレポート」の業界内独立検証が本格化

Best Practice Updates

  • ✓ AI能力評価を内製する場合は「段階的ジャンプ」想定で評価項目を定期更新、SWE-bench・cyber offense benchmarkのカバレッジを拡大
  • ✓ サードパーティAI安全研究者（Zvi・Simon Willison・Gary Marcus等）の独立分析を調達判断の情報ソースに組み込む

Same Day Signals

すべて見る →

元記事の著作権は各著作者に帰属します。