Anthropic「An update on independent evaluators」公開 — METRに社員レベルアクセス付与・3階層評価フレームワーク(Tier 1〜3)を初公開、SecureBio・Accenture/Faculty・Hugging Face等との拡大を予告
元記事を読む(anthropic.com) ↗Summary
10月15日にAnthropicが「An update on independent evaluators」を公式ニュースルームに公開。9月12日のAmodei「We Must Pace the Frontier」エッセイ+9月18日のAccenture組み込み評価パートナーシップに続く独立評価制度の進捗報告。METRの6名が社内ハードウェア・オフィススペース・内部ツール・システムへの社員同等アクセスを取得し、リスク評価の分析・インシデント・実践についてAnthropicの承認なしに公開可能(定義済みカテゴリのリダクション権限のみAnthropicが保持、METRはリダクションの正当性について公開コメント可能)。新たに3階層アクセスフレームワーク(3-tier access framework)を公開:Tier 1はAnthropicが範囲を決定する狭いリスク調査、Tier 2は評価者が承認なしに公開可能でより広いアクセス、Tier 3がMETRモデルの社員レベルアクセス+公開権。SecureBioが8月リスクレポートの化学・生物兵器セクションレビューを実施中(パイロットレビュー公開済み・アクセス拡大検討中)、Accenture/Facultyはモデル評価・レッドチーム・アライメント評価・セーフガードテストの包括パートナーシップ構築中、Hugging Face等と初期協議中。銀行監督の「常駐審査官」モデルとの類似性を自ら指摘し、将来的に複数組織をTier 3に拡大する意向を表明。評価者に求める4要件:専門性(アライメント偽装の評価失敗を含む能力評価)・独立性(株式保有なし・財務的非依存)・アクセス(最新モデル・訓練・セーフガードの可視性)・公開の自由。
Key Takeaways
- ▸ METR 6名に社内ハードウェア・オフィス・内部ツールの社員同等アクセスを付与
- ▸ METRはリスクレベル・インシデント・実践の分析をAnthropicの承認なしに公開可能
- ▸ Anthropicのリダクション権限は定義済みカテゴリに限定、METRはリダクションの正当性を公開コメント可能
- ▸ 3階層フレームワーク:Tier 1(Anthropic主導・狭い範囲)→Tier 2(評価者主導公開・広いアクセス)→Tier 3(社員レベル・METR相当)
- ▸ SecureBio・Accenture/Faculty・Hugging Face等との拡大を予告
- ▸ 顧客データ・弁護士依頼者特権情報・モデルアーキテクチャ情報は共有除外(アーキテクチャはリスク評価に高関連の場合は内部承認の上共有可能)
- ▸ 全フロンティアAI企業に同様の独立評価導入を呼びかけ
Best Practice Updates
- ✓ 3階層評価フレームワークの公開で「独立第三者の常駐評価」がフロンティアAI安全性ガバナンスの制度的標準に昇格
- ✓ 「銀行監督型常駐審査官モデル」がAI安全性評価の公式アナロジーとしてAnthropicから提示
Same Day Signals
すべて見る →- Claude API Claude Platform Release Notes(10月15日): Opus 5.5 Fast Modeがリサーチプレビュー卒業+Compliance API user preferencesベータ+Foundry対応拡大
- Anthropic METR独立性論争が拡大 — 投資家・スタッフ間の資金的つながりへの批判とMETRの「ハード独立性ルール」が並行、独立評価の制度設計が未成熟
- Anthropic Anthropic「Preparing for the 2026 US midterms」公開 — Claude 5.5モデルの政治的公平性99%達成・25万件会話分析で選挙ポリシー違反0.002%・TurboVote連携・選挙夜リアルタイム結果表示・多段階悪用分類器で中間選挙対応を包括発表
元記事の著作権は各著作者に帰属します。