Anthropic

Anthropic「An update on independent evaluators」公開 — METRに社員レベルアクセス付与・3階層評価フレームワーク(Tier 1〜3)を初公開、SecureBio・Accenture/Faculty・Hugging Face等との拡大を予告

元記事を読む(anthropic.com) ↗

Summary

10月15日にAnthropicが「An update on independent evaluators」を公式ニュースルームに公開。9月12日のAmodei「We Must Pace the Frontier」エッセイ+9月18日のAccenture組み込み評価パートナーシップに続く独立評価制度の進捗報告。METRの6名が社内ハードウェア・オフィススペース・内部ツール・システムへの社員同等アクセスを取得し、リスク評価の分析・インシデント・実践についてAnthropicの承認なしに公開可能(定義済みカテゴリのリダクション権限のみAnthropicが保持、METRはリダクションの正当性について公開コメント可能)。新たに3階層アクセスフレームワーク(3-tier access framework)を公開:Tier 1はAnthropicが範囲を決定する狭いリスク調査、Tier 2は評価者が承認なしに公開可能でより広いアクセス、Tier 3がMETRモデルの社員レベルアクセス+公開権。SecureBioが8月リスクレポートの化学・生物兵器セクションレビューを実施中(パイロットレビュー公開済み・アクセス拡大検討中)、Accenture/Facultyはモデル評価・レッドチーム・アライメント評価・セーフガードテストの包括パートナーシップ構築中、Hugging Face等と初期協議中。銀行監督の「常駐審査官」モデルとの類似性を自ら指摘し、将来的に複数組織をTier 3に拡大する意向を表明。評価者に求める4要件:専門性(アライメント偽装の評価失敗を含む能力評価)・独立性(株式保有なし・財務的非依存)・アクセス(最新モデル・訓練・セーフガードの可視性)・公開の自由。

Key Takeaways

  • ▸ METR 6名に社内ハードウェア・オフィス・内部ツールの社員同等アクセスを付与
  • ▸ METRはリスクレベル・インシデント・実践の分析をAnthropicの承認なしに公開可能
  • ▸ Anthropicのリダクション権限は定義済みカテゴリに限定、METRはリダクションの正当性を公開コメント可能
  • ▸ 3階層フレームワーク:Tier 1(Anthropic主導・狭い範囲)→Tier 2(評価者主導公開・広いアクセス)→Tier 3(社員レベル・METR相当)
  • ▸ SecureBio・Accenture/Faculty・Hugging Face等との拡大を予告
  • ▸ 顧客データ・弁護士依頼者特権情報・モデルアーキテクチャ情報は共有除外(アーキテクチャはリスク評価に高関連の場合は内部承認の上共有可能)
  • ▸ 全フロンティアAI企業に同様の独立評価導入を呼びかけ

Best Practice Updates

  • ✓ 3階層評価フレームワークの公開で「独立第三者の常駐評価」がフロンティアAI安全性ガバナンスの制度的標準に昇格
  • ✓ 「銀行監督型常駐審査官モデル」がAI安全性評価の公式アナロジーとしてAnthropicから提示

Same Day Signals

すべて見る →

元記事の著作権は各著作者に帰属します。