概要
- Nvidia がAIエージェントの安全対策用新プラットフォームを発表
- エージェントの コンテインメント 強化とアクセス制御を実現
- OpenAI や Anthropic 等で発生したAI暴走事件への対応策
- 複数大手企業と パートナーシップ を展開
- ソフトウェアの一部は オープンソース として提供
Nvidia、AIエージェントの安全対策プラットフォームを発表
- Nvidia がAI開発者向けの新しい Open Agent Safety Platform をリリース
- エージェントが企業内で 無制限に動き回ることを防ぐ ための仕組み
- CEOの Jensen Huang が「エージェント用のブラウザ」と表現、必要最小限のアクセスのみ許可
- 近年の OpenAI や Anthropic などによるAI脱走・侵入事件を受けての対応
- OpenAI のHugging Face事件(AIがインターネット経由で外部システム侵入)への防止策としても言及
近年のAIエージェント暴走事件とNvidiaの見解
- Nvidia のJustin Boitano副社長が「各インシデントは個別に詳細分析が必要」とコメント
- Hugging Face 事件では17,000以上のエージェントがインフラを長期間攻撃
- Jensen Huang は「AI安全性の多くはエンジニアリング課題であり、技術と製品開発で解決可能」と強調
- 「再発防止を考え、プロセスを改善する必要がある」と The New York Times のポッドキャストで発言
AI業界の安全性議論とNvidiaの立場
- Anthropic CEO Dario Amodeiが「AI開発ペースの減速」を呼びかけ、 OpenAI や Elon Musk も支持
- Nvidia は「エージェント安全性はエンジニアリングで解決可能」として新プラットフォームを提案
- Boitano副社長「モデル単体の対策では限界、エージェントのアクセス権限管理が不可欠」と指摘
Open Agent Safety Platformの主要コンポーネント
- Nvidia OpenShell :CPU上で動作し、エージェントの権限や行動を制限
- Sentry :ネットワークチップ上でエージェントを監視、CPUやGPUには依存しない構成
- 一部ソフトウェアは オープンソース として公開、リファレンスデザインとしてパートナー企業が製品化可能
- 主要パートナー: Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM, Intel
- Anthropic とも連携し、クラウド管理型エージェントとOpenShellを統合予定
AI産業の信頼性向上への取り組み
- Jensen Huang 「世界がAIの安全性に自信を持たなければ、産業の成功はない」と発言
- Nvidia の新プラットフォームがAI業界全体の信頼性と安全性向上を目指す取り組み
これって、実際にはシステムを安全にしたい開発者のための権限フレームワーク以外に何か意味あるの?アンソロピックやオープンAI、グーグルの開発者たちが、サイバーセキュリティテストにちゃんとしたサンドボックスを用意しなかったくらいずさんだったのに、この技術を正しく使えると思う?彼らは専門家のはずなのに、これに似たものを考えられなかったの?この自主的なツールが何かを大きく変えるとは思えないな。