Google DeepMind 斥资 1000 万美元研究多智能体安全

Google DeepMind 与 Schmidt Sciences、英国 ARIA、Cooperative AI Foundation 和 Google.org 宣布设立 1000 万美元资金池，资助研究者研究大量 AI 智能体彼此交互时可能出现的风险。

MIT Technology Review 报道称，Google DeepMind AGI 安全与对齐负责人 Rohin Shah 认为，能在无人监督下执行任务、并听从其他智能体指令的 AI 代理大规模进入市场后，会产生一类新的风险。研究方向包括诈骗、提示注入、网络攻击，以及多个智能体同时互动后可能出现的不可预测行为。

Shah 表示，外部学术研究适合提前研究产业实验室眼下未必优先处理的问题；Schmidt Sciences 的 James Fox 也认为，研究者需要把智能体放进更真实的沙盒环境，观察它们在大规模互动中会做什么。

文章来源：爱范儿