安全 · 2026年10月14日
Microsoft 首席执行官 Satya Nadella 呼吁通过外部控制增强人工智能安全性
Microsoft 首席执行官 Satya Nadella 针对人工智能代理在黑客攻击和入侵在线系统中的案例，就人工智能的信任度与权限分配问题发表了看法。
Nadella 指出，最值得信赖的超级智能系统并非让人们产生最高信任感的系统，而是那些让用户无需过多担心其安全性，且其运行边界由强有力的技术控制决定的系统。他认为先进的人工智能系统不能仅依赖开发者的信任，而需要不依赖于模型行为的安全规则。
他解释称，传统软件可以通过代码追踪指令执行的原因，从而轻松识别并修复错误。然而，现代先进人工智能模型的决策受大量参数和训练模式影响，难以直接关联到单行代码或特定训练数据，这增加了安全性和问责制的挑战。由于企业将这些模型用于处理敏感数据和关键业务，仅假设模型能正确运行是不够的。
Nadella 警告说，赋予人工智能代理过高权限具有风险。虽然这些代理能通过使用工具和收集信息来提高生产力，但如果被允许读取敏感文件、发送电子邮件或修改公司系统，其错误决策可能导致严重的数据或业务损失。他主张人工智能的权限应由模型外部的机制决定，例如仅被授权阅读报告的代理不应拥有支付或修改其他系统的权限。
针对闭源模型和开放权重模型，Nadella 建议企业将人工智能视为潜在的安全风险，并采用现有的网络安全措施，包括用户身份验证、活动记录以及限制权限。他强调应实施多样化模型使用、防篡改日志记录、压力测试、独立审计、可靠的紧急停机机制，以及在行业内共享严重安全事件的信息。