摘要
30 秒看懂
Kogan 认为安全控制应考虑 AI 智能体行动时的上下文。
- 1授权被请求的操作与未经请求的操作不同。
- 2上下文Kogan 质疑传统工具能推断出什么。
- 3智能体控制他主张考虑上下文的控制措施。
要点建议
- 授权会改变操作的含义。
- 现有工具可能缺乏任务上下文。
- Kogan 主张针对智能体设计控制。
全文
按章节阅读整理后的全文
01
相同操作,不同上下文
Onyx Security 的 Maxim Bar Kogan 对比了两种情况:用户明确要求重建数据库,以及智能体处理其他任务时自行决定删除并重建数据库。
Onyx Security 的 Maxim Bar Kogan 对比了两种情况:用户明确要求重建数据库,以及智能体处理其他任务时自行决定删除并重建数据库。
他说,获得授权时第一种操作可以节省工作,而缺少相关上下文时执行同样的操作可能很危险。
02
控制与上下文
Kogan 认为,传统终端和 API 安全工具可能缺少足够的上下文,无法理解智能体为何执行某个操作。
Kogan 认为,传统终端和 API 安全工具可能缺少足够的上下文,无法理解智能体为何执行某个操作。
他主张为智能体系统设计专门的控制措施,并警告否则组织可能过度限制有用工作,或漏掉危险操作。
同频道的其他文章
38:06EN → 简体中文Serval 的 Jake Stauch:面向企业 IT 的编程智能体嘉宾 Jake Stauch · 主持 Sarah Guo, Elad GilStauch 解释 Serval 为什么挑战 ServiceNow、如何处理权限与审批,以及为什么后台智能体仍然难以安全部署。
1:07EN → 简体中文George Kurtz 谈 AI 可能如何改变网络攻击嘉宾 George KurtzCrowdStrike 首席执行官介绍他对威胁变化的判断。
39:23EN → 简体中文防守方的窗口期:Greg Brockman 谈 AI 生成知识、药物研发与网络安全的新规律主持 Sarah Guo, Elad GilOpenAI 总裁解释了为什么攻克未解的数学难题,是科学领域的有力证据,主动式智能体(Agent)如何改变产品形态,以及为什么安全支出必须超过软件支出。
1:04EN → 简体中文Walter Goodwin:芯片设计中缓慢的步骤嘉宾 Walter Goodwin一位芯片创始人解释自动化为何不能消除所有计算瓶颈。
1:09:44EN → 简体中文1 万块 GB300 跑四周:Reflection 的开源模型账本主持 Sarah Guo, Elad GilMisha Laskin 在 No Priors 节目中讲述 Reflection 如何训练 Beam、为什么强化学习的投入超过了预训练,以及为什么西方需要自己的开源权重。
0:39EN → 简体中文Michael Lee 谈用 AI 重新思考组织嘉宾 Michael Lee一位商业领导者认为机会不止是加快任务。