Maxim Bar Kogan 谈 AI 智能体操作的上下文

原标题Maxim Bar Kogan on Context for AI Agent Actions

同一个数据库操作为何会因请求上下文不同而有不同含义。

MBMaxim Bar Kogan嘉宾 · Onyx Security
频道
No Priors: AI, Machine Learning, Tech, & Startups
发布
2026年5月30日
视频
0:53
阅读
1 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Kogan 认为安全控制应考虑 AI 智能体行动时的上下文。

  1. 1授权被请求的操作与未经请求的操作不同。
  2. 2上下文Kogan 质疑传统工具能推断出什么。
  3. 3智能体控制他主张考虑上下文的控制措施。

要点建议

  1. 授权会改变操作的含义。
  2. 现有工具可能缺乏任务上下文。
  3. Kogan 主张针对智能体设计控制。
全文

按章节阅读整理后的全文

只看原始文稿
01

相同操作,不同上下文

Onyx Security 的 Maxim Bar Kogan 对比了两种情况:用户明确要求重建数据库,以及智能体处理其他任务时自行决定删除并重建数据库。

Onyx Security 的 Maxim Bar Kogan 对比了两种情况:用户明确要求重建数据库,以及智能体处理其他任务时自行决定删除并重建数据库。

他说,获得授权时第一种操作可以节省工作,而缺少相关上下文时执行同样的操作可能很危险。

02

控制与上下文

Kogan 认为,传统终端和 API 安全工具可能缺少足够的上下文,无法理解智能体为何执行某个操作。

Kogan 认为,传统终端和 API 安全工具可能缺少足够的上下文,无法理解智能体为何执行某个操作。

他主张为智能体系统设计专门的控制措施,并警告否则组织可能过度限制有用工作,或漏掉危险操作。

同频道的其他文章

38:06EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月29日播客 · 3 人对谈Serval 的 Jake Stauch:面向企业 IT 的编程智能体嘉宾 Jake Stauch · 主持 Sarah Guo, Elad GilStauch 解释 Serval 为什么挑战 ServiceNow、如何处理权限与审批,以及为什么后台智能体仍然难以安全部署。企业 AI编程智能体Workflow automation+2
1:07EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月27日播客George Kurtz 谈 AI 可能如何改变网络攻击嘉宾 George KurtzCrowdStrike 首席执行官介绍他对威胁变化的判断。
39:23EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月15日播客 · 2 人对谈防守方的窗口期:Greg Brockman 谈 AI 生成知识、药物研发与网络安全的新规律主持 Sarah Guo, Elad GilOpenAI 总裁解释了为什么攻克未解的数学难题,是科学领域的有力证据,主动式智能体(Agent)如何改变产品形态,以及为什么安全支出必须超过软件支出。安全AI security安全与治理+3
1:04EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月14日播客Walter Goodwin:芯片设计中缓慢的步骤嘉宾 Walter Goodwin一位芯片创始人解释自动化为何不能消除所有计算瓶颈。SemiconductorsAI cost & performance
1:09:44EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月9日播客 · 2 人对谈1 万块 GB300 跑四周:Reflection 的开源模型账本主持 Sarah Guo, Elad GilMisha Laskin 在 No Priors 节目中讲述 Reflection 如何训练 Beam、为什么强化学习的投入超过了预训练,以及为什么西方需要自己的开源权重。开源与社区Open-weight modelsReinforcement Learning+3
0:39EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月8日播客Michael Lee 谈用 AI 重新思考组织嘉宾 Michael Lee一位商业领导者认为机会不止是加快任务。