为何只读技能文件无法看清智能体会做什么

智能体技能可能包含他人编写的指令、资源和可执行代码。Zenity 的 Roey Ben Chaim 介绍了如何在隔离环境中测试数千个技能，以观察它们实际执行的行为。

一个官方 Azure 诊断技能读取云与 Kubernetes 配置，并联系身份和元数据服务。这些动作可能看起来像凭据窃取，说明必须结合任务背景解释行为。

只阅读入口技能文件可能遗漏从其他位置获取的指令或代码，包括安装依赖。Ben Chaim 还介绍了误导性注释欺骗基于大模型的分析器的例子。

团队构建了一个沙箱，让智能体运行技能并观察轨迹。第一个问题是缺少上下文：技能可能需要特定命令行工具、项目或服务。环境构建器会准备适合该技能的环境。

不同技能需要不同任务才能触发其行为。一个操作者负责选择场景，探索相关执行路径。研究人员说，他们也遇到了拒绝执行的情况，并在受控安全研究中使用了对抗性操作者。

仅看智能体消息会遗漏一些副作用。因此团队还记录进程创建、文件活动和网络流量，包括软件包安装脚本衍生的活动。

一个概念验证技能安装了另一个技能，后者远程获取指令。Ben Chaim 说，观察完整链条可以发现只扫描初始文件可能遗漏的行为。

他说团队运行了数千个技能，其中约 100 个在审查后因恶意或危险行为被移除。这是团队报告的发现，并不代表所有技能生态中的发生比例。

他描述了一个连接到非官方注册源并包含信息窃取载荷的仿冒包。观察到的其他模式包括持久化指令、静默替换其他技能、远程提示词，以及反复触发的钩子。

团队还报告了一次仿冒智能体编排项目并获取凭据窃取载荷的活动。Ben Chaim 说，研究人员向平台提供商报告后，相关内容被移除。

他的结论是把技能当作依赖项：检查它们加载的内容、限制访问并观察执行。更广泛的供应链还包括进入智能体上下文的任何外部内容，从网站到软件包数据。