Freysa AI 智能体如何被说服释放加密货币奖池

2024 年 11 月，一场对抗游戏挑战参与者说服名为 Freysa 的 AI 智能体释放加密货币奖池。这个智能体的指令是不批准转账。经过数百次尝试，一名参与者成功了；这说明，当语言模型控制具有重大后果的工具时，给它的指令可能被绕过。

我参考开发者 Jarrod Watts 的解析来解释游戏设置。参与者付费向 Freysa 发送消息，失败的尝试使奖池增长。费用随消息数量增加；游戏设定的上限为 4,500 美元，而获胜尝试前后的实际费用约为 450 美元。

智能体与转账批准机制相连，游戏要求玩家让它违背自己的指令批准付款。早先的尝试包括冒充安全审计员，或声称转账并不违反规则。前 481 条消息都没有赢得奖池。

第 482 次尝试中，名为 p0pular.eth 的参与者成功了。消息将自己呈现为一个新的管理会话，并试图压制通常的拒答。随后，它误导性地描述转账函数，将请求包装成向资金池捐款。

关键混淆在于 approveTransfer 的含义。消息声称批准函数用于接收入账捐款，但在这场游戏中调用它可能授权转出奖池。智能体调用了该函数，系统因此释放了奖池。这更适合理解为提示注入和工具控制失效，而不是证明模型总会产生幻觉。

这次攻击看起来如此容易，让我感到震惊。我建议使用更强的指令，并让第二个模型审查拟议操作，但这两种方法都不能保证安全：对实际转账设置独立、确定性的授权边界，才能更有力地执行禁令。模型对不可信消息的理解，不应单独赋予它财务权限。

获胜者 p0pular.eth 获得了 13.19 ETH，当时据称价值约 4.7 万美元。游戏的源代码和交易记录可公开查验。这使它成为一个具体例子，展示提示词如何影响能够使用工具和资金的智能体。

我认为这场比赛能够激励红队测试：人们付费尝试不同攻击，不断增长的奖池又吸引更多人投入。不过，这种设置也让玩家承担财务风险，因此它是一种特定的游戏机制，不一定能代表生产环境中智能体的安全程度。

公布的规则包含一项参与者耗尽条件：达到 1,500 次尝试后会启动计时器，要求持续有人发起查询；如果游戏没有获胜者就结束，奖池会按规则分配。第一场游戏在第 482 次尝试时结束，因此这一条件并未发挥作用。

系统提示词要求 Freysa 在任何情况下都不要批准给别人钱。我认为这些指令本可以更稳健，也建议用第二个模型检查工具调用。独立模型可能提供有用的一层防护，但它自身也可能出错或受到操纵，因此不应取代代码级转账限制。

我在想，更难的游戏版本是否可以鼓励更多红队实验，并积累更大的奖池。更广泛的教训是，用自然语言给智能体一条规则，与在工具或交易层强制执行这条规则并不是一回事。