Supriya Subudhi：Bumble 测试 AI 功能的五个经验

我是 Bumble 的产品经理 Supriya Subudhi。A/B 测试通过比较功能、邮件或体验的两个版本，判断哪个表现更好。但当生成式 AI 和大语言模型进入消费产品时，积极的测试结果是调查的起点，而不是终点。

Bumble 的月活跃用户超过 2000 万。作为产品经理，我代表用户及其面临的问题，同时也要对公司的财务负责：我们没有无限的资源解决所有问题。

我们的例子是 AI 照片反馈。约会应用的用户会在个人资料中添加照片，却常常不知道怎样的资料才算好。我们借助 Bumble 对有效做法的了解，生成改善照片的建议。

第一课是：用户可能要求某项功能，之后却不用它。研究中，人们反复告诉我们，他们不知道自己的约会资料是否足够好，希望得到改善方面的支持。

我们向用户展示了多种可能的 AI 支持方式，帮助他们约会，但不代替他们约会。接受访谈的人中约 78% 表示希望获得反馈。然而在一项一半用户获得功能、一半没有获得的 A/B 测试中，实际使用它的只有 10% 至 15%。

对 AI 持开放态度，并不能预测实际使用情况。我们把功能融入用户已有的操作：用户添加照片时主动提供反馈；用户难以获得匹配时，建议查看资料反馈。使用率因此上升。要衡量真实使用情况，而不只是问卷回答，才能改进使用率。

第二课是，平均结果的胜利可能掩盖长尾问题。总体结果很好：与没有反馈的用户相比，更多人添加照片并修改资料。但有些 AI 提示竟然让已经在照片里微笑的人笑得更多。

可接受的错误范围取决于应用。AI 音乐 DJ 推荐几首不合意的歌，与银行应用建议用户花费自己负担不起的 2000 美元，是不同性质的问题。因此，我们设定了生成反馈可以做什么、不可以做什么的边界。

例如，我们的反馈不应要求人们改变自己无法控制的东西，比如肤色或身高。我们还阅读真实输出：评估工具让我们看到用户实际收到的内容，并检查提示词是否有效。

成功标准从整体结果是绿是红，转向不同用户体验的分布：女性和男性的反应是否相似？不同国家和语言的结果是否一致？例如，法语生成内容可能与英语不同。

第三课是绿色仪表盘背后的红色账单。为了获得最优质、最准确的反馈，我们一开始选择了最好的大语言模型。它的成本约为较简单方案的十倍，这还没有算上评估系统的费用。

Bumble 的匹配算法早已使用 AI，但成本结构有所不同。传统机器学习算法可能需要大量前期计算和训练，运行后每增加一位用户的边际成本相对较低。生成式 AI 则会随着使用人数和使用频率增加而带来更高账单。

选择模型前，要弄清楚产品为什么使用 AI。有些团队收到的是加入 AI 的指令，但预算应反映预期收益是短期还是长期。短期回报可能适合快速计算；长期战略收益则可能值得额外投入。

以 Amazon 的购物助手为例，更好的推荐可能增加短期购买；即便没有立刻产生这个效果，值得信赖的助手也可能最终让顾客更常选择该平台。目标决定什么样的投入可能合理；这只是一个说明，并非对 Amazon 内部决策的断言。

第四课是，测试胜利可能来自模型本身。最初的模型太贵，无法扩大规模，于是我们换了更便宜的模型。成本下降了，准确率和结果的影响也随之下降。A/B 测试的胜利取决于所测试的模型，而不只是提供反馈这一概念。

我们学到必须充分测试，根据数据决策。评估帮助我们比较不同模型在不同数据集上的表现，考虑成本，并快速重测不同版本的提示词和反馈。最终，我们找到仍能产生良好结果的最低成本方案。

第五课是，产品可能无法在全球推出。AI 监管不断变化，各市场的规则也不同；不合规会带来法律和财务风险。我们在美国推出了该功能，却无法将同一版本原封不动地推广到其他国家。

无论是产品经理还是工程师，都需要尽早考虑法律与合规要求，而不是等产品建好以后。一个选择是先了解所有市场的限制，从一开始就在这些边界内设计；另一个选择是为影响最大的市场优化，即便这意味着只在一个国家推出。

团队也可以承担额外成本，让应用在不同国家以不同方式运行。这是一系列产品决策：如果用户无法合法使用，再好的功能价值也有限。

在宣布 AI 测试取得胜利之前，先问五个问题：人们真的在使用功能，还是只是说会用？你阅读真实输出，还是只看平均值？结果能否抵消全部成本？你能否负担带来胜利的模型？以及，你是否清楚可以合法上线的市场？