连续签到撑起增长:Duolingo 留存团队 600 多次实验教会他们的事

原标题Inside Duolingo's Streak: What 600+ Experiments Taught One Retention Team

Duolingo 集团产品经理 Jackson Shuttleworth 拆解连续签到的历史、大胜、走偏,以及他把这项功能称为公司最大增长杠杆的运作方式。

JSJackson Shuttleworth嘉宾
频道
Lenny's Podcast
视频
1:28:32
阅读
14 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Jackson Shuttleworth 带领 Duolingo 留存团队,把连续签到从按经验值达标,改成一天一课的习惯机制,四年里做了 600 多次实验。本期讲的是可落地的原则:先把使用单位定清楚,拿下前七天,早期多给弹性、后期收紧,并指定专人守住连续签到的分量。他反复强调,连续签到只能放大人们本来就想用的产品。

  1. 1除了课程本身,连续签到是 Duolingo 最大的增长杠杆Shuttleworth 说目前有超过 900 万用户的连续天数在一年以上,很多通知之所以有效,是因为它们提到了连续签到。
  2. 2把连续签到变容易有用,直到它不再有意义从经验值目标改成“每天一课”大幅拉动了日活;再降到只做一道练习,日活纹丝不动,因为抓到的是最不投入的人。
  3. 3前七天决定留存留存曲线显示,从 1 天到 7 天跳得很猛,之后损失厌恶生效、曲线变平,所以团队把不成比例的实验都压在这段。
  4. 4弹性要前松后紧新开连续签到时送两个冻结是大胜;对已经很长的用户,三个冻结并不比两个更好。
  5. 5守住连续签到的分量把规则变松几乎总能换来参与度,但有一扇单向门:长连续用户一旦觉得它不算数,就不会再在乎。Duolingo 为此指定了专人看守。
  6. 6连续签到只能放大人们本来就想用的产品他认为几乎任何应用都能做,可核心循环若没有价值,把精力砸在连续签到上只会让你偏离真正该做的事。
全文

按章节阅读完整文稿

01

一个数天数的计数器,长成了数十亿美元级的参与引擎

Jackson Shuttleworth 是 Duolingo 的集团产品经理,带留存团队。他把连续签到说成:连续多少天完成了一课。时间一长,上面叠了冻结(相当于保险)、挑战、目标、奖励和社交,大量通知也绑在它上面。功能本身简单,却成了可以不断往上盖的底座。

他说这不是留存产品经理的主观吹捧:除了课程,连续签到是公司最大的功能,按数字看也是拉动日活(DAU)最大的杠杆。连续签到是一套参与度技巧,任何应用理论上都能上,前提是人们已经喜欢用这个产品。Duolingo 好玩、能学到东西,才撑得住这层机制。他录制前查过数据:超过 900 万用户的连续天数在一年以上,他喜欢把这想象成一座很大的城市。

Lenny 提到录制时 Duolingo 市值约 140 亿美元,近半年几乎翻倍、用量和市值都在创新高。Shuttleworth 把增长观说得很直:有机增长里,拉新和别把人弄走一样重要。只往平台上倒人、然后流失,撑不久;把人留住,日活才有更容易往上叠的底座。创始人 Luis 也曾说,一切都围绕参与度,因为你不回来就学不到东西。Shuttleworth 同意:最容易在 Duolingo 学不到东西的办法,就是第二天不打开。

02

把连续签到变容易有用,直到它不再表示任何承诺

Duolingo 上线时就有连续签到,最初绑在用户自己设的经验值(XP)目标上。认真的人可以设 50 点,轻松一点的人设 10 点。问题是:有人一天上了好几课,目标设太猛,连续照样断。早期最有冲击力的实验之一,是改成“每天完成一课就算延续”。Shuttleworth 说日活大涨,用户也没有因此更不在乎。他的原则是先想清楚应用的使用单位:Duolingo 的单位是完成一课,围绕一课来做,既有意义,也更好懂。

后来他们把逻辑推到更松:一课里只做一道练习也算延续。漏斗上看,很多人开了课却没做完,损失厌恶还没生效。结果日活纹丝不动。没人会想“我今天就来答一道题”;他们抓到的,是答一两题就走的、最不投入的人。这是一次很容易做的关停。Lenny 拿早期农场类游戏作比:逼人每小时回来收菜,撑一阵,然后人们会问自己到底在干什么。

过去四年他们在连续签到上做了 600 多次实验,大约隔天一次,从改机制到换一句文案都有。大约一半会输,但仍然学到东西。现在 900 万长连续用户坐在上面,他会更谨慎;对还在早期的连续签到,他的建议是什么都测。中性结果如果只是多一块界面、多一份认知负担,他们通常关掉。除非团队对后续路线有把握,中性结果能变成下一轮日活正向实验的平台,才会留下,而且他更希望把那层假设直接做进第一版。

03

先拿下前七天,再用最小版本把目标一点点叠上去

连续签到实验里,很大一块对着前七天的用户。留存曲线显示:从 1 天到 2 天是巨大跳跃,后面几天稍小但仍很大,到第 7 天损失厌恶生效,曲线变平。30 天的人当然比 7 天更稳,但量级远不如 1 到 7 天那一截。所以团队花大量力气把人送到损失厌恶锁住、不想离开的那一点。

“连续目标”最能看出他们的做法:先出最简单的版本,再往上加。灵感来自变现团队一句赢过的文案,大约是订阅后完成课程的可能性高 5.6 倍。他们改成:达到 30 天连续,完成课程的可能性高七倍。就在开始连续的那一屏说这句话,就是大胜。接着测 14 天和 50 天,发现不同长度吸引不同的人。再加一个“我达不到”的退出按钮,几乎和给出更容易的保底目标一样有效。意图本身就有参与度:以前只是“继续”,现在是你自己决定要不要冲 30 天。

最意外的发现跟摩擦有关。有了目标选择器之后,他们试过帮用户预选更难的目标,以为更难等于更好留存,结果显著输掉。把人更快送过这一屏容易,可真正带来投入的,是用户亲手选 14 天还是 30 天。Shuttleworth 自称是业余心理学家,至少对想在手机上学语言的人,他摸到了不少门道。

04

强假设加便宜的文案测试,才能让高频实验不变成杂物堆

Lenny 听下来觉得他们像在淘金:碰到一条矿脉就拼命往下挖。Shuttleworth 说实验并不随机。想法在团队之间流转,变现侧赢过的钩子会被留存拿来用;他们也看三消、宝可梦卡牌这类手游找灵感。你对假设有多坚持,应该跟实验成本成正比。文案便宜,所以他们搭了持续测文案的基础设施。目标屏上把按钮从「继续」改成「向我的目标承诺」,就是一次巨大的胜利:点下去的动作本身在要求承诺,而不是流失。

Lenny 问怎么避免产品变成互不相干的怪物。Shuttleworth 说每个拟议改动都要过产品评审,成员包括创始人 Luis、产品设计负责人和产品管理负责人。连续签到团队至少每季度回看一次方向:学到了什么、功能长成什么样、近几个季度往哪走。没有清晰策略,A/B 测试就容易变成廉价增量。偶尔他们会撞上局部最优,这时得按学到的东西把界面推倒重来,做到效果相当、形态更干净,好再往上叠。这种实验很难赢,因为现有版本已经被优化得很狠,但如果不做,功能会变成厨房水槽。

他也承认 Duolingo 有别人没有的优势:人们本来就想学语言。手游里连续玩 3000 天,和连续学了 3000 天西班牙语,感觉不一样。可他认为可套用的场景比很多公司以为的更宽,关键是把连续签到框成让用户觉得对自己好的事。语言学习的日进步几乎看不见,到 C1、C2 要几千小时;连续天数往上走,能把这条长路变得摸得着。进步慢、难看见的产品,连续签到往往特别管用。

05

讲清楚连续签到怎么运作,比把设计做聪明更重要

对这期听众来说,连续签到好像显而易见,可 Shuttleworth 发现很多用户其实不懂它、也不懂冻结。他妈妈有一天没用,回来却发现连续还在,就很惊讶。他在 Duolingo 的第一场胜利,是在开始连续的那一屏用大约八个词讲清规则,大意是:做一天就能延长,错过一天就会重置。这是当前用户留存率(CURR)的前三名胜利之一,量级大约是一万以上的日活。CURR 指非新、非复活用户明天还回来的比例,是他们发现对日活最有效的指标,留存团队就围着它转。

并非所有打赢的实验都会上线。他们在课程里加过实时经验值计数,结果正向,Luis 却问下一步拿它做什么。当时答不上来。课程是应用里最神圣的空间,顶部本来只有进度条和红心,多一块东西就是干扰。他们判断这只是一次容易拿到的参与度胜利,长期会挡路,于是关了,把课堂留成学习的保护区。Shuttleworth 补了一句:如今经验值机制更多了,对课内体验的看法可能已经变,当时留下会不舒服。

火焰图标也教过他们一课。连续签到的视觉是火焰,隐喻是把火苗保住。多年前在印度做用户研究,这套隐喻完全对不上。后来重设计由动画师 Kurt 做了里程表式的数字跳动,屏幕主视觉改成数字往上走,并写明“7 天连续”“8 天连续”。底部日历也越来越像真日历:顶上是星期、圆点、勾选,好让人明白这是按天算的机制。清晰不必牺牲愉悦:到里程碑时,猫头鹰 Duo 会变成他们所说的凤凰 Duo,燃起来。对一天连续的新用户,首要任务仍是让人看懂。

06

弹性最能拉动日活,但把连续签到变廉价会走进单向门

Shuttleworth 拿出联合负责人 Antonia 织给他的「连续宁静祷文」:求 Luis 赐我接受所需弹性的平静、追求完美的勇气,以及无论如何都庆祝的智慧。策略可以概括成:能弯就别断。从机制上看,弹性是最大的日活驱动。最早只能有一个冻结,测两个或三个都是大胜。它对 CURR 其实不好,因为等于允许请假;补回来的是请过假的人更高比例地回来。三个冻结并不比两个更好:更长时间离开后仍能碰到完整连续,可三天不碰一个习惯,第四天回来的概率也会掉,等于在训练人放更长的假。

他的经验是:连续刚开始时多给弹性,变长以后收紧。新开连续时直接送两个冻结,是冻结实验里最大的胜利之一。冻结曾经要用宝石买,好让人觉得挣来的、带一点痛。可一两天、两三天的连续太容易放弃重开,数据上要到七天才会锁住,所以早期多给缓冲很值。他自己在 Duolingo 工作的时间比 400 天连续长得多,断过、重开过很多次。一旦连续很长,多数人只要不在犹他州荒野徒步,就能找到信号;这时再惯出本不必请的假,就不划算。

冻结可以花钱买,留存和变现之间一直有张力。他作为留存产品经理很想拿掉一些变现钩子。断掉之后的修复也改过:以前用宝石买「连续修复」,后来换成「挣回来」——在窗口期内再上几课,就把连续还你。这更像应得的,留存也更好。便宜化几乎总能换参与度,但有一条线:用户一旦觉得连续不算数,就是单向门。对 900 万一年以上的用户,那会是他所说的灭绝级事件。Antonia 是分量的看守人,Luis 也很盯这件事。通知可以设条数上限,连续签到很难写成政策,很多时候得靠手感。

07

通知、完美连续和触感,都在加固这个习惯

Duolingo 每天发两条跟连续签到相关的核心通知。练习提醒发在你前一天练习之后的 23 个半小时:今天中午练,明天上午 11:30 就收到。他们试过让用户自选时间,也试过更复杂的逻辑,总是 23.5 小时赢。人生会挡路,你以为晚上七点能练,往往练不成;最好的预测是你昨天什么时候练的。另一条是晚上 10 点的「连续拯救」:当天还没延长,就提醒这是最后机会。按理说应用晚上 10 点推消息很烦,可因为人们把正面情绪贴在连续上、不想丢掉,多数人觉得这是帮忙。公司派对将近午夜,员工还在补课,也常有人在夜店或演唱会里打开 Duolingo。

弹性给得多,他们也庆祝完美。最简单的功能叫 Perfect Streak:连续几天不用冻结,连续就变成金色,日历进度条好看一点,没有别的奖。它很强。有员工跨国际日期变更线,后端出了怪事,四个月的完美连续断了,对她是件大事。人们会开始像在乎连续本身一样在乎完美。这类更酷的概念,他们压到第七天之后才介绍;过早塞太多,几乎普遍会输。

动画、触感和音效也经常赢。连续签到上还没有音效,触感已经测了很多:延长时一段好看的震动,既让人觉得被庆祝,也让人在那一屏停住。产品经理常想把漏斗做得毫无痛感,可有些关键屏他就是要你停下来、把这一刻浸泡进去。触感最早由工程师凭感觉拼,后来交给产品设计,最近公司收购了底特律的动画工作室 Hobbs,运动设计和触感都归他们。他曾招专职触感设计师,那是他做过最难受的招聘:技能卡在音效、动效和工程之间,极窄。

08

按指标组队、流程很重、第一版很小,600 次实验才跑得动

Duolingo 多数团队围着指标转,而不是围着功能转。Shuttleworth 的留存团队盯 CURR,连续签到归他们,只因为这项功能拉动 CURR 比什么都好。应用内购买冻结的钩子别的团队也能动,排行榜也一样:有团队盯使用时长,排行榜是最好的抓手,可他偶尔也会去提一个更偏留存的改法。Lenny 说这很像 Airbnb:给你一个目标,为了打到目标可以碰任何产品。所有权是软的。连续签到已经有好几个季度的路线图,别人要改,得嵌进现有计划,并先听他们见过什么管用、什么不管用,确认值得挤占带宽。

跑这么多实验,他说必须很有流程。联合负责人 Antonia 把实验排得很细:这一次如何衔上下一次,工程和设计带宽不能空转。大量自动化在 Jira 里,也有一部分 Google 文档,因为有时更好看、更灵活。他们按月往前排,连小迭代也排进产品、设计和工程路线图。功能做完却空转几个周期,就是丢掉的机会。

团队还很抗拒做大而全的第一版。连续目标就是例子:先剥到核心假设,把那个最小的东西发出去。做留存久了,他知道加哪些铃铛能让功能“赢”,可那样你分不清赢的是假设还是装饰。东西越简单,越好设计、越好过审、越快发出,每一步都有信心:这一串假设成立,就留下;不成立,就丢掉那一块,只上真正要紧的。

09

有规律使用的应用都能做连续签到,前提是核心值得回来

Lenny 把做法概括成:画出驱动增长的杠杆,找到最连着增长的那一根,再往里挖。Shuttleworth 入职时,前任 Anton 告诉他:团队连 30% 的优化都还没走到。四年后他还是这句话。每季度仍能在连续签到上发出一串胜利,证明里面还有很多。他强调要带着意图做,别一堆随机改动,否则会停在局部最优。

给任何想做连续签到的人,他的首要建议是先把核心产品做对。损失厌恶对人有效,可如果人们不想按你需要的节奏打开应用,连续签到给你的会很少,还会让你分心。董事会成员 Bing Gordon 有过一句:用户这么在乎连续签到,是因为 Duolingo 自己这么在乎。每次课后都是大屏、动画比别的屏更炫,消息里也反复提到。藏在角落里的连续签到,用户不会太当回事。

他认为几乎每个应用都能从连续签到里获益,节奏要匹配用法。Peloton 做的是按周连续,因为疫情期间很难每天骑车。报税软件他当场承认很难套,除非只在报税季按天催。只要有一定使用频率,几乎都可以做。最后一条是别在会议室里把哲学辩完:假设要像样,但最终得拿去给用户测,而不是第一次就求完美。Lenny 问值不值得做,他在公司里出了名地认为每个团队、每个应用都能受益,怎么做则因场景而异。

同频道的其他文章

1:10:27EN → 简体中文
Lenny's Podcast播客 · 2 人对谈硬技能让你进门,软技能决定你能走多远嘉宾 Jules Walter · 主持 Lenny RachitskyYouTube 产品负责人 Jules Walter 把 PM 能力拆成 IQ 与 EQ,并讲怎样用最小请求找到导师、把反馈变成习惯。产品与体验Product ManagementLeadership+3
1:30:46EN → 简体中文
Lenny's Podcast播客跳过「末日漏斗」:Cursor 招顶尖 50 人的打法主持 Lenny RachitskyCursor 人才负责人 Adam Ward 讲如何界定角色、画出全球大约 50 人的名单,再持续追他们,而不是招漏斗里活下来的人。企业与战略Company BuildingLeadership+3
1:42:04EN → 简体中文
Lenny's Podcast播客 · 2 人对谈先做生命体征测试,再谈把付费增长拧到最大嘉宾 Timothy Davis · 主持 Lenny RachitskyShopify 绩效营销负责人 Timothy Davis 讲何时开始买量、怎么做小测试、测哪些平台、看什么指标、以及先招什么样的人。企业与战略Go-to-MarketGrowth Strategy+3
1:21:44EN → 简体中文
Lenny's Podcast播客从划桨到掌舵:OpenAI 如何把 Agent 做成持久共事的同事主持 Lenny Rachitsky负责 Codex 与 ChatGPT Work 产品的 Tara Seshan 解释:当 Agent 负责划桨、人负责掌舵时,产品经理的工作会变成什么样。智能体Product StrategyAI Product Management+3
1:01:00EN → 简体中文
Lenny's Podcast播客 · 2 人对谈谁掌握注意力:Substack 如何按「控制权」做产品嘉宾 Sachin Monga · 主持 Lenny RachitskySubstack 产品负责人 Sachin Monga 讲路线图背后的原则、Recommendations 如何长成增长引擎,以及他认为互联网写作的下一阶段会怎样。产品与体验Product StrategyGrowth Strategy+3
1:26:22EN → 简体中文
Lenny's Podcast播客先从小处开始,再挣来自主权:五十多次企业 AI 落地教会他们的事主持 Lenny RachitskyAishwarya Naresh Reganti 和 Kiriti Badam 解释,为什么 AI 产品需要另一套构建流程,以及怎样一步步提高 Agent 自主权而不丢掉客户信任。产品与体验Product StrategyAI Product Management+3