产品经理现在可以自己搭建一个智能体:它会给中途放弃试用的客户发邮件,在几分钟内回答对方的回信,并在任何自动回复发出之前,先对照公司文档核对自己的答案。整个搭建在Anthropic的命令行编程智能体Claude Code中大约需要30到40分钟,外加一份Markdown格式的规则文件和一个邮件连接。一位曾任Bolt首席产品官、如今经营一家对话式AI创业公司的产品负责人,逐步拆解了这一完整搭建过程。这一过程同时也是对他一个更大论断的具体检验:一名产品经理加三到五名工程师,借助AI工具,就能达到过去需要20到25名工程师才能完成的产出。
产品经理为什么需要成千上万场对话
在Bolt,一位产品负责人每月与7到8位客户交谈,就算是很强的调研节奏了。自动化的双向对话则彻底改变了这个量级:智能体每月可以与数万名用户进行往来式访谈,当场化解疑虑,并按计划把归纳好的主题交回产品团队。
最清晰的数字来自他的创业公司与Ancestry.com合作做的一次A/B测试,对象是放弃DNA检测套件结账的购物者。客户被分为86,400人的外联组和85,900人的不接触对照组。
| 组别 | 客户数 | 转化数 | 转化率 |
|---|---|---|---|
| AI外联组 | 86,400 | 15,898 | 18.4% |
| 不接触对照组 | 85,900 | 11,511 | 13.4% |
由此得出37.3%的相对提升(p值小于0.001),在这一单个案例中约带来4,300笔增量订单。智能体还在3,470场对话中标注了人们犹豫的原因,平均每场1.5个主题:
| 异议主题 | 占对话比例 |
|---|---|
| 隐私与意外的DNA发现 | 42.1% |
| 送礼还是自用的时机问题 | 38.6% |
| 订阅与隐藏费用的顾虑 | 31.2% |
| 对科学准确性的怀疑 | 24.5% |
| 竞品替代方案 | 19.8% |
更有用的切分方式是按异议看转化率。询问配送与到货时间的购物者,在智能体答复后转化率达41.3%,而所有回复用户的基准为31.5%。对订阅感到困惑的购物者转化率仅19.8%,担心发现意外亲属的则只有14.2%。给出的解读是:能用一个事实解决的异议,比如节日配送截止日期,通过对话转化效果很好;而在得到好答案后仍然存在的异议,则指向定价或用户体验问题,这些应该列入产品路线图。
逐件拆解回访循环
这个原型叫做回访循环(check-in loop),由五个部分组成。示例是Cadence,一个虚构的AI健身教练应用,提供14天试用,对注册后几乎没怎么用的用户,在第12天触发外联。

▲ 客户回访循环的架构
- 客户数据。 起步阶段导出一份CSV即可;规模化后可以用Snowflake这样的数据仓库或Segment这样的客户数据平台。关键字段是试用流失时间戳和使用历史,智能体用它们来个性化每条消息。
- 规则文件。 一个名为CLAUDE.md的Markdown文件,设定消息结构、语气、升级路径以及智能体权限的边界。对Cadence来说,这意味着关于训练定制、伤病政策、退款处理和折扣上限的规则。如果公司没有这类文档,可以让Claude读取公开网站,起草第一版。
- 外联技能。 脚本找出尚未联系过的流失用户,利用每个人的元数据写一封简短邮件并发送。示例运行中的主题行读起来就像真人写的,比如"HIIT Express到目前为止感觉怎么样?"和"Riley,你的Cadence试用还剩4天"。
- 邮件传输。 发送通过模型上下文协议(Model Context Protocol,简称MCP)完成,这是一个让AI智能体调用外部工具的标准。早期测试和小规模用户群用一个Gmail MCP服务器就够了;Gmail有每日发送配额,更大的量需要Postmark这类事务性邮件服务(它也有MCP服务器),或者与市场团队协调。无论哪种方式,产品经理都可以在不碰Medallia、Qualtrics这类企业级调研平台的情况下跑完实验。
- 回复处理与告警。 当用户回信时,智能体把消息归类为普通回复或需要升级的情况,在几分钟内作答,遇到需要人工介入的事项则发到Slack。在一个示例对话中,一位试用用户同时提出了训练强度和预算两方面的顾虑,智能体在既定规则内把两者都处理了。
最初几轮测试暴露的都是普通的bug:回复没有挂到原来的Gmail会话线程上,偶尔出现不恰当的措辞。对这些问题的迭代也包含在30到40分钟的估算之内。
真正能收到回复的外联规则
比机制更重要的是邮件读起来如何、何时送达。
- 纯文本,只问一个问题。 邮件应该看起来像一对一的通信,而不是营销活动,开头就提出一个与对方所处漏斗位置相关的直接问题。在第一封邮件里塞进一份问卷是最常见的错误。
- 回复要快,但不要即时。 在自动回复中注入延迟后,回复率大幅下降,转化率随之下滑,因为人们离开了收件箱,势头就断了。与此同时,几秒内的回复又显得机械。几分钟是最佳区间。
- 对已离开的人用邮件。 应用内聊天适合活跃用户,但流失用户按定义就不在应用里,而且在使用过程中弹出调研提示会干扰人们完成任务。定向精准的调研邮件通常能获得20%到40%的回复率;一家健身公司的试用流失测试获得了约35%。回复率随漏斗深度上升:用过产品的人回复远多于漏斗顶端的流失者。
- 瞄准生命周期节点。 推荐的触点包括:新手引导流失(回复率最低、量最大、能揭示激活障碍)、试用中期回访、试用结束未转化、浏览过升级方案但没购买的用户、近几周活跃度下降的沉睡用户,以及取消订阅。
- 试用结束邮件搭配激励。 用类似订阅八折这样的优惠换取反馈,能提高犹豫不决的潜在客户的回复率,也让智能体有机会在同一对话中化解异议、挽回销售。
这些对话线程还会成为可复用的数据集。产品经理之后可以让Claude扫描历史对话,找出所有抱怨过缺少某项功能的人,等功能上线后邀请他们测试。
加入评估回路,让智能体无人值守地回复
评估(eval,evaluation的简称)是写进流水线的一道检查,按明确标准给模型输出打分,每次都运行。对面向客户的智能体来说,最重要的评估是事实依据(groundedness):回复中的每一个说法,是否都能追溯到帮助中心、规则文件等经批准的文档?

▲ 带重试与草稿兜底的事实依据评估
这个回路只用一条提示词就被加进了Cadence的流水线,由Claude Code生成的设计足够简单,可以直接照搬:
- 把评估插在分类之后、发送之前。 检查只针对配置为自动发送模式的回复运行。升级事项本来就交给人工。
- 对照系统文档判断事实依据。 由一个模型担任裁判,将回复草稿与源文件比对,而不是凭自己对合理性的感觉。
- 失败时附上原因重新生成一次。 评估给出的失败说明作为上下文回填到生成提示词中。绝大多数情况下第二次尝试就能通过。
- 重试仍失败则保存为Gmail草稿而不发送。 由人工审阅草稿;没有依据的内容不会到达客户。
- 通知团队。 Claude Code在没有被要求的情况下,为每次评估失败加了一条带失败标记的Slack通知。智能体编程工具常常这样预判相邻需求,这很有用,但也正是要读每一处diff的原因。
有两点设计值得注意。第一,是邮件让这个回路成为可能。聊天用户期待几百毫秒内得到响应,无法忍受三分钟的等待,而三分钟后回一封邮件再正常不过,所以异步渠道为多步评估和重新生成留出了空间。第二,评估应当引导而非束缚。把提示词过度拟合到僵硬的评分表会产出生硬的消息;把一次失败当作完整重新生成的上下文,既保留了自然的推理,又修正了具体缺陷。
这家创业公司的企业级平台自带全平台通用的护栏,它们也可以当作一份"还该评估什么"的清单:AI身份披露与透明、250个单词以内的简洁性、干净的邮件格式、基于已验证上下文的依据,以及禁止套话、内嵌图片、未经批准的优惠券、空链接参数、序列号和未经请求的建议。每份草稿都会对照这些规则和自定义的领域规则检查,并反复重跑直到合规。上线前,成批的模拟客户对话让运营人员审阅输出,并把反馈转化为对操作手册和护栏的更新。在企业平台上,团队熟悉流程后,配置一个新的互动触点需要5到10分钟,大客户会运行数百个。
测试一个概率性系统
产品管理的基本功在这里没有变,变的是测试范式。传统软件有确定性测试,断言给定输入产生给定输出。对话式智能体面对的是用户意图的第n种排列组合,因此团队需要能判断事实依据、意图遵循等主观属性的"大语言模型当裁判"(LLM-as-a-judge)框架,再结合针对回复中结构化部分的确定性规则。
由此引出几项实践:
- 在生产环境之外保留一份可信的样本数据集,要求任何模型升级或提示词改动在部署前都要在护栏基准上达到持平。即便只是升级底层模型版本,也可能以用户可感知的方式改变行为,而每周迭代数百次的团队不可能靠手工检查。
- 对面向客户的智能体设定远高于内部助手的标准。内部工具在发布前有员工审核输出;面向客户的智能体没有这道安全网。
- 检查中间轨迹,而不只看最终文本。语言模型倾向于迎合用户,所以评估必须确认每一个独立动作都得到了系统提示词和业务规则的明确许可。经常被引用的那个汽车经销商聊天机器人同意以$1卖出一辆皮卡的案例,正是要防范的失败模式。
- 也要研究成功案例。当智能体在几乎从不发生转化的场景中转化了一位客户时,剖析其轨迹,把方法回填到提示词和指南中。
一名产品经理真能顶25名工程师吗?
在Uber,典型比例是一名产品经理对三到四名工程师;而在团队扩张之前、他最高产的那段时期,这位负责人以一名产品经理对25名工程师的比例运作,发现这种比例烧掉了流程,迫使所有人专注于交付。他的论断是:如今一个由一名产品经理和三到五名工程师组成、使用AI工具的小组,能交付过去25名工程师的产出。
上面的搭建支持这一论断的一个更窄的版本。一个人独自在Claude Code中,用不到一小时搭起了数据接入、个性化外联、回复处理、评估与重试回路、草稿分流和Slack告警。可以说,这样的工作范围过去会是一个多人项目。关于团队比例的论断本身来自一位负责人的经验而非实测基准,并且附带他明确说出的条件:产品经理必须快速切换上下文,承担设计、产品营销等相邻工作,并把产品整体性把握住,让更快的交付不至于堆出一堆互不相连的功能。他们还必须拒绝那些只是走形式的对齐会议,把过去填满日程的状态报告、规划简报和会议准备交给AI起草。
他自己的四人公司展示了这种运作模式。团队把大部分人力时间花在争论问题空间、在白板或FigJam上绘制客户旅程上。会议记录和图表输入自定义的AI技能,由其起草产品需求文档、拆成Linear工单,并把工单交给编程智能体做首轮实现。瓶颈在于决定做什么,而不是把它做出来。在有强制PRD模板和多部门评审的大公司里,同样的做法依然可行:先高带宽地头脑风暴,再让AI把记录映射到审批所需的格式。
什么时候不该自动化
最重要的警示关于时机。在找到产品市场契合之前,或者客户量很低时,自动化外联是个错误。早期探索依赖视频通话和直接关系,这些建立起团队所需的直觉,把它交给智能体,会让产品经理与真正重要的信号隔绝。自动化应该放在产品已经展示出基本价值、规模要求系统化互动之后。
即便到了那时,自动化也是与人工接触并行,而不是取而代之。建议的节奏是每周至少通过Zoom、Slack或短信与客户直接交谈两次,并由三个AI驱动的支柱支撑:合成虚拟形象对话、像上述回路这样的自动化邮件触点,以及对销售通话和社交反馈的自动归纳。通过Listen Labs这类平台做的自动语音访谈,可以为客户基数大的公司增加规模,不过对于仍需创始人直接接触客户的极早期创业公司来说就过头了。邮件智能体很适合充当筛选漏斗,把反馈最有价值的回复者挑出来做更深入的人工访谈,而有了背景调研,产品经理到访谈时已经跨过了基础问题。
如何上手
可行的路径很短。导出一份试用流失用户的CSV,包含流失日期和使用情况。写一份CLAUDE.md,设定语气、升级触发条件、退款和折扣上限,或者让Claude根据你的网站起草一份。为一小群用户接上Gmail MCP服务器,发送每封只问一个问题的纯文本邮件。在让智能体自主回复之前,加入事实依据评估:失败时附原因重新生成一次,否则保存为草稿供人工审阅,并读完编程智能体产出的每一处diff。留意哪些异议在得到好答案后仍然不转化,因为那是路线图事项,不是话术问题。而如果你还在寻找产品市场契合,就继续自己去打电话。


