数据分析入门
数据分析入门
数据分析回答「产品现在怎么样、哪里出了问题、改动有没有效」。对产品经理,它不是数学题,而是一套把业务问题翻译成指标、把指标落到动作的流程:先定义指标,再拆解归因,然后用漏斗、留存与同期群定位问题,最后用看板持续监控。
本页是操作层入门。实验设计与 A/B 统计的细节见 设计评审与可用性度量,商业化指标与单位经济见 商业化与增长,AI 输出质量的三层评估见 评估与评测,埋点与数据回流见 数据与标注。
本文路线
先建数据思维(指标分层、拆解、对比),再依次上手四种最常用的分析动作:漏斗找流失、留存看粘性、同期群排除时间干扰、看板持续监控,最后落到 AI 产品经理的实操与一个完整走查。
数据分析思维
指标分层:北极星、结果、过程
指标分三层的价值是分清「最终要什么」和「中间看什么」,避免被噪音指标带偏。
| 层级 | 回答什么 | 例子 | 注意 |
|---|---|---|---|
| 北极星指标 | 产品存在的意义 | 周有效问答次数、周活跃付费用户 | 全公司对齐的一个数;随阶段可换 |
| 结果指标 | 业务最终好不好 | 收入、留存率、NPS | 反映结果,但难以直接操作 |
| 过程指标 | 用户行为过程 | 注册率、激活率、生成完成率 | 可操作,但不能只看它下结论 |
北极星指标的选择规则:同时反映用户价值与商业价值,且不被刷量污染。对 AI 产品,候选是「周有效产出次数」(生成并被采纳的结果)而不是调用量或 MAU:调用量可以被反复重试刷出来,不能代表价值。商业化与增长 对北极星指标有同款警告:只盯流量指标会把增长引向成本黑洞。
结果指标与过程指标的关系是「领先与滞后」:过程指标领先变化,结果指标滞后确认。功能改动先看过程指标(激活率、漏斗转化),再等结果指标(留存、收入)确认。只等结果指标会错过干预窗口,只看过程指标会误判业务成败。
指标拆解:公式拆解与贡献归因
拆解把一个大指标变成可定位的算式,回答「这个数为什么变了」。
公式拆解:把目标写成乘法或加法结构,逐项找异常。收入 = 活跃用户 × 付费转化率 × 客单价;付费转化率 = 进入付费页人数 ÷ 活跃用户。哪一项突变,问题就缩小到那一项。拆到能对应一个具体产品动作为止:活跃用户下跌要拆到哪个渠道、哪个版本,付费转化率下跌要拆到哪个页面。
贡献归因:当总量变化来自多个细分时,拆出每个细分的贡献。总新增 = 渠道 A 新增 + 渠道 B 新增 + 自然新增;总留存变化 = 各渠道留存变化 × 各自体量。归因的常见坑是把体量变化(新用户多了)误当质量变化(每个用户更好了),要把「数量贡献」与「率贡献」分开算。
对比与基线的陷阱
- 分母陷阱:转化率分母变化会扭曲分子。广告渠道引入大量低质用户时,付费页点击率上升但整体转化率下降,只看点击率会误判
- 辛普森悖论:总体趋势与分组趋势相反。每个渠道的转化率都提升了,总转化率却下降,因为低转化渠道的流量占比变大;分析要同时看分组与总体
- 基线漂移:对比必须有稳定的基线。促销周、版本上线、节假日都会移动基线,环比要扣掉季节性
- 幸存者偏差:只看当前活跃用户的数据,忽略了已经流失的人;留存分析要按注册同期群看,而不是按「今天还在用的人」看
- 先定义再看数:没有预先写清假设就看数据,总能找到「看起来支持结论」的数字;严谨做法是先写假设与预期方向,再用数据检验
对比先定基准
任何「涨了/跌了」的结论都缺一半:和什么比、比多久。
同比看年周期、环比看短期变化、分组对比看因果;没有基准的「涨了 20%」不构成信息。
埋点先行:数据是分析的原料
分析再熟练,没有埋点就没有数据。埋点要在功能上线前设计好,而不是上线后补:
- 事件三要素:谁(用户标识)、什么时间、发生了什么(事件名加参数)
- 事件命名规范:动词加对象,如 submit_question、generate_finish、adopt_answer,便于跨端聚合
- 关键参数:AI 产品要记「系统看到什么、返回什么、用户怎么改」,这是 badcase 回流的原料(数据与标注 有同款要求)
- 埋点评审:每次发版前过一遍埋点清单,确认分析要的字段都齐了
漏埋点是最贵的错误:事后补埋点只能收集新数据,历史数据永远缺失。判断一个埋点是否必要,问「这个事件能支撑哪个指标的哪个拆解」,答不上就砍。
漏斗分析
漏斗是分析「用户在关键路径上一步步流失」的工具:把从入口到完成的一条路径切成若干步骤,观察每步之间剩下多少人。它回答「流失在哪一步、哪一步最值得修」。
漏斗的搭建
搭建漏斗四步:
- 定义目标行为:用户完成什么算「成功」(如知识库问答的「获得可采纳的答案」)
- 拆关键步骤:把从进入到达成切成 3 到 7 步,每步是用户的一个明确动作
- 定义每步的口径:触发条件、去重规则、时间窗(如「提交问题」指点击发送按钮,同一会话 10 分钟内重复提交算一次)
- 埋点确认:先验证事件能正确上报,再开始收集
步骤数有讲究:太少看不出流失在哪,太多会把用户拆得面目全非。常规建议 3 到 7 步,每步必须对应一个用户能感知的决策点(看到了什么、做了什么决定),而不是系统内部的中间态。
转化率口径
- 单步转化率:下一步人数 ÷ 本步人数,定位每步的损耗
- 整体转化率:完成人数 ÷ 第一步人数,看全链路
- 步骤间转化率之积 = 整体转化率:这个等式可以用来校验口径;对不上的地方往往是埋点漏了或去重规则不一致
注意单步转化率与整体转化率的分母不同:单步转化率的分母是「走到这一步的人」,整体转化率的分母是「进入漏斗的人」。只看整体会掩盖中间步骤的问题,只看单步会忽略「进入漏斗的人太少」。
口径还有一个常见分歧:漏斗用「事件数」还是「人数」。做转化率分析用去重人数,做容量/成本评估用事件数,两者不能混用。报告里要写清口径,否则同一个漏斗会算出不同的数。
流失定位
找到流失最大的步骤只是起点,还要回答「谁在流失、为什么流失」:
- 哪一步流失率最高:优先修绝对流失人数最大的步骤,而不是流失率最高的(低流量步骤的 50% 流失可能只影响 10 人)
- 流失用户长什么样:按渠道、设备、新老、付费状态分群看流失率差异
- 流失原因假设:体验问题(加载慢、报错)、预期落差(结果不满足)、入口误导(用户本来要干别的事)
- 用数据验证假设:对流失用户做访谈、看会话回放、对比完成与未完成用户的行为差异
流失定位的输出不是「某步流失高」这一句结论,而是一份带证据的问题清单:哪一步、谁在流失、可能原因、验证到什么程度、下一步验什么。
漏斗的常见坑
- 新老用户混算:新用户还没学会产品、老用户已形成习惯,混在一起会拉平转化率;按新老分开建漏斗
- 时间窗不匹配:步骤间允许的时间间隔没定,用户今天进来明天完成,会被算成流失;长决策流程要给足窗口
- 样本不足:某一步人数太少时,转化率抖动剧烈,要合并统计周期或加粗粒度
- 只切不分:切了漏斗不按渠道、入口分群,看不出「哪个来源的用户更顺」;同一步骤的转化率在来源间差异常常很大
漏斗 vs 流程
漏斗是线性视角,适合路径固定、单次完成的目标。流程是状态机视角,适合有分支、可回流、多次尝试的复杂行为。AI 产品大量行为是流程而非漏斗:用户生成结果后可能不满意,修改提示词重新生成,甚至退回上一步。把流程硬套成漏斗,会漏掉「回流」这个关键行为。判断标准:用户是否必须从入口走到出口一次完成?是则用漏斗,否则先画流程再在关键节点上切漏斗。
AI 产品漏斗的特殊性
AI 产品的核心路径多一步「生成等待」,且结果质量不确定,漏斗形态与传统产品有三点差异:
- 提示词输入是新的流失点:传统表单输入成本低,提示词书写成本高,空输入、写一半放弃、粘贴外部文本都是特征行为;漏斗里要单独切「输入完成」这一步骤
- 生成等待是耐心流失点:等待时间与放弃率强相关(首 token 延迟与端到端延迟见 评估与评测 的线上指标);漏斗里要记录「生成中放弃」与「生成后放弃」的差别
- 结果采纳是 AI 特有的漏斗底:生成完成不等于成功,用户可能看一眼就关掉;「采纳率」(复制、导出、继续追问、给出好评)才是真正的完成
生成完成不等于转化
漏斗底部放「生成完成」会让 AI 产品的漏斗虚高。
用户生成后不采纳、直接离开的比例常常很大,要把「采纳」作为真正的完成事件,把「生成完成」当作过程步骤。
留存分析
留存回答「用户用过一次之后还会不会回来」。它是产品价值的长期检验:拉新可以靠投放,留存只能靠产品本身。
留存曲线的形态解读
留存曲线画的是「第 N 天或第 N 周还有多少比例的同期用户回来」。三种典型形态:
- 陡降:前 3 到 7 天快速下滑后趋平。陡降说明新用户没有在早期体验到价值;趋平的那一段才是核心用户群,要看它的绝对值高不高
- 平台:曲线下降缓慢、长期维持较高水平。产品建立了使用习惯或工作流依赖,是健康形态
- 回弹:曲线先降后升。多见于周期性使用产品(周报、月末复盘),或新功能、运营活动把用户拉回来;要区分「自然回弹」与「运营刺激回弹」
解读留存曲线先看两个点:下滑的速度(早期留存)和平台的高度(长期留存)。早期留存指向激活与 onboarding,长期留存指向习惯与不可替代性。曲线形态比单点数字重要:两个产品的 30 日留存都是 20%,一个靠老用户撑起、一个靠新用户撑起,含义完全不同。
日留存与周留存
选哪个粒度由使用频率决定:高频产品(对话助手、编辑器)看日留存,低频产品(周报、月结)看周留存。AI 产品里生成任务类偏低频,按日留存会显得很低,但按周看可能不差。粒度选错会得出「产品不行」的错误结论。
留存的另一个口径分叉是「固定队列」与「滚动留存」:
- 固定队列(fixed cohort):第 N 天当天回访才算留存,严格但不容忍使用周期抖动
- 滚动留存(rolling retention):第 N 天之前任一天回访过就算留存,容忍周期抖动,数值更高
两者不冲突,但报告里必须写清口径;对比时只能同口径比。
新老用户留存分层
把新老用户分开看,否则两个群体的趋势会互相掩盖:
| 群体 | 关注什么 | 常见问题 |
|---|---|---|
| 新用户 | 首次体验是否顺利 | 激活差、onboarding 太长 |
| 老用户 | 价值是否持续 | 功能疲劳、替代品迁移 |
| 召回用户 | 回归后是否留下 | 回归后再次流失,说明问题在核心价值不在提醒 |
分层后还要继续切分:新用户留存按渠道看,能定位「哪个渠道来的用户质量高」;老用户留存按功能使用深度看,能判断「用了某功能的用户是否更粘」。分层的原则是「一次切一个维度,切到能对应动作」。
激活对留存的影响
激活是用户完成「第一次体验核心价值」的动作,不等于注册。对 AI 产品,激活常常是第一次「被结果惊艳」的会话:第一次生成并采纳一个可用的答案、第一次跑通一个自动化任务。
- 找到激活动作:比较「做了某动作」与「没做」的用户 7 日留存差异,差异最大的那个动作就是候选 Aha
- 缩短 time-to-value:从注册到第一次成功产出的时间,每减少一步都是激活率提升
- 用 onboarding 放大激活:模板、示例数据、引导提问,把「从空白开始想问题」的成本降下来
留存优化先找 Aha
留存差先别急着做推送召回。
找到「做了 X 的用户留存明显更高」的那个 X,把 onboarding 改到让新用户尽快做 X,通常比任何运营活动都有效。
同期群分析
同期群分析(cohort analysis)把用户按「开始使用的时间」分组,跟踪每一组的后续行为。它解决的经典问题:整体留存率没变,但每一批新用户的留存都在变差。整体数据被新用户稀释,只有按同期群看才看得清。
什么是同期群
同期群是一批在同一时间段开始使用产品的用户,常见是按注册周或注册日分组。分析时固定这个分组,跟踪每组在第 1 周、第 2 周、第 4 周的留存或消费,组间纵向对比。同期群的价值在于把「时间因素」从对比中隔离出来:不同批次面对的产品不同(版本、功能、市场环境),混在一起比较会互相污染。
分组方式
| 分组维度 | 回答什么 | 典型用途 |
|---|---|---|
| 注册周/日 | 产品改动前后是否变好 | 评估版本上线、运营活动 |
| 渠道 | 哪个渠道用户质量高 | 投放决策、渠道预算分配 |
| 版本 | 新版本是否改善留存 | 模型替换、功能上线 |
| 地区/客群 | 不同市场的差异 | 区域策略 |
分组粒度要与行为周期匹配:日更产品按日看,周更产品按周看;分组太细会样本不足,太粗会掩盖差异。组内用户数低于几百时,比率会剧烈抖动,要合并相邻分组或改用更长周期。
同期群表解读
同期群表是行 = 同期群、列 = 时间周期的矩阵:
| 注册周 | 用户数 | W1 留存 | W2 留存 | W4 留存 | W8 留存 |
|---|---|---|---|---|---|
| W1 | 1000 | 30% | 20% | 15% | 12% |
| W2 | 1200 | 28% | 18% | 13% | 10% |
| W3 | 1500 | 25% | 15% | 10% | — |
| W4 | 1800 | 22% | 12% | — | — |
解读顺序:先横看一行(同一批用户的衰减),再竖看一列(不同批用户的同一时间点)。竖看 W1 留存从 30% 降到 22%,说明产品对「新用户」的吸引力在变差;这不是单批用户运气不好,而是产品层面的趋势,需要追查原因(渠道变化、版本退化、市场周期)。
同期群表只列留存率还不够,还要带每行用户数:用户数同时上升且留存率下降,说明增长渠道带来的用户质量在下降;用户数平稳但留存下降,说明产品本身在变差。两个场景的解法完全不同。
与留存的关系
留存曲线是「一批用户」随时间的行为,同期群表是「多批用户」的留存曲线的叠放。两者配合:
- 留存曲线看单批用户的健康度,同期群看跨批次的趋势
- 同期群表能区分「产品变差了」与「这届用户不行」:同一列普遍下滑是产品问题,单一行异常是该批用户问题
- 激活实验、模型替换的效果评估,用同期群对比上线前后两批用户最干净
看整体留存先分层
整体留存率不变可能同时隐藏着「新用户留存下滑」与「老用户留存上升」。
按注册同期群加新老分层双切,是看留存数据的第一步。
营收同期群
用户留存同期群之外,还有收入同期群:按注册周期群跟踪每组的累计收入或毛利,得到 LTV 曲线。它回答「这批用户长期值多少钱」,用于渠道投放与获客成本(CAC)的匹配(LTV 与 CAC 见 商业化与增长)。AI 产品的营收同期群要把推理成本从收入里扣掉再画,否则高消耗用户会贡献「虚高收入、实亏毛利」。
看板搭建
看板把指标体系变成日常可盯的画面,回答「今天产品怎么样、哪里在变」。它由三部分组成:指标分层(上文的北极星、结果、过程)、指标口径(每个数的精确定义)、告警与排查机制。
指标体系到看板
搭建顺序:
- 从北极星出发选 5 到 10 个指标:北极星 + 3 到 5 个过程指标 + 2 到 3 个护栏指标(成本、投诉、延迟)
- 每个指标写清口径:定义、计算逻辑、数据来源、刷新频率、负责人
- 分三层展示:总览页(北极星与核心结果)、过程页(漏斗与留存)、明细页(可下钻到细分)
- 给关键指标配阈值与告警:跌破阈值触发排查流程
护栏指标是 AI 产品看板最容易漏的一层:只看转化与留存,会漏掉推理成本与延迟。看板必须把「质量、成本、体验」与「增长」放在同一屏。商业化与增长 对 MAU 与毛利同表的建议同理:增长与成本必须是同一张报表。
一个示例看板
以知识库问答产品为例,三层看板的骨架:
| 层 | 放什么 | 示例指标 | 告警阈值 |
|---|---|---|---|
| 总览页 | 北极星与结果 | 周采纳问答次数、7 日留存 | 周采纳环比跌 20% |
| 过程页 | 漏斗与激活 | 各步转化率、激活率、time-to-value | 采纳率跌破 40% |
| 明细页 | 可下钻细分 | 按渠道、版本、文档集拆分 | 单版本采纳率异常 |
告警阈值的设定:先看历史分位(P10 与 P90),再配预期方向;阈值太紧天天误报,太松形同虚设。告警的意义是触发排查,不是替代人工看板。
常用工具:SQL 基本查询与 BI 概念
产品经理不一定要写复杂 SQL,但要能看懂与验证数据团队给的数。三条最常用的查询模式:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | |
BI 工具(Metabase、Tableau、Superset 等)的核心概念:数据源(连到数据仓库)、指标(口径定义)、维度(切分角度)、仪表盘(指标与维度的组合展示)。理解这四层,就能和 BI 工程师对话,也能判断一个看板做得好不好。
指标异常时怎么办
指标突变先别急着写结论,按排查路径走:
- 确认是不是真的异常:先看数据是否完整(埋点漏报、管道延迟),再看是否是已知事件(促销、版本、故障)
- 拆解定位:按维度拆(渠道、版本、地区、新老),把异常缩小到具体细分
- 找原因:对照改动记录(最近上了什么功能、换了什么模型、改了什么入口),找时间线重合的改动
- 假设验证:用同期群或 A/B 验证「是这个改动导致」而不是巧合(实验方法见 设计评审与可用性度量)
- 决定动作:回滚、修复、还是继续观察,配护栏指标决定
排查里最常犯的错是跳过第 1 步直接讲故事:先排除数据问题,再看业务原因。
异常排查先看数据
一次「留存暴跌」最后常常是埋点事件漏传或时区错位。
任何分析的第一步都是验证数据可信,再谈业务结论。
对 AI 产品经理的实操
数据分析在 AI 产品迭代里不是旁观者,而是「评测回流、badcase 定位、模型替换」这条循环的燃料(循环框架见 AI 产品开发生命周期)。
评测回流与 badcase
- 线上指标是评测集的补充:评测集是离线抽样、标注打分,线上指标是真实用户行为;两者互为验证(三层评估见 评估与评测)
- badcase 是数据飞轮的入口:用户点踩、纠错、拒绝采纳的样本,回流进评测集与训练数据,是产品持续变好的来源(回流机制见 数据与标注)
- 用留存与漏斗给评测排优先级:评测分数低的 badcase 如果只是低频长尾,优先级低于「高频且正在流失」的场景;数据分析决定评测资源投在哪
badcase 分级与回流节奏
- 分级:按影响面分 P0(大范围错误、安全)、P1(高频场景错误)、P2(低频长尾),对应不同的处理时限
- 回流节奏:P0 立即回流并触发回归,P1 进入下一迭代评测集,P2 攒批处理;回流不是「攒够了再处理」,而是「分级后各有节奏」
- 回流闭环:badcase 进评测集后,要有「修复 → 回归 → 上线 → 线上验证采纳率回升」的闭环,否则回流只是堆数据
模型替换中的数据分析
模型替换(换供应商、换版本、换提示词策略)是 AI 产品的高风险改动,数据分析给它配三件套:
- 替换前后对比:同一批流量灰度,用同期群对比替换前后两批用户的留存、采纳率、成本
- 护栏指标同步盯:质量(幻觉率代理)、体验(延迟)、成本(单请求成本)三个护栏同时看,防止「质量提升但成本翻倍」
- 回归兜底:离线评测集回归与线上指标监控并行,替换后持续观察一段时间,不只看出当天的分数
模型替换的决策不能只看评测集分数:评测集分数高但线上采纳率下降,说明评测分布与真实用户分布脱节;要以线上指标为准调整评测集(基准污染与同分布问题见 评估与评测)。
完整走查:知识库问答产品的分析
把上面的方法串成一个案例(知识库问答产品,形态见 知识库问答)。
背景:产品上线 3 个月,注册 1 万人,周活跃约 1500。团队想回答三个问题:用户在哪一步流失、留存为什么上不去、最近一次模型替换有没有效果。
第一步 搭漏斗:定义核心路径为 进入问答页 → 输入问题 → 生成完成 → 采纳答案(复制、导出、继续追问)。埋点得到:
| 步骤 | 人数 | 单步转化率 |
|---|---|---|
| 进入问答页 | 1000 | — |
| 输入问题 | 620 | 62% |
| 生成完成 | 520 | 84% |
| 采纳答案 | 220 | 42% |
流失定位:最大流失在「输入问题」前(38% 用户进入后不提问)与「采纳」前(58% 生成了但没采纳)。前者指向 onboarding 与提问引导,后者指向答案质量。
第二步 看留存:留存曲线呈陡降形态,7 日留存 15%。新老分层后发现新用户 7 日留存仅 8%,老用户约 30%。进一步对比「首次会话是否采纳过答案」的两组用户,采纳过的用户 7 日留存 35%,未采纳的 8%。激活动作指向「首次会话获得可用答案」。
第三步 做同期群:按注册周分群,发现 W1 到 W4 的 7 日留存从 18% 一路降到 10%。同期群表竖看普遍下滑,说明不是某批用户的问题,而是产品整体对新用户的吸引力在变差。时间线上对应的改动:W3 换了检索模型。结合模型替换的数据分析流程,回查替换前后的评测与线上指标,发现离线评测分数上升但「采纳率」从 45% 降到 38%,检索改版可能让「看起来相关但没用」的结果变多了。
结论与动作:漏斗指向优化提问引导(加示例问题、空态引导)与答案质量;留存分析确认激活点是「首次采纳」;同期群锁定模型替换是留存下滑的嫌疑原因。动作是回滚或优化检索策略,并给「采纳率」建看板告警。
案例的方法对应
这个走查把本文四件套各用了一遍:漏斗找流失步骤、留存曲线与分层找激活点、同期群排除「这届用户不行」的误判、看板给「采纳率」建持续监控。
对真实产品,每一步的结论都要回到数据验证再动手。
来源说明
来源说明
本页为原创整理,综合自站内相关页面:指标与留存框架见 商业化与增长,实验设计与 A/B 统计见 设计评审与可用性度量,AI 质量评估与线上指标见 评估与评测,埋点与数据回流见 数据与标注,迭代节奏见 项目管理与迭代,知识库问答形态见 知识库问答。
外部方法出处:漏斗分析(AARRR 框架见《增长黑客》,范冰)、同期群分析(cohort analysis)、北极星指标(Sean Ellis 的 North Star Metric)、留存与激活(Aha Moment)。
文中示例数据均为演示假设,不代表任何真实产品。
发现错误?想一起完善? 在 GitHub 上编辑此页!
本页面贡献者:AI-PM Wiki Team
本页面的全部内容在 CC BY-SA 4.0 和 SATA 协议之条款下提供,附加条款亦可能应用