目标收敛与产品决策 Skill

使用场景

• 多轮实验已完成，需要判断哪些方向值得继续投入
• 实验结果分散，需要系统化整理和比较
• 需要从"还能试什么"收敛到"现在该做什么、不该做什么"

核心概念

• 收敛：不是想法变少，而是组织对问题、能力、形态和价值的判断越来越清楚
• 收敛信号：能证明方向值得继续工程化的证据（稳定成功率、清楚边界、用户接受度、价值密度）
• 产品决策：基于实验证据对方向做继续、延后、转向或停止的判断

收敛决策流程

假设池
  → 实验记录整理
    → 证据对比
      → 收敛信号识别
        → 产品决策
          → 进入系统构建 / 延后 / 放弃

第一步：实验记录整理

把所有实验结果结构化：

实验ID	假设	实验类型	结果	成功率	关键发现
E-01	自动回复能减少人工	商业实验	采纳率38%	低	风险过高，用户不接受
E-02	Copilot 能提升效率	产品实验	采纳率65%	中	主流程成立
E-03	售后政策AI准确率>85%	能力实验	准确率78%	低	资料不足

第二步：证据对比

从四个维度对比每个方向：

1. 技术可行性：最强模型下能力上限
2. 用户接受度：产品实验中的采纳率和满意度
3. 价值密度：商业实验中客户付费意愿
4. 资料完备度：支撑工程化的资料是否足够

第三步：收敛信号识别

强收敛信号（建议继续）

• ✅ 多轮实验成功率稳定 > 80%
• ✅ 用户采纳率 > 60%
• ✅ 价值密度明确（客户愿意付费）
• ✅ 风险边界清晰，可控

弱收敛信号（建议延后）

• ⚠️ 单轮实验效果好，但无法稳定复现
• ⚠️ 技术可行但价值密度不清晰
• ⚠️ 用户有意愿但资料不完备

无收敛信号（建议停止）

• ❌ 多轮实验无法达到可接受准确率
• ❌ 用户采纳率 < 40%
• ❌ 价值密度过低（成本 > 收益）
• ❌ 风险边界无法划定

第四步：产品决策

对每个方向给出决策：

决策	条件	后续动作
继续（进入系统构建）	四维度全部达标	启动工程化
延后	部分维度达标，资料或风险待解决	补充条件后重评
转向	原方向不可行，但相关方向有信号	调整方向重做实验
停止	核心假设被证伪	资源释放，聚焦其他方向

输出物：收敛报告与产品决策

1. 实验记录总表：所有实验的结构化整理
2. 证据对比分析：四维度评分对比
3. 收敛信号评估：强/弱/无信号判定
4. 产品决策清单：每个方向的继续/延后/转向/停止决策
5. 进入系统构建的条件：明确什么条件满足后才可进入
6. 未满足条件的补充计划：延后方向的改进路径

与其他 Skill 的关系

• 前置：@p2a-experiment-overview、@p2b-product-form-exploration、@p2c-process-redesign（各子实验结论）
• 后置：@ai-native-system-building（继续方向进入工程化）、@p2e-shadow-validation（继续方向的影子验证）
• 协同：@ai-native-direction-framing（方向调整时更新 Direction Brief）

示例

用户输入

"客服实验已完成 E-01 至 E-08 共8个实验，需要收敛判断"

Skill 执行

实验记录整理:
  E-01 自动回复 → 采纳率38%，风险过高 → 停止
  E-02 Copilot → 采纳率65%，效率提升35% → 继续
  E-03 意图识别 → 准确率88%，边界清晰 → 继续
  E-04 知识库检索 → 命中率72%，长尾不足 → 延后
  E-05 自主回复 → 风险过高 → 停止
  E-06 售后政策 → 准确率78%，需补充资料 → 延后
  E-07 情绪检测 → 可行性低 → 停止
  E-08 工单分类 → 准确率92%，价值明确 → 继续

收敛信号评估:
  | 方向 | 技术 | 用户 | 价值 | 资料 | 综合 |
  |------|------|------|------|------|------|
  | Copilot | ✅ | ✅ | ✅ | ✅ | 强收敛→继续 |
  | 意图识别 | ✅ | ✅ | ⚠️ | ✅ | 弱收敛→试点 |
  | 知识库检索 | ✅ | ⚠️ | ⚠️ | ⚠️ | 无收敛→停止 |

产品决策:
  继续: Copilot + 工单分类（进入系统构建）
  试点: 意图识别（小范围试点，继续验证价值）
  停止: 自动回复、情绪检测（资源释放）
  延后: 知识库长尾、售后政策（补充资料后重评）

进入系统构建条件:
  ✅ Copilot 采纳率65%，超过60%阈值
  ✅ 工单分类准确率92%，超过85%阈值
  ✅ 价值密度已验证（ROI>200%）
  ✅ 风险边界清晰（人工确认兜底）

---

深入核心概念

基于书稿第09章，以下概念在执行本 Skill 时需深入理解：

• 收敛是提高判断密度：收敛不是从很多方向里挑一个方向的管理动作，而是判断动作。团队面对的不是普通需求列表，而是一组能力假设、资料条件、失败模式和价值信号。收敛是让团队最终能说清楚：哪类能力已足够稳定、哪类仍脆弱但值得观察、哪类虽成立但不值得产品化、哪类从一开始就不该投入。
• 实验体系不是零散试错：很多团队做了很多 AI 尝试，但结果无法复现、无法比较，也无法判断成功或失败原因。真正的实验体系必须把实验对象、输入数据、方法版本、评估标准和结论沉淀下来。一个不能支撑收敛的实验体系，本质上等于没有实验体系。
• 收敛前的资料闸门：不是实验结果看起来不错就可以收敛，还需验证三个条件：资料覆盖是否足够（外部知识+内部业务+关键失败案例）、资料处理是否合规（脱敏+权限隔离+受控使用）、资料供给是否可持续（下一轮实验和工程化还能否拿到同类材料）。收敛结论建立在无法持续复现的材料上是常见陷阱。
• 五种收敛信号：能力信号（关键场景稳定成立）、资料信号（可得、可控、可持续供给）、使用信号（用户愿意真实使用）、价值信号（任务结果/效率/质量出现明确改善）、工程信号（能力边界清楚，可被组织成系统构建输入）。只有一两项成立通常不够，值得进入产品化的方向往往是这些信号同时出现。
• 及时停止是保护机制：一个方向应被延后或放弃的特征：能力在关键场景仍不稳定、资料条件不足且短期无改善路径、使用方式模糊无自然入口、成本和延迟无法支撑产品化、看起来能做但价值密度长期偏低。及时停止不成立的方向，是试验展开对团队最重要的保护机制之一。

分步执行指南

基于书稿方法论，本 Skill 的完整执行分为 5 步：

步骤 1：实验记录结构化整理

• 把所有实验结果结构化：实验 ID、假设、实验类型、结果、成功率、关键发现
• 保留版本、参数、失败案例和结论（确保可复现）
• 区分能力实验、产品实验、商业实验三类
• 输出实验记录总表

步骤 2：四维度证据对比

• 从四个维度对比每个方向：技术可行性（最强模型下能力上限）、用户接受度（采纳率和满意度）、价值密度（客户付费意愿）、资料完备度（支撑工程化的资料是否足够）
• 注意：AI 产品的很多误判来自只看单条成功样本，而不看整体失败分布和真实使用条件
• 输出证据对比分析表

步骤 3：收敛信号识别与判定

• 对每个方向判断五种信号：能力信号、资料信号、使用信号、价值信号、工程信号
• 强收敛（建议继续）：多轮成功率稳定 > 80%、采纳率 > 60%、价值密度明确、风险边界清晰
• 弱收敛（建议延后）：单轮效果好但无法稳定复现、技术可行但价值不清晰、有意愿但资料不完备
• 无收敛（建议停止）：多轮无法达到可接受准确率、采纳率 < 40%、价值密度过低、风险边界无法划定
• 输出收敛信号评估报告

步骤 4：产品决策

• 对每个方向给出决策：继续（进入系统构建）、延后（补充条件后重评）、转向（调整方向重做实验）、停止（资源释放聚焦其他方向）
• 继续条件：四维度全部达标；延后条件：部分维度达标但资料或风险待解决；转向条件：原方向不可行但相关方向有信号；停止条件：核心假设被证伪
• 输出产品决策清单

步骤 5：输出收敛报告与后续计划

• 整理收敛报告：实验记录总表、证据对比分析、收敛信号评估、产品决策清单
• 明确进入系统构建的条件（什么条件满足后才可进入）
• 为延后方向制定补充计划（改进路径和重评时间点）
• 确保实验结论可被继承：边界清楚、失败清楚、接口清楚、资料链路清楚

示例一：客服 AI 系统收敛决策

用户输入

"客服实验已完成 E-01 至 E-08 共 8 个实验，需要收敛判断。"

Skill 执行

实验记录整理:
  E-01 自动回复（能力实验）:
    假设: AI 自动回复能减少人工介入
    结果: 采纳率 38%，高风险承诺过多
    结论: ❌ 停止（核心假设被证伪）
  E-02 Copilot 建议（产品实验）:
    假设: Copilot 能提升客服效率
    结果: 采纳率 65%，效率提升 35%
    结论: ✅ 继续
  E-03 意图识别（能力实验）:
    假设: AI 能准确识别客户意图
    结果: 准确率 88%，边界清晰
    结论: ✅ 继续
  E-04 知识库检索（能力实验）:
    假设: AI 能从知识库准确召回答案
    结果: 命中率 72%，长尾问题不足
    结论: ⚠️ 延后（需补充知识库）
  E-05 自主回复（能力实验）:
    假设: AI 能独立完成完整回复
    结果: 风险过高（赔付承诺错误率 15%）
    结论: ❌ 停止
  E-06 售后政策（能力实验）:
    假设: AI 能准确解释售后政策
    结果: 准确率 78%，政策文档过时
    结论: ⚠️ 延后（补充资料后重评）
  E-07 情绪检测（能力实验）:
    假设: AI 能检测客户情绪
    结果: 可行性低（准确率 55%）
    结论: ❌ 停止
  E-08 工单分类（能力实验）:
    假设: AI 能自动分类工单
    结果: 准确率 92%，价值明确
    结论: ✅ 继续

四维度证据对比:
  | 方向 | 技术可行性 | 用户接受度 | 价值密度 | 资料完备度 |
  |------|-----------|-----------|---------|-----------|
  | Copilot | ✅ 采纳率65% | ✅ 满意度82分 | ✅ ROI>200% | ✅ FAQ+工单充足 |
  | 意图识别 | ✅ 准确率88% | ✅ 有明确需求 | ⚠️ 需量化验证 | ✅ 标注数据充足 |
  | 工单分类 | ✅ 准确率92% | ✅ 自动化价值高 | ✅ 减少人工分类 | ✅ 历史工单充足 |
  | 知识库检索 | ✅ 基础能力成立 | ⚠️ 长尾体验差 | ⚠️ 需评估覆盖度 | ⚠️ 长尾FAQ缺失 |
  | 售后政策 | ⚠️ 准确率78% | ⚠️ 未充分测试 | ⚠️ 需量化 | ❌ 文档过时 |

收敛信号评估:
  Copilot:
    能力信号: ✅ 采纳率65%超过60%阈值
    资料信号: ✅ FAQ和工单样本充足
    使用信号: ✅ 客服主动使用
    价值信号: ✅ 效率提升35%，ROI>200%
    工程信号: ✅ 边界清晰（人工确认兜底）
    判定: 强收敛 → 继续

  意图识别:
    能力信号: ✅ 准确率88%
    资料信号: ✅ 标注数据充足
    使用信号: ⚠️ 仅内部测试
    价值信号: ⚠️ 需量化验证实际效果
    工程信号: ✅ 边界清晰
    判定: 弱收敛 → 试点验证价值

  工单分类:
    能力信号: ✅ 准确率92%
    资料信号: ✅ 历史工单充足
    使用信号: ✅ 可直接嵌入工单系统
    价值信号: ✅ 减少人工分类工作量
    工程信号: ✅ 标准化接口
    判定: 强收敛 → 继续

  知识库检索:
    能力信号: ⚠️ 长尾命中率不足
    资料信号: ⚠️ 长尾FAQ缺失
    使用信号: ⚠️ 未充分测试
    价值信号: ⚠️ 需评估覆盖度提升空间
    工程信号: ⚠️ 边界不完全清晰
    判定: 无收敛 → 停止（补充资料后可重开）

产品决策:
  继续（进入系统构建）:
    - Copilot + 工单分类（强收敛，四维度全部达标）
  试点（小范围继续验证）:
    - 意图识别（弱收敛，需量化价值信号后决定）
  延后（补充条件后重评）:
    - 售后政策（需更新政策文档+提升准确率至85%+）
    - 知识库检索（需补充长尾FAQ200+条）
  停止（资源释放）:
    - 自动回复（E-01 核心假设证伪）
    - 自主回复（E-05 风险不可控）
    - 情绪检测（E-07 技术不可行）

进入系统构建条件:
  ✅ Copilot 采纳率 65% > 60% 阈值
  ✅ 工单分类准确率 92% > 85% 阈值
  ✅ 价值密度已验证（ROI > 200%）
  ✅ 风险边界清晰（人工确认兜底）
  ✅ 资料可持续供给

实验结论可继承性:
  边界清楚: Copilot 在订单/物流场景稳定，售后需人工
  失败清楚: 自动回复风险过高，情绪检测不可行
  接口清楚: 需要工单系统API、FAQ知识库、规则引擎
  资料链路清楚: FAQ持续更新、工单样本季度刷新、规则库专人维护

示例二：AI 文档审核系统收敛决策（对比案例）

用户输入

"文档审核实验已完成 D-01 至 D-06 共 6 个实验，需要收敛判断。场景是合同和法律文档的合规审核。"

Skill 执行

实验记录整理:
  D-01 合同条款提取（能力实验）:
    假设: AI 能从合同中提取关键条款
    结果: 准确率 91%，结构化输出稳定
    结论: ✅ 继续
  D-02 合规风险标记（能力实验）:
    假设: AI 能标记合同中的合规风险
    结果: 风险标记准确率 79%，漏过率 12%
    结论: ⚠️ 延后（漏过率过高，法律场景不可接受）
  D-03 合同对比（能力实验）:
    假设: AI 能对比两版合同差异
    结果: 差异识别率 87%，但遗漏隐含变更
    结论: ⚠️ 延后
  D-04 审核工作台（产品实验）:
    假设: 法务人员愿意使用 AI 辅助审核工作台
    结果: 采纳率 52%，满意度 71 分
    结论: ⚠️ 延后（采纳率不足）
  D-05 批量初筛（产品实验）:
    假设: AI 能对大量合同做初筛分级
    结果: 分级准确率 84%，效率提升 60%
    结论: ✅ 继续
  D-06 定价验证（商业实验）:
    假设: 客户愿意为 AI 审核付费
    结果: 3/5 客户愿意试点，但要求准确率 > 90%
    结论: ⚠️ 延后（准确率未达客户要求）

四维度证据对比:
  | 方向 | 技术可行性 | 用户接受度 | 价值密度 | 资料完备度 |
  |------|-----------|-----------|---------|-----------|
  | 条款提取 | ✅ 91% | ✅ 嵌入工作流 | ✅ 节省大量手工 | ✅ 合同样本充足 |
  | 批量初筛 | ✅ 84% | ✅ 效率+60% | ✅ 客户愿意付费 | ✅ 历史合同充足 |
  | 风险标记 | ⚠️ 79% | ⚠️ 漏过不可接受 | ⚠️ 需>90% | ⚠️ 风险案例不足 |
  | 合同对比 | ⚠️ 87% | ⚠️ 未充分测试 | ⚠️ 需量化 | ⚠️ 隐含变更样本少 |
  | 审核工作台 | ⚠️ 依赖上游 | ⚠️ 52%偏低 | ⚠️ 依赖准确率 | ✅ 流程文档充足 |

收敛信号评估:
  条款提取:
    能力信号: ✅ 准确率91%
    资料信号: ✅ 合同样本充足
    使用信号: ✅ 可嵌入现有流程
    价值信号: ✅ 大量手工提取可自动化
    工程信号: ✅ 结构化输出稳定
    判定: 强收敛 → 继续

  批量初筛:
    能力信号: ✅ 分级准确率84%
    资料信号: ✅ 历史合同充足
    使用信号: ✅ 法务团队认可
    价值信号: ✅ 效率提升60%
    工程信号: ✅ 批量处理架构成熟
    判定: 强收敛 → 继续

  风险标记:
    能力信号: ❌ 漏过率12%（法律场景不可接受）
    资料信号: ⚠️ 风险案例样本不足
    使用信号: ⚠️ 法务不信任
    价值信号: ⚠️ 客户要求>90%
    工程信号: ⚠️ 边界不清
    判定: 无收敛 → 停止（当前技术条件不满足）

产品决策:
  继续（进入系统构建）:
    - 合同条款提取（强收敛）
    - 批量初筛分级（强收敛）
  延后（补充条件后重评）:
    - 合同对比（需补充隐含变更样本，提升至92%+）
  停止（资源释放）:
    - 合规风险标记（漏过率12%，法律场景不可接受，核心假设暂不成立）
    - 审核工作台（依赖上游能力，当前准确率不足以支撑采纳率）

进入系统构建条件:
  ✅ 条款提取准确率 91% > 90% 客户要求
  ✅ 批量初筛准确率 84%，效率提升 60%
  ✅ 价值密度已验证（3/5 客户愿意试点）
  ✅ 资料可持续供给
  ⚠️ 需要明确：系统构建阶段仅覆盖条款提取和批量初筛，风险标记留待技术突破后重开

实验结论可继承性:
  边界清楚: 条款提取在标准合同模板上稳定，非标合同需人工复核
  失败清楚: 风险标记漏过率不可接受，合同对比遗漏隐含变更
  接口清楚: 需要合同文档解析API、条款知识库、分类模型
  资料链路清楚: 合同样本持续收集、条款库按行业更新、风险案例库专人维护