{"id":"71de8aaa-bd08-4d61-a10c-9fd66efcbf43","shortId":"7AQ2pv","kind":"skill","title":"ai-native-production-ops","tagline":"AI Native 产品方法论——生产运行与循环回灌的实操 Skill。\n用户提供产品已上线或即将上线，Skill 自动执行生产运行流程：\n可观测性设计 → 指标体系搭建 → 失败与人工修正识别 → 反馈回灌 → 价值/商业/客户循环 → 输出生产运行方案。\n包含价值发现循环（§1）、AIOps案例（§2）、客服案例（§3）、SaaS案例（§4）、产品团队（§5）五个合并子模块。\n基于《AI Native 产品方法论》第18-27章。","description":"# AI Native 生产运行与循环回灌 Skill\n\n## 触发条件\n\n当产品已上线或即将上线，需要建立生产运行的观测、反馈和持续优化体系时，触发此 Skill。\n\n## 使用场景\n\n- 产品已上线或即将上线，需要建立生产运行的观测和学习体系\n- 需要设计反馈回灌机制，让生产环境反过来训练产品组织\n- 需要建立价值发现循环、商业循环和客户循环\n- 需要识别价值信号、排除伪价值、评估价值密度（价值发现循环）\n- 需要行业案例模板指导 AIOps、客服、SaaS 等场景（行业案例）\n- 需要设计 AI Native 团队角色、人机分工和能力建设路径（产品团队）\n\n## 执行步骤\n\n1. **五层可观测性设计**：设计基础设施层、模型与链路层、任务质量层、交互行为层、业务结果层的观测指标。\n2. **三张指标表搭建**：建立可靠性指标、业务价值指标和组织学习指标的指标体系。\n3. **反馈回灌机制设计**：设计失败识别、人工修正和价值信号如何回灌到方向定界、试验展开、系统构建和审计放行。\n4. **循环优化计划**：制定按周/月/季节奏的优化计划，明确每阶段目标和关键动作。\n5. **组织学习机制设计**：建立周度复盘会、月度质量报告和季度能力沉淀的学习机制。\n6. **输出生产运行方案**：整合可观测性方案、指标表、回灌机制和循环优化计划。\n\n## 核心概念\n\n- **生产运行（Production）**：AI 系统进入真实使用、开始暴露真实价值和真实风险的阶段\n- **AI 可观测性（AI Observability）**：围绕模型输出、上下文、工具调用、成本、人工接管和任务成功率的观测体系\n- **反馈回灌**：把生产环境中的失败、修正、行为和价值信号送回上游环节\n- **能力复利**：系统随着真实使用不断积累更好资料、评估和能力结构的长期增益\n\n## 生产运行流程\n\n```\n真实流量进入\n  → 可观测性采集\n    → 失败与人工修正识别\n      → 回灌到方向定界 / 试验展开 / 系统构建 / 审计放行\n        → 下一轮优化\n```\n\n这条链路如果断掉，生产运行就只剩被动监控；一旦打通，它才会成为方法论里的学习引擎。\n\n## 生产运行不是终点，而是现实学习的起点\n\n在传统软件里，上线往往意味着一轮交付完成；在 AI 产品里，上线更像是真实学习的开始。\n\n只有进入真实环境，团队才会看到：\nn- 用户真正如何提问，而不是测试样本里如何提问\n- 上下文在哪些地方缺失，而不是理论上应当完整\n- 哪些场景任务成功，哪些场景虽然\"回答像样\"但并没有完成任务\n- 哪些链路的成本、延迟和重试在流量放大后开始失控\n\n## 生产运行要观测什么：五层观测\n\n### 1. 基础设施层\n- 可用性、延迟、错误率、吞吐、资源消耗\n\n### 2. 模型与链路层\n- 模型版本、上下文长度、工具调用成功率、重试次数、令牌和成本\n\n### 3. 任务质量层\n- 回答质量、任务完成率、人工改写率、命中知识库效果、失败分布\n\n### 4. 交互行为层\n- 用户真正如何进入系统、在哪一步退出、哪些入口最有价值、哪些问题最常见\n\n### 5. 业务结果层\n- 是否真的缩短时长、降低成本、提升转化、增加留存或改善服务质量\n\n如果只监控第一层和第二层，团队得到的只是\"系统是否活着\"；如果连第三层到第五层也看清，团队才知道\"系统是否真的在创造价值\"。\n\n## 三张指标表\n\n生产指标至少应该分成三类：\n\n### 可靠性指标\n- 延迟、错误率、失败分布、人工接管率、回退率\n\n### 业务价值指标\n- 时长缩短、转化变化、满意度、采纳率、留存或复购\n\n### 组织学习指标\n- 新增失败样本数、人工修正沉淀量、新评测覆盖率、规则更新速度\n\n这样做的意义在于，团队不会把\"系统还在线\"误当成\"产品已经成功\"，也不会把\"业务指标暂时好看\"误当成\"系统已经稳定可复用\"。\n\n## AI 可观测性：不只是日志\n\n生产观测至少应保留以下信息：\n\n- **输入与场景**：用户问题、任务类型、入口、时间、角色\n- **关键上下文**：检索到哪些知识、拼接了哪些上下文、使用了哪个模型和版本\n- **执行轨迹**：调用了哪些工具、每一步是否成功、在哪里回退或终止\n- **输出结果**：最终回答、执行结果、结构化产物、失败类型\n- **人工信号**：人工接管、人工修改、用户反馈、投诉、升级工单\n\n这套观测不是为了国日志，而是为了后续判断问题究竟来自模型、Context、Workflow、Knowledge、权限配置，还是产品入口本身。\n\n## 反馈回灌机制\n\n生产环境中的失败、修正、行为和价值信号应该回灌到：\n\n- **方向定界**：是否需要重新定义问题或调整战略\n- **试验展开**：新的失败模式是否需要新的实验\n- **系统构建**：系统边界是否需要调整\n- **审计放行**：放行边界是否需要收紧或放宽\n\n## 三环模型\n\n### 产品循环（Product Loop）\n```\n方向定界 → 试验展开 → 系统构建 → 审计放行 → 生产运行\n```\n回答：产品如何被持续构建\n\n### 价值发现循环（Value Discovery Loop）\n```\n试验展开 → 价值发现 → 市场测试 → 定价判断 → 方向调整\n```\n回答：价值如何被持续发现\n\n### 客户循环（Customer Loop）\n```\n已验证能力 → 早期客户 → 使用反馈 → 产品改进 → 客户扩张\n```\n回答：客户如何推动产品持续成长\n\n### 三环协同\n客户反馈会影响价值判断，价值判断会影响产品方向，产品方向又会反过来决定下一轮实验重点。\n\n## 治理层与能力层\n\n### 治理层（Governance Layer）\n一套贯穿式机制：方向边界、实验评估、工程安全、审计放行、生产监控。没有治理层，循环会不断转，但转出来的东西不一定可被信任。\n\n### 能力层（Capability Layer）\n智能体、技能单元、记忆、上下文、检索增强生成、知识系统、工具和数据这些能力底座。没有能力层，循环就缺乏真正可以沉淀和复用的系统资产。\n\n## 输出物：生产运行方案\n\n1. **可观测性方案**：五层观测的具体指标和工具\n2. **三张指标表**：可靠性、业务价值、组织学习指标\n3. **反馈回灌机制**：如何把生产信号送回上游环节\n4. **循环优化计划**：下一轮优化的方向和重点\n5. **组织学习机制**：如何让团队从生产环境中持续学习\n\n## 使用方式\n\n当用户提供产品已上线或即将上线时，自动执行：\n\n1. 设计五层可观测性方案\n2. 搭建三张指标表\n3. 设计反馈回灌机制\n4. 设计循环优化计划\n5. 设计组织学习机制\n6. 输出生产运行方案\n\n## 示例\n\n### 示例：AI 客服系统生产运行设计\n\n**场景描述**：\nAI 客服 Copilot 已上线，需要设计完整的生产观测和反馈回灌体系。\n\n**用户输入**：\n\"我们的 AI 客服已经上线两周，想建立系统的观测和优化机制\"\n\n**Skill 执行流程**：\n\n1. **五层可观测性设计**\n\n```yaml\n基础设施层:\n  - API 响应时间: P50<500ms, P95<1500ms\n  - 可用性: 99.9%\n  - 错误率: <0.1%\n  \n模型与链路层:\n  - 模型版本追踪: 每次调用记录版本号\n  - 上下文长度: 平均 tokens 数\n  - 工具调用成功率: 订单查询 99.5%, 物流查询 99%\n  - 成本: 每次对话 <$0.02\n  \n任务质量层:\n  - AI 建议采纳率: >60%\n  - 人工修改率: <40%\n  - 意图识别准确率: >85%\n  - 知识库命中率: >70%\n  \n交互行为层:\n  - 会话平均轮数: 3.2轮\n  - 用户等待时间: 平均45秒\n  - 主动转人工率: 15%\n  - 升级投诉率: <2%\n  \n业务结果层:\n  - 首响时间: 从5分钟降至1分钟\n  - 会话解决率: 78%\n  - 客服满意度: 85分\n  - 培训周期: 从2周缩短至5天\n```\n\n2. **三张指标表**\n\n| 指标类型 | 指标名 | 目标值 | 预警阈值 |\n|----------|--------|--------|----------|\n| 可靠性 | 服务可用性 | 99.9% | <99.5% |\n| 可靠性 | API错误率 | <0.1% | >0.5% |\n| 业务价值 | 建议采纳率 | >60% | <50% |\n| 业务价值 | 用户满意度 | >80分 | <75分 |\n| 业务价值 | 会话解决率 | >75% | <70% |\n| 组织学习 | 新增失败样本/周 | >50 | - |\n| 组织学习 | 人工修正入库率 | >30% | <20% |\n\n3. **反馈回灌机制**\n\n```yaml\n失败识别与回灌:\n  \n  模式1_意图识别错误:\n    识别: 客服修改了AI的意图分类\n    回灌: 样本库 → 试验展开（重新评估模型）\n    周期: 每周\n    \n  模式2_知识库缺失:\n    识别: \"未找到相关信息\"触发\n    回灌: 缺失信息清单 → 系统构建（补充知识库）\n    周期: 每日\n    \n  模式3_高风险误判:\n    识别: 涉及赔付/投诉的建议被人工拦截\n    回灌: 审计放行（收紧边界规则）\n    周期: 实时\n    \n  模式4_用户不满意:\n    识别: 满意度评分 < 3\n    回灌: 方向定界（重新定义问题边界）\n    周期: 每周分析\n```\n\n4. **循环优化计划**\n\n| 阶段 | 目标 | 关键动作 | 成功标准 |\n|------|------|----------|----------|\n| 第1月 | 稳定运行 | 监控+应急响应 | 可用性>99.9% |\n| 第2月 | 优化采纳率 | 分析拒用原因 | 采纳率>70% |\n| 第3月 | 扩展场景 | 新增售后咨询 | 覆盖场景+2 |\n| 第4月 | 自动化提升 | 试点自动发送低风险建议 | 自动率20% |\n\n5. **组织学习机制**\n\n```yaml\n周度复盘会:\n  参与: 产品经理 + 技术 + 客服主管\n  内容:\n    - 本周采纳率/修改率趋势\n    - 典型案例分享（成功+失败）\n    - 新发现问题汇总\n    - 下周优化重点\n\n月度质量报告:\n  自动产出:\n    - 指标仪表板\n    - Top10 失败类型分析\n    - 知识库覆盖度报告\n    - 修正样本质量评估\n\n季度能力沉淀:\n  产出:\n    - 更新客服 SOP\n    - 补充知识库规则\n    - 优化评估 Rubric\n    - 案例库清洗与更新\n```\n\n**输出结果**：\n\n```yaml\n# 生产运行方案：AI 客服 Copilot\n\n可观测性方案:\n  监控工具: Datadog + 自建仪表板\n  告警策略:\n    - P0: 服务不可用、错误率>1%\n    - P1: 响应时间P95>3s、采纳率<50%\n    - P2: 成本单次>$0.05、投诉率>3%\n    \n  日志规范:\n    - 每次请求: 请求ID + 模型版本 + 输入摘要\n    - 每次回复: 建议内容 + 置信度 + 风险标记\n    - 每次人工操作: 采纳/修改/拒绝 + 原因标签\n\n反馈回灌链路:\n\n  生产环境 → 试验展开:\n    - 新增失败样本 → 评估数据集扩充\n    - 边界案例发现 → 新一轮能力实验\n    \n  生产环境 → 系统构建:\n    - 知识缺口清单 → 知识库更新任务\n    - 意图冲突案例 → 分类规则优化\n    \n  生产环境 → 审计放行:\n    - 误判事故 → 边界收紧\n    - 新风险场景 → 规则更新\n\n循环优化节奏:\n  每周: 指标复盘 + 快速修复\n  每月: 质量报告 + 中等优化\n  每季: 能力沉淀 + 重大升级\n\n组织学习:\n  建立\"客服-产品-技术\"三方周会\n  设立\"AI质量专员\"角色\n  建立知识库贡献激励机制\n```\n\n---\n\n## §1 价值发现循环（原 p10a-value-discovery-loop）\n\n> 基于《AI Native 产品方法论》第22章。合并自独立 Skill p10a-value-discovery-loop。\n\n### 使用场景\n\n- AI 产品已进入实验或早期使用阶段，需要判断哪些能力真正形成价值\n- 团队有多个候选方向，需要用价值信号而非主观判断来决策优先级\n- 产品已有用户使用，但无法判断增长是\"真实价值\"还是\"新鲜感效应\"\n- 需要设计从价值发现到定价策略到方向调整的完整闭环\n\n### 核心概念\n\n- **价值发现循环（Value Discovery Loop）**：围绕实验、价值验证、市场测试和方向修正的持续循环\n- **价值信号**：能证明能力正在形成真实业务价值的连续信号\n- **伪价值信号**：看起来亮眼但无法转化为持续使用或付费意愿的假信号\n- **价值密度**：某项能力对任务结果、时间成本和付费意愿的综合影响强度\n\n### 价值发现循环流程\n\n```\n试验展开\n  → 能力成立 → 价值发现（信号识别）\n    → 伪价值排除\n      → 价值密度评估\n        → 市场测试设计\n          → 定价策略联动\n            → 方向修正建议\n              → 回流到方向定界\n```\n\n### 五类价值信号识别\n\n1. **效率信号**：任务处理时间缩短、人工介入下降、吞吐量上升\n2. **质量信号**：错误率下降、输出一致性提升、完成质量更稳定\n3. **覆盖信号**：长尾问题被处理、新场景被覆盖、边界案例解决率上升\n4. **行为信号**：用户反复使用、交更多真实任务、使用深度增加\n5. **商业信号**：客户付费试点、续期或扩大场景、表达购买意愿\n\n### 四类伪价值信号排除\n\n1. **演示陷阱**：演示效果惊艳但日常使用频率极低 → 对比演示通过率 vs 日常使用率\n2. **新鲜感效应**：用户觉得\"很酷\"但不改变原有工作方式 → 追踪30天留存曲线\n3. **成本幻觉**：一次性提升明显但成本/延迟/维护代价过高 → 计算单位价值成本比\n4. **能力-付费断层**：团队能做出来但客户不愿持续付费 → 测试付费意愿而非满意度\n\n### 价值密度评估框架\n\n| 维度 | 问题 | 权重 |\n|------|------|------|\n| 任务结果改善 | 这项能力改变了什么任务结果？ | 40% |\n| 时间/成本节约 | 为谁节约了多少时间或成本？ | 30% |\n| 付费意愿 | 谁愿意为此持续付费？ | 30% |\n\n- **高价值密度**：三个维度都有明确答案\n- **中价值密度**：任务结果和成本有答案，付费不确定\n- **低价值密度**：只有一个维度有模糊答案 → 应考虑停止投入\n\n### 价值发现到定价策略联动\n\n```\n价值密度评估\n  → 高密度能力：设计确定性溢价定价\n    → 中密度能力：设计用量阶梯定价\n      → 低密度能力：纳入免费引流层或停止投入\n```\n\n### 价值发现回流到方向定界\n\n1. **场景价值重估**：某类场景价值远高于原预期 → 提升优先级\n2. **能力价值筛选**：某类能力成立但价值密度不足 → 降低优先级\n3. **客户分层修正**：某类客户愿意付费，另一类不在意 → 调整目标客户\n4. **方向重写**：以上信息综合 → 更新 Direction Brief\n\n### 输出物：价值发现方案\n\n1. 价值信号清单：已识别的五类信号及强度\n2. 伪价值排除报告：已排除的伪价值信号及原因\n3. 价值密度评估表：每项能力的三维度评分\n4. 市场测试设计：如何验证高价值密度的定价和场景\n5. 方向修正建议：对 Direction Brief 的具体修改建议\n\n---\n\n## §2 AIOps 行业案例（原 p10b-aiops-case）\n\n> 基于《AI Native 产品方法论》第19章。合并自独立 Skill p10b-aiops-case。\n\n### 使用场景\n\n- 运维团队希望引入 AI 能力，需要系统性方法论指导\n- 需要为 AIOps 产品设计从方向到生产的完整路径\n- 关注高风险、强约束、重责任场景的 AI 化方法\n\n### AIOps 特征与适配性\n\n| AIOps 特征 | 对方法论的影响 |\n|------------|--------------|\n| 高风险：错误建议直接导致故障扩大 | 必须有强审计放行和人在回路机制 |\n| 知识密集：依赖专家经验 | 需要知识沉淀和检索增强 |\n| 实时性强：响应时间要求高 | 模型延迟必须纳入评估 |\n| 可解释性：决策必须可追溯 | 上下文工程和日志是基础设施 |\n| 责任边界清晰：谁决策谁负责 | Agent 边界设计是核心 |\n\n### 典型 AIOps 能力分层\n\n- **第一层：值班辅助（低风险）**：日志解释与摘要、告警聚类与去重、案例召回 → 自动 + 人在回路中\n- **第二层：分诊辅助（中风险）**：故障影响范围判断、根因概率排序、处置建议推荐 → Copilot + 人在回路中\n- **第三层：自动处置（高风险）**：自动扩缩容、切流、补丁 → 人在监督中 + 强审计\n\n### 方法论路径\n\n方向定界 → 试验展开（验证日志解释/告警聚类/案例召回）→ 系统构建 → 审计放行（高风险场景）→ 生产运行（值班面板）→ 价值发现\n\n---\n\n## §3 AI 客服行业案例（原 p10c-customer-service-case）\n\n> 基于《AI Native 产品方法论》第20章。合并自独立 Skill p10c-customer-service-case。\n\n### 使用场景\n\n- 客服团队希望引入 AI 能力，需要系统性方法论指导\n- 需要设计客服 Copilot 或智能客服系统的完整路径\n- 关注服务协同、经验复利、反馈驱动的持续优化场景\n\n### 客服场景特征与适配性\n\n| 客服特征 | 对方法论的影响 |\n|---------|--------------|\n| 高频重复：同类问题大量发生 | 适合 AI 规模化，价值密度容易验证 |\n| 知识密集：依赖 SOP 和历史经验 | 需要 RAG 和知识沉淀系统 |\n| 风险可控：错误影响相对有限 | 可更快进入灰度和自主模式 |\n| 反馈丰富：用户互动产生大量标注 | 天然适合持续学习和反馈回灌 |\n| 商业价值清晰：省人力、提体验 | 适合商业实验和定价验证 |\n\n### 客服能力分层\n\n- **第一层：辅助检索（低风险）**：FAQ 问答、状态查询、政策解释 → 自动回答 + 知识库兜底\n- **第二层：Copilot 协同（中风险）**：回复建议生成、意图识别、风险标记 → Copilot + 人工确认\n- **第三层：自动处理（高风险）**：自动退款建议、好评引导、投诉预判 → 人在回路中 + 严格审计\n\n### 方法论路径\n\n方向定界 → 试验展开 → 系统构建 → 审计放行 → 生产运行 → 客户循环 → 价值发现\n\n---\n\n## §4 AI Native SaaS 行业案例（原 p10d-saas-case）\n\n> 基于《AI Native 产品方法论》第21章。合并自独立 Skill p10d-saas-case。\n\n### 使用场景\n\n- 传统 SaaS 产品需要 AI Native 化改造\n- 需要设计数据分析类产品的 AI 能力升级路径\n- 关注语义层构建、能力护城河和数据飞轮建设场景\n\n### AI Native SaaS 特征与适配性\n\n| SaaS 特征 | 对方法论的影响 |\n|-----------|--------------|\n| 功能型 → 能力型 | 不是加 AI 功能，而是重写能力入口 |\n| 语义层依赖 | 需要构建业务语义理解和指标语义层 |\n| 数据积累 | 用户数据形成天然的反馈飞轮 |\n| 能力护城河 | 真实使用越多，能力越难被复制 |\n| 订阅商业模式 | 适合用价值信号驱动续费 |\n\n### SaaS AI Native 化分层\n\n- **第一层：增强型**：自然语言查询替代下拉筛选、AI 解读取代固定报表、异常自动发现 → 加在现有产品上快速验证\n- **第二层：重构型**：问答即分析、主动洞察推送、预测性建议 → 产品全面 AI Native 化\n- **第三层：自主型**：AI 自动执行业务动作、跨系统自动化工作流 → 有强集成能力的高阶产品\n\n### 方法论路径\n\n方向定界 → 试验展开 → 系统构建（语义层+Agent设计）→ 审计放行（数据准确性）→ 生产运行（数据飞轮建设）\n\n---\n\n## §5 AI Native 产品团队（原 p11-product-team）\n\n> 基于《AI Native 产品方法论》第25章。合并自独立 Skill p11-product-team。\n\n### 使用场景\n\n- 团队正在或计划引入 AI 能力，需要重新设计工作角色和协作流程\n- 团队中 AI 能力与传统产品能力之间出现职责重叠或空白\n- 需要建立 AI Native 时代的团队能力建设和招募路径\n\n### 核心概念\n\n- **人机分工设计**：根据能力特征分配给人类或 AI，避免\"所有人都要用 AI\"或\"AI 能做的就不需要人\"\n- **能力缺口识别**：评估团队在 AI 时代缺少哪些新能力（如 AI 评估、Agent 设计、反馈工程）\n- **AI 质量专员**：专门负责 AI 输出质量的评估、反馈和优化的新角色\n\n### 团队设计四步法\n\n1. **角色梳理**：现有角色 × AI 能力矩阵，识别 AI 可承接/人仍主导/需新增的能力\n2. **人机分工设计**：AI 接管高频标准化工作，人类保留低频高风险判断，新增\"AI 质量评估\"类角色\n3. **能力缺口识别**：P0 AI评估能力+反馈工程、P1 Agent运维+上下文设计+AI风险管理、P2 人机协作设计\n4. **团队协作流程**：从传统瀑布流程改为 AI Native 流程（快速原型实验 + AI Copilot + 持续反馈 + AI 质量评估）\n\n### 人机分工决策框架\n\n| 任务特征 | 分配 |\n|---------|------|\n| 高频、标准化、有评估标准 | AI 主导 |\n| 低频、模糊、无标准答案 | 人类主导 |\n| 高风险、不可逆 | 人类主导 + AI 建议 |\n| 需要跨角色协作 | 人在回路中 |\n| 全新领域、无历史数据 | 人类主导 + 快速实验 |\n\n### AI 质量专员职责\n\n- 评估 AI 输出质量：建立评估标准和 Rubric\n- 反馈工程：设计反馈机制，让 AI 持续改进\n- 边界维护：确保 AI 不超出能力边界\n- 案例沉淀：积累成功和失败案例，形成团队知识\n\n### 输出物：AI Native 团队方案\n\n1. 角色 × AI 能力矩阵\n2. 人机分工协议\n3. 能力建设路线图\n4. 新增角色 JD（AI 质量专员等）\n5. 协作流程改造方案\n\n---\n\n## 示例\n\n### 示例一：AIOps 持续优化循环——从值班辅助到组织级能力系统\n\n**场景描述**：\n\n某互联网公司的运维团队已部署 AIOps 值班辅助系统上线三个月。系统具备日志解释、告警聚类、相似案例召回三项能力，日均辅助处理 200+ 条告警。但近期出现三个问题：（1）新型微服务故障的根因识别准确率从 82% 跌至 65%；（2）值班工程师反映\"建议太多、不知道该先看哪条\"；（3）两次误判导致错误扩容，造成资源浪费。团队需要建立持续优化机制，让生产环境的失败和修正变成组织能力，而不是每周重复同样的问题。\n\n**用户输入**：\n\n\"AIOps 系统上线三个月，故障分诊准确率在下降，值班工程师抱怨建议质量，还出过两次误判扩容。需要建立从生产反馈到能力沉淀的完整循环。\"\n\n**Skill 执行流程**：\n\n1. **五层可观测性设计**\n\n```yaml\n基础设施层:\n  - 告警处理吞吐: 峰值 500 条/分钟\n  - API 响应时间: P95 < 2s（值班场景要求低延迟）\n  - 系统可用性: 99.95%\n\n模型与链路层:\n  - 模型版本: 记录每次推理的模型版本 + prompt 版本\n  - 工具调用成功率: 日志检索 99.2%, 案例召回 95%, 告警聚合 98%\n  - 重试与回退: 超时 3s 自动回退到关键词检索\n  - 每次推理成本: < $0.005\n\n任务质量层:\n  - 故障分诊准确率: 目标 >80%（当前 65%，需诊断下降原因）\n  - 根因 Top-3 命中率: >90%\n  - 建议采纳率: 值班工程师实际采纳/总建议数 >55%\n  - 人工改写率: <30%\n  - 误判率: <2%（误判 = 错误建议导致生产动作）\n\n交互行为层:\n  - 建议查看率: 值班工程师打开并阅读建议的比例\n  - 建议优先级感知: 工程师是否按建议排序处理\n  - 平均分诊时间: 从告警触发到确认根因的时长\n  - 升级率: 需要升级到领域专家的比例\n\n业务结果层:\n  - MTTR（平均故障恢复时间）: 从 45min 降至 25min\n  - 无效升级率: 从 35% 降至 18%\n  - 新人独立处置率: 入职 <6 个月工程师独立完成分诊的比例\n  - 专家过载指数: 高级工程师被升级打断的频次\n```\n\n2. **三张指标表**\n\n| 指标类型 | 指标名 | 当前值 | 目标值 | 预警阈值 |\n|----------|--------|--------|--------|----------|\n| 可靠性 | 系统可用性 | 99.92% | 99.95% | <99.9% |\n| 可靠性 | 推理延迟 P95 | 1.8s | <2s | >3s |\n| 可靠性 | 误判导致生产动作 | 2次/季 | 0 | ≥1次/月 |\n| 业务价值 | 故障分诊准确率 | 65% | >80% | <70% |\n| 业务价值 | MTTR | 32min | <25min | >40min |\n| 业务价值 | 建议采纳率 | 48% | >55% | <40% |\n| 组织学习 | 新增故障模式/周 | 3 | >5 | - |\n| 组织学习 | 人工修正入库率 | 15% | >40% | <20% |\n| 组织学习 | 案例库更新频次 | 月更 | 周更 | >2周未更新 |\n\n3. **反馈回灌机制**\n\n```yaml\n失败识别与回灌:\n\n  模式1_新型故障模式未覆盖:\n    识别: 连续 3 次同类故障分诊失败\n    根因: 微服务架构升级后产生的新故障模式不在案例库中\n    回灌: 系统构建（补充案例库 + 检索索引重建）+ 试验展开（新故障模式评测集）\n    周期: 每周复盘时批量处理\n\n  模式2_建议排序失效:\n    识别: 值班工程师忽略排序建议，自行决定处理顺序\n    根因: 风险评估模型未纳入业务影响权重，纯技术指标排序\n    回灌: 系统构建（重排模型加入业务影响因子）+ 方向定界（重新定义\"优先级\"的业务含义）\n    周期: 双周迭代\n\n  模式3_误判导致错误动作:\n    识别: AI 建议扩容/重启/切流，执行后问题扩大\n    根因: 系统未充分评估动作副作用，缺乏回滚预案\n    回灌: 审计放行（所有生产动作建议必须附带回滚方案 + 双人确认）+ 系统构建（动作副作用评估模块）\n    周期: 实时触发，24h 内完成根因分析\n\n  模式4_专家经验未沉淀:\n    识别: 领域专家处理了故障但修正未回流系统\n    根因: 修正流程需要手动填写，工程师不愿额外操作\n    回灌: 系统构建（自动从聊天记录和工单中提取修正）+ 试验展开（修正样本自动进入评测集）\n    周期: 持续优化\n```\n\n4. **循环优化计划**\n\n| 阶段 | 目标 | 关键动作 | 成功标准 |\n|------|------|----------|----------|\n| 第1月 | 止血：遏制准确率下降 | 分析 65%→80% 的差距来源；补充 Top3 故障模式案例 | 分诊准确率 >75% |\n| 第2月 | 增强：提升建议质量 | 引入业务影响权重排序；优化建议展示（附证据链） | 采纳率 >60%，工程师满意度 >7/10 |\n| 第3月 | 沉淀：建立自动回灌机制 | 上线自动修正提取；建立周度案例更新流水线 | 人工修正入库率 >40% |\n| 第4月 | 扩展：覆盖更多故障域 | 新增网络和存储域故障模式；试点自动低风险处置（如自动扩容预审） | 覆盖故障域 +2，MTTR <25min |\n\n5. **组织学习机制**\n\n```yaml\n周度复盘会:\n  参与: 值班 TL + AIOps 产品 + SRE 代表\n  内容:\n    - 本周分诊准确率趋势与偏差分析\n    - Top3 失败案例逐条复盘（根因→回灌动作→责任人）\n    - 值班工程师反馈汇总\n    - 案例库本周新增/更新情况\n\n月度质量报告:\n  自动产出:\n    - 分诊准确率按故障域分布\n    - 建议采纳率按工程师经验水平分布\n    - 误判事件清单与根因分类\n    - 案例库覆盖率 vs 实际故障类型分布\n    - MTTR 趋势与分解\n\n季度能力沉淀:\n  产出:\n    - 更新故障分诊 SOP（纳入新故障模式）\n    - 优化风险评估 Rubric（加入业务影响维度）\n    - 案例库大版本更新 + 评测集基线刷新\n    - 输出\"值班能力成熟度报告\"给管理层\n```\n\n**输出结果**：\n\n```yaml\n# 生产运行方案：AIOps 值班辅助系统——持续优化循环\n\n可观测性方案:\n  监控工具: Prometheus + Grafana + 自建 AI 质量仪表板\n  告警策略:\n    - P0: 误判导致生产动作、系统不可用\n    - P1: 分诊准确率连续 3 天 <70%、建议采纳率 <40%\n    - P2: 案例库 >2 周未更新、新型故障模式未入库\n\n  日志规范:\n    - 每次推理: 请求ID + 模型版本 + prompt 版本 + 检索结果摘要\n    - 每条建议: 建议内容 + 置信度 + 证据链（日志片段 + 历史案例）+ 风险等级\n    - 每次人工操作: 采纳/修改/拒绝 + 修改内容 + 原因标签\n\n反馈回灌链路:\n\n  生产环境 → 试验展开:\n    - 新故障模式 → 评测集扩充 + 模型微调样本\n    - 误判案例 → 回归测试集\n\n  生产环境 → 系统构建:\n    - 案例库缺口 → 检索索引重建\n    - 排序失效 → 风险评估模型更新\n    - 专家修正 → 自动提取入库\n\n  生产环境 → 审计放行:\n    - 误判事件 → 生产动作建议必须附回滚方案 + 双人确认\n    - 新风险场景 → 放行边界更新\n\n循环优化节奏:\n  每周: 指标复盘 + 失败案例分析 + 快速修复\n  每月: 质量报告 + 中等优化迭代\n  每季: 案例库大更新 + SOP 刷新 + 成熟度评估\n\n组织学习:\n  建立\"值班-AIOps-SRE\"三方周会\n  设立\"AI 运维质量工程师\"角色（负责案例库维护和评测集管理）\n  建立值班工程师\"修正贡献积分\"激励机制\n```\n\n---\n\n### 示例二：AI 客服系统价值发现与反馈回灌——从协同工具到服务能力资产\n\n**场景描述**：\n\n某电商平台的 AI 客服 Copilot 已上线六个月，覆盖售前咨询、订单查询、退换货处理三大场景。系统日均辅助 3000+ 次会话，客服建议采纳率稳定在 62%。但产品经理发现三个现象：（1）售前咨询场景的采纳率高达 78%，但退换货场景仅 41%；（2）管理层对\"AI 客服到底省了多少人力\"说不清楚；（3）用户满意度调查显示，用了 AI 的会话满意度（82 分）和没用 AI 的（80 分）差距不大。团队需要搞清楚哪些能力真正形成价值、哪些只是\"看起来在工作\"，并建立持续发现和沉淀价值的机制。\n\n**用户输入**：\n\n\"AI 客服上线半年，整体数据还行但管理层质疑价值。售前和退换货差距大，满意度提升不明显。需要判断哪些能力真正有价值，怎么把生产反馈变成持续增长的飞轮。\"\n\n**Skill 执行流程**：\n\n1. **五层可观测性设计**\n\n```yaml\n基础设施层:\n  - 会话并发: 峰值 500 并发\n  - 响应时间: 建议生成 P95 < 3s\n  - 系统可用性: 99.9%\n\n模型与链路层:\n  - 模型版本: 每次推理记录版本 + RAG 检索策略版本\n  - 工具调用: 订单查询成功率 99.8%, 退换货政策检索 97%, 物流查询 99%\n  - 知识库命中: Top-3 相关性 >85%\n  - 每次会话成本: < $0.03\n\n任务质量层:\n  - 建议采纳率（分场景）: 售前 78%, 订单查询 68%, 退换货 41%\n  - 人工修改率: 整体 38%, 退换货场景 55%\n  - 任务完成率: 用户问题被解决而非仅回答的比例\n  - 失败分布: 按场景、按失败类型（意图错误/知识缺失/规则误判/话术不当）\n\n交互行为层:\n  - 客服使用深度: 主动调用 AI vs 被动接收建议\n  - 会话流转: 用户在哪一步转人工、在哪一步放弃\n  - 复杂工单处理路径: AI 辅助 vs 纯人工的路径差异\n  - 客服经验水平 × 采纳率: 新手 vs 资深客服的使用差异\n\n业务结果层:\n  - 首响时间: 从 3min 降至 45s\n  - 人均处理量: 从 80 单/天提升至 120 单/天\n  - 培训周期: 从 3 周缩短至 1 周\n  - 用户满意度: 分场景、分客龄、分问题类型\n  - 人力成本: 实际节省的 FTE 数（需对照组实验）\n```\n\n2. **三张指标表**\n\n| 指标类型 | 指标名 | 当前值 | 目标值 | 预警阈值 |\n|----------|--------|--------|--------|----------|\n| 可靠性 | 系统可用性 | 99.91% | 99.9% | <99.5% |\n| 可靠性 | 知识库命中率 | 83% | >90% | <75% |\n| 可靠性 | 退换货政策检索准确率 | 88% | >95% | <85% |\n| 业务价值 | 整体建议采纳率 | 62% | >70% | <55% |\n| 业务价值 | 退换货场景采纳率 | 41% | >60% | <35% |\n| 业务价值 | 人均处理量 | 120单/天 | >130单/天 | <100单/天 |\n| 业务价值 | 用户满意度 | 82分 | >88分 | <78分 |\n| 组织学习 | 新增失败样本/周 | 35 | >80 | - |\n| 组织学习 | 人工修正入库率 | 22% | >50% | <15% |\n| 组织学习 | 场景覆盖度 | 3/7 | >5/7 | - |\n\n3. **反馈回灌机制**\n\n```yaml\n失败识别与回灌:\n\n  模式1_退换货场景低采纳（价值信号分析）:\n    识别: 退换货采纳率 41%，人工修改率 55%\n    根因拆解:\n      - 40% 的修改来自\"规则引用不准确\"（退换货政策版本滞后）\n      - 35% 的修改来自\"缺少订单上下文\"（未关联物流状态）\n      - 25% 的修改来自\"话术不当\"（语气过于机械，涉及退款时缺乏共情）\n    回灌:\n      - 系统构建: 退换货规则库实时同步 + 物流状态自动关联\n      - 试验展开: 退换货场景专项评测集 + 话术优化实验\n      - 审计放行: 退款建议必须展示引用规则版本 + 金额依据\n    周期: 2 周迭代\n\n  模式2_价值信号识别与伪价值排除:\n    识别: 需要回答\"AI 客服到底省了多少人力\"\n    分析框架:\n      效率信号: 人均处理量 +50%（强信号）\n      质量信号: 满意度仅 +2 分（弱信号，需深挖）\n      行为信号: 客服主动调用率 70%（强信号，说明真在用）\n      商业信号: 尚未测试付费意愿（待验证）\n    伪价值排查:\n      - 演示陷阱? → 日常使用率 70%，排除\n      - 新鲜感效应? → 6 个月留存曲线平稳，排除\n      - 成本幻觉? → 单次会话 $0.02，人力替代比 1:8，有效\n      - 能力-付费断层? → 需测试：如果收费，客服主管是否续费\n    回灌: 方向定界（售前场景是高价值密度，应优先扩展；退换货需先补齐能力再放量）\n\n  模式3_满意度提升不明显:\n    识别: AI 辅助会话满意度 82 分 vs 纯人工 80 分，差距不显著\n    根因拆解:\n      - 售前场景: AI 辅助 88 分 vs 纯人工 81 分（显著提升）\n      - 退换货场景: AI 辅助 76 分 vs 纯人工 79 分（反而下降！）\n    回灌:\n      - 方向定界: 退换货场景在能力未成熟时不应大规模放量\n      - 审计放行: 退换货场景加入满意度实时监控，低于人工水平时自动降权\n      - 系统构建: 退换货场景增加共情话术模板 + 退款场景特殊处理流程\n\n  模式4_服务能力未沉淀:\n    识别: 资深客服的高质量人工修改未回流系统\n    根因: 修改记录存在但无人整理，缺乏自动提取机制\n    回灌:\n      - 系统构建: 上线\"修正自动提取\"——从采纳记录中筛选高质量修改，自动生成候选知识条目\n      - 试验展开: 高质量修正样本自动进入评测集\n    周期: 持续\n```\n\n4. **循环优化计划**\n\n| 阶段 | 目标 | 关键动作 | 成功标准 |\n|------|------|----------|----------|\n| 第1月 | 分场景价值诊断 | 完成三场景价值密度评估；退换货低采纳根因分析 | 输出\"场景价值矩阵\"报告 |\n| 第2月 | 退换货能力补齐 | 规则库实时同步 + 物流关联 + 共情话术优化 | 退换货采纳率 >50% |\n| 第3月 | 价值验证实验 | 设计 A/B 实验验证人力替代比；测试管理层关心的\"省人\"指标 | 输出可信的人力节省数据 |\n| 第4月 | 场景扩展 + 飞轮启动 | 新增售后咨询 + 投诉预处理场景；自动修正提取上线 | 覆盖场景 5/7，修正入库率 >40% |\n| 第5-6月 | 商业价值闭环 | 测试续费意愿；设计定价模型（按会话量/按节省人力） | 输出定价策略建议 + 客户续费意愿数据 |\n\n5. **组织学习机制**\n\n```yaml\n周度复盘会:\n  参与: 客服主管 + 产品经理 + AI 质量专员\n  内容:\n    - 分场景采纳率/修改率/满意度趋势\n    - 本周典型案例 3 个（1 成功 + 1 失败 + 1 边界）\n    - 退换货能力补齐进展\n    - 人工修正入库进展\n\n月度质量报告:\n  自动产出:\n    - 场景价值矩阵（采纳率 × 满意度 × 处理量 × 成本）\n    - Top10 失败模式 + 根因分类 + 回灌状态追踪\n    - 知识库覆盖度 vs 实际问题分布热力图\n    - \"人力替代比\"月度趋势\n\n季度价值评估:\n  产出:\n    - 价值密度评估更新（哪些能力升级/降级）\n    - 伪价值排除清单更新\n    - 场景扩展优先级排序（基于价值信号而非需求列表）\n    - 输出给管理层的\"AI 客服价值白皮书\"\n```\n\n**输出结果**：\n\n```yaml\n# 生产运行方案：AI 客服 Copilot——价值发现与反馈回灌\n\n价值发现诊断:\n\n  场景价值矩阵:\n    售前咨询:\n      价值密度: 高（采纳率 78% + 满意度 88 + 使用率高）\n      信号强度: 效率信号强 + 行为信号强 + 质量信号中\n      判断: 核心价值场景，优先扩展和深化\n    订单查询:\n      价值密度: 中（采纳率 68% + 标准化程度高）\n      信号强度: 效率信号强 + 质量信号中\n      判断: 稳定贡献场景，持续优化即可\n    退换货处理:\n      价值密度: 低→中（能力补齐后可提升）\n      信号强度: 效率信号弱 + 质量信号为负（满意度低于人工）\n      判断: 暂时降权放量，先补齐能力再扩大\n\n  伪价值排除:\n    - 整体满意度\"还行\"是伪价值: 掩盖了退换货场景的负效果\n    - \"省人力\"目前缺乏对照实验支撑: 需设计 A/B 验证\n\n可观测性方案:\n  监控工具: 自建场景价值仪表板 + Datadog 基础监控\n  告警策略:\n    - P0: 退换货场景满意度低于人工水平、系统不可用\n    - P1: 分场景采纳率连续 1 周下降 >5%\n    - P2: 知识库命中率 <80%、修正入库率 <15%\n\n反馈回灌链路:\n\n  生产环境 → 方向定界:\n    - 场景价值矩阵 → 调整场景扩展优先级\n    - 退换货负效果 → 收缩放量 + 重新定义该场景的产品边界\n\n  生产环境 → 试验展开:\n    - 退换货失败样本 → 专项评测集 + 话术优化实验\n    - 高价值修正 → 自动进入评测基线\n\n  生产环境 → 系统构建:\n    - 规则引用滞后 → 知识库实时同步机制\n    - 上下文缺失 → 物流/订单状态自动关联\n\n  生产环境 → 审计放行:\n    - 退换货负效果 → 该场景加入满意度实时监控 + 自动降权\n\n价值飞轮设计:\n  第一圈: 生产反馈 → 识别高价值场景（售前）和待补强场景（退换货）\n  第二圈: 能力补齐 → 退换货采纳率提升 → 满意度转正\n  第三圈: 场景扩展 → 更多会话量 → 更多修正样本 → 能力更强\n  第四圈: 商业验证 → 人力节省数据 → 定价策略 → 续费/扩展\n\n循环优化节奏:\n  每周: 分场景指标复盘 + 失败案例分析\n  每月: 场景价值矩阵更新 + 能力补齐进展\n  每季: 价值密度重评 + 场景扩展决策 + 商业价值报告\n\n组织学习:\n  建立\"客服主管-产品-AI质量专员\"三方周会\n  设立\"AI 质量专员\"角色（专职负责修正质量审核和知识库维护）\n  建立\"场景价值看板\"，让管理层实时看到 AI 客服的价值分布而非笼统平均数\n  建立客服\"修正贡献排行榜\"，激励高质量人工修正回流\n```","tags":["native","production","ops","product","agent","skills","gmaxxxie","agent-skills","ai-agent","ai-native","ai-product","methodology"],"capabilities":["skill","source-gmaxxxie","skill-ai-native-production-ops","topic-agent-skills","topic-ai-agent","topic-ai-native","topic-ai-product","topic-methodology","topic-product-management","topic-product-methodology","topic-product-thinking","topic-skills"],"categories":["ai-native-product-agent-skills"],"synonyms":[],"warnings":[],"endpointUrl":"https://skills.sh/gmaxxxie/ai-native-product-agent-skills/ai-native-production-ops","protocol":"skill","transport":"skills-sh","auth":{"type":"none","details":{"cli":"npx skills add gmaxxxie/ai-native-product-agent-skills","source_repo":"https://github.com/gmaxxxie/ai-native-product-agent-skills","install_from":"skills.sh"}},"qualityScore":"0.478","qualityRationale":"deterministic score 0.48 from registry signals: · indexed on github topic:agent-skills · 56 github stars · SKILL.md body (18,159 chars)","verified":false,"liveness":"unknown","lastLivenessCheck":null,"agentReviews":{"count":0,"score_avg":null,"cost_usd_avg":null,"success_rate":null,"latency_p50_ms":null,"narrative_summary":null,"summary_updated_at":null},"enrichmentModel":"deterministic:skill-github:v1","enrichmentVersion":1,"enrichedAt":"2026-05-18T18:57:24.938Z","embedding":null,"createdAt":"2026-05-01T01:02:50.798Z","updatedAt":"2026-05-18T18:57:24.938Z","lastSeenAt":"2026-05-18T18:57:24.938Z","tsv":"'+2':549,1574,1992 '+50':1988 '-3':1364,1805 '0':1427 '0.005':1354 '0.02':419,2015 '0.03':1809 '0.05':607 '0.1':404,461 '0.5':462 '1':23,74,164,342,362,391,599,664,723,749,804,825,1178,1266,1297,1321,1740,1777,1870,2017,2155,2157,2159,2259 '1.8':1419 '100单':1919 '120':1863 '120单':1915 '130单':1917 '15':437,1452,1935,2266 '1500ms':400 '18':1397 '1次':1428 '2':25,81,171,345,364,439,449,728,755,808,828,843,1188,1270,1302,1374,1404,1647,1745,1881,1977 '20':482,1454 '200':1294 '22':1933 '24h':1516 '25':1961 '25min':1392,1438,1576 '27章':39 '2s':1333,1421 '2周未更新':1459 '2次':1425 '3':27,85,178,350,366,483,522,609,733,761,812,831,935,1197,1272,1306,1448,1460,1468,1640,1750,1868,1940,2153 '3.2':432 '3/7':1938 '30':481,783,786,1372 '3000':1735 '32min':1437 '35':1395,1912,1929,1957 '38':1821 '3min':1855 '3s':602,1351,1422,1788 '4':29,91,185,353,368,528,738,767,817,834,1028,1208,1274,1532,2090 '40':425,779,1444,1453,1566,1644,1953,2128 '40min':1439 '41':1744,1818,1910,1949 '45min':1390 '45s':1857 '48':1442 '5':31,97,191,356,370,554,743,837,1119,1279,1449,1577,2139,2261 '5/7':1939,2126 '50':466,478,604,1934,2109 '500':1327,1783 '500ms':398 '55':1370,1443,1823,1907,1951 '6':101,372,1400,2010 '60':423,465,1557,1911 '62':1738,1905 '65':1301,1360,1432,1542 '68':1816,2218 '6月':2131 '7/10':1559 '70':429,474,544,1434,1642,1906,1998,2007 '75':473,1549,1897 '75分':470 '76':2057 '78':444,1742,1814,2203 '78分':1925 '79':2061 '8':2018 '80':1358,1433,1543,1760,1860,1930,2040,2264 '80分':469 '81':2051 '82':1299,1755,2036 '82分':1923 '83':1895 '85':427,1807,1902 '85分':446 '88':1900,2047,2205 '88分':1924 '90':1366,1896 '95':1346,1901 '97':1800 '98':1348 '99':416,1802 '99.2':1344 '99.5':414,458,1892 '99.8':1798 '99.9':402,457,539,1415,1790,1891 '99.91':1890 '99.92':1413 '99.95':1336,1414 'a/b':2113,2246 'agent':894,1168 'agent设计':1114 'agent运维':1203 'ai':2,6,34,40,68,109,112,114,146,231,376,379,386,421,588,673,685,852,864,873,936,945,958,973,1029,1039,1053,1057,1061,1071,1084,1090,1100,1105,1120,1129,1141,1145,1148,1154,1157,1159,1163,1166,1171,1174,1181,1184,1190,1194,1211,1215,1218,1226,1235,1243,1246,1253,1257,1263,1268,1277,1500,1632,1714,1722,1727,1747,1753,1758,1768,1836,1843,1983,2034,2045,2055,2146,2188,2193,2335,2342 'ai-native-production-op':1 'aiop':62,844,849,860,868,875,877,897,1283,1288,1313,1584,1624,1710 'aiops案例':24 'ai评估能力':1200 'ai质量专员':661,2332 'ai风险管理':1205 'api':395,1330 'api错误率':460 'brief':822,841 'capabl':329 'case':850,861,943,955,1037,1048 'context':262 'copilot':381,590,913,962,1004,1010,1216,1729,2195 'custom':302,941,953 'datadog':593,2251 'direct':821,840 'discoveri':292,670,682,699 'faq':997 'fte':1878 'govern':317 'grafana':1630 'jd':1276 'knowledg':264 'layer':318,330 'loop':282,293,303,671,683,700 'mttr':1387,1436,1575,1606 'n':151 'nativ':3,7,35,41,69,674,853,946,1030,1040,1054,1062,1085,1101,1121,1130,1149,1212,1264 'observ':115 'op':5 'p0':596,1199,1635,2254 'p1':600,1202,1638,2257 'p10a':668,680 'p10a-value-discovery-loop':667,679 'p10b':848,859 'p10b-aiops-case':847,858 'p10c':940,952 'p10c-customer-service-case':939,951 'p10d':1035,1046 'p10d-saas-case':1034,1045 'p11':1125,1136 'p11-product-team':1124,1135 'p2':605,1206,1645,2262 'p50':397 'p95':399,1332,1418,1787 'product':4,108,281,1126,1137 'prometheus':1629 'prompt':1340,1654 'rag':981,1794 'rubric':583,1249,1614 'saa':64,1031,1036,1047,1051,1063,1065,1083 'saas案例':28 'servic':942,954 'skill':10,12,43,49,389,678,857,950,1044,1134,1319,1775 'skill-ai-native-production-ops' 'sop':580,978,1611,1703 'source-gmaxxxie' 'sre':1586,1711 'team':1127,1138 'tl':1583 'token':410 'top':1363,1804 'top10':573,2170 'top3':1546,1590 'topic-agent-skills' 'topic-ai-agent' 'topic-ai-native' 'topic-ai-product' 'topic-methodology' 'topic-product-management' 'topic-product-methodology' 'topic-product-thinking' 'topic-skills' 'valu':291,669,681,698 'vs':753,1604,1837,1845,1850,2038,2049,2059,2175 'workflow':263 'yaml':393,485,556,586,1323,1462,1579,1622,1779,1942,2141,2191 '一套贯穿式机制':319 '一旦打通':139 '一次性提升明显但成本':763 '三个维度都有明确答案':788 '三张指标表':203,346,450,1405,1882 '三张指标表搭建':82 '三方周会':659,1712,2333 '三环协同':311 '三环模型':279 '上下文':117,334 '上下文在哪些地方缺失':154 '上下文工程和日志是基础设施':891 '上下文缺失':2286 '上下文设计':1204 '上下文长度':174,408 '上线':2082 '上线往往意味着一轮交付完成':144 '上线更像是真实学习的开始':148 '上线自动修正提取':1563 '下一轮优化':136 '下一轮优化的方向和重点':355 '下周优化重点':569 '不只是日志':233 '不可逆':1233 '不是加':1070 '不知道该先看哪条':1305 '不超出能力边界':1258 '专家修正':1684 '专家经验未沉淀':1519 '专家过载指数':1402 '专职负责修正质量审核和知识库维护':2338 '专门负责':1173 '专项评测集':2278 '业务价值':348,463,467,471,1430,1435,1440,1903,1908,1913,1921 '业务价值指标':211 '业务价值指标和组织学习指标的指标体系':84 '业务指标暂时好看':228 '业务结果层':192,440,1386,1852 '业务结果层的观测指标':80 '两次误判导致错误扩容':1307 '严格审计':1019 '个':2154 '个月工程师独立完成分诊的比例':1401 '个月留存曲线平稳':2011 '中':2216,2229 '中价值密度':789 '中密度能力':799 '中等优化':649 '中等优化迭代':1700 '中风险':909,1006 '为谁节约了多少时间或成本':782 '主动洞察推送':1097 '主动调用':1835 '主动转人工率':436 '主导':1227 '也不会把':227 '五个合并子模块':32 '五层可观测性设计':75,392,1322,1778 '五层观测':163 '五层观测的具体指标和工具':344 '五类价值信号识别':722 '交互行为层':79,186,430,1377,1833 '交更多真实任务':741 '产出':578,1609,2180 '产品':657,1585,2331 '产品全面':1099 '产品团队':30,72,1122 '产品如何被持续构建':289 '产品已上线或即将上线':51 '产品已有用户使用':690 '产品已经成功':226 '产品已进入实验或早期使用阶段':686 '产品循环':280 '产品改进':307 '产品方向又会反过来决定下一轮实验重点':314 '产品方法论':8,36,675,854,947,1041,1131 '产品经理':559,2145 '产品设计从方向到生产的完整路径':869 '产品里':147 '产品需要':1052 '人仍主导':1186 '人力成本':1876 '人力替代比':2016,2177 '人力节省数据':2312 '人在回路中':906,914,1018,1238 '人在监督中':921 '人均处理量':1858,1914,1987 '人工介入下降':726 '人工信号':254 '人工修改':256 '人工修改率':424,1819,1950 '人工修正入库率':480,1451,1565,1932 '人工修正入库进展':2162 '人工修正和价值信号如何回灌到方向定界':88 '人工修正沉淀量':219 '人工接管':255 '人工接管和任务成功率的观测体系':120 '人工接管率':209 '人工改写率':182,1371 '人工确认':1011 '人机分工决策框架':1220 '人机分工协议':1271 '人机分工和能力建设路径':71 '人机分工设计':1152,1189 '人机协作设计':1207 '人类主导':1231,1234,1241 '人类保留低频高风险判断':1192 '从':1389,1394,1854,1859,1867 '从2周缩短至5天':448 '从5分钟降至1分钟':442 '从传统瀑布流程改为':1210 '从值班辅助到组织级能力系统':1285 '从协同工具到服务能力资产':1724 '从告警触发到确认根因的时长':1383 '从采纳记录中筛选高质量修改':2084 '付费不确定':791 '付费意愿':784 '付费断层':770,2022 '代表':1587 '令牌和成本':177 '以上信息综合':819 '价值':18 '价值信号':704 '价值信号分析':1946 '价值信号清单':826 '价值信号识别与伪价值排除':1980 '价值判断会影响产品方向':313 '价值发现':295,714,934,1027 '价值发现与反馈回灌':2196 '价值发现到定价策略联动':795 '价值发现回流到方向定界':803 '价值发现循环':60,290,665,697 '价值发现循环流程':711 '价值发现方案':824 '价值发现诊断':2197 '价值如何被持续发现':300 '价值密度':708,2200,2215,2227 '价值密度容易验证':975 '价值密度评估':717,796 '价值密度评估更新':2181 '价值密度评估框架':773 '价值密度评估表':832 '价值密度重评':2324 '价值飞轮设计':2294 '价值验证':702 '价值验证实验':2111 '任务处理时间缩短':725 '任务完成率':181,1824 '任务特征':1221 '任务类型':237 '任务结果和成本有答案':790 '任务结果改善':777 '任务质量层':78,179,420,1355,1810 '优先扩展和深化':2213 '优先级':1493 '优化建议展示':1554 '优化评估':582 '优化采纳率':541 '优化风险评估':1613 '会话平均轮数':431 '会话并发':1781 '会话流转':1839 '会话解决率':443,472 '传统':1050 '伪价值信号':706 '伪价值排查':2004 '伪价值排除':716,2238 '伪价值排除报告':829 '伪价值排除清单更新':2184 '但不改变原有工作方式':759 '但产品经理发现三个现象':1739 '但并没有完成任务':159 '但无法判断增长是':691 '但转出来的东西不一定可被信任':327 '但近期出现三个问题':1296 '但退换货场景仅':1743 '低':2228 '低于人工水平时自动降权':2069 '低价值密度':792 '低密度能力':801 '低频':1228 '低风险':901,996 '使用了哪个模型和版本':244 '使用反馈':306 '使用场景':50,684,862,956,1049,1139 '使用方式':359 '使用深度增加':742 '使用率高':2206 '依赖':977 '依赖专家经验':884 '信号强度':2207,2220,2231 '信号识别':715 '修改':621,1666 '修改内容':1668 '修改率':2150 '修改率趋势':564 '修改记录存在但无人整理':2078 '修正':123,269 '修正入库率':2127,2265 '修正样本自动进入评测集':1529 '修正样本质量评估':576 '修正流程需要手动填写':1523 '修正自动提取':2083 '修正贡献排行榜':2345 '修正贡献积分':1719 '值班':1582,1709 '值班-aiops-sr':1708 '值班场景要求低延迟':1334 '值班工程师反映':1303 '值班工程师反馈汇总':1595 '值班工程师实际采纳':1368 '值班工程师忽略排序建议':1483 '值班工程师打开并阅读建议的比例':1379 '值班工程师抱怨建议质量':1316 '值班能力成熟度报告':1619 '值班辅助':900 '值班辅助系统':1625 '值班辅助系统上线三个月':1289 '值班面板':933 '先补齐能力再扩大':2237 '入口':238 '入职':1399 '全新领域':1239 '共情话术优化':2107 '关注服务协同':964 '关注语义层构建':1059 '关注高风险':870 '关键上下文':241 '关键动作':532,1536,2094 '典型':896 '典型案例分享':565 '内完成根因分析':1517 '内容':562,1588,2148 '决策必须可追溯':890 '分':1756,1761,1993,2037,2041,2048,2052,2058,2062 '分场景':1812,1873 '分场景价值诊断':2097 '分场景指标复盘':2318 '分场景采纳率':2149 '分场景采纳率连续':2258 '分客龄':1874 '分析':1541 '分析拒用原因':542 '分析框架':1985 '分类规则优化':636 '分诊准确率':1548 '分诊准确率按故障域分布':1600 '分诊准确率连续':1639 '分诊辅助':908 '分配':1222 '分钟':1329 '分问题类型':1875 '切流':919,1503 '判断':2211,2223,2235 '制定按周':93 '刷新':1704 '功能':1072 '功能型':1068 '加入业务影响维度':1615 '加在现有产品上快速验证':1093 '动作副作用评估模块':1513 '包含价值发现循环':22 '化':1102 '化分层':1086 '化改造':1055 '化方法':874 '升级工单':259 '升级投诉率':438 '升级率':1384 '协作流程改造方案':1280 '协同':1005 '单':1861,1864 '单次会话':2014 '历史案例':1662 '原':666,846,938,1033,1123 '原因标签':623,1669 '参与':558,1581,2143 '双人确认':1511,1690 '双周迭代':1496 '反而下降':2063 '反馈丰富':986 '反馈和优化的新角色':1176 '反馈和持续优化体系时':47 '反馈回灌':17,121 '反馈回灌机制':267,351,484,1461,1941 '反馈回灌机制设计':86 '反馈回灌链路':624,1670,2267 '反馈工程':1170,1201,1250 '反馈驱动的持续优化场景':966 '另一类不在意':815 '只有一个维度有模糊答案':793 '只有进入真实环境':149 '可承接':1185 '可更快进入灰度和自主模式':985 '可用性':166,401,538 '可观测性':113,232 '可观测性方案':343,591,1627,2248 '可观测性设计':14 '可观测性采集':130 '可解释性':889 '可靠性':347,455,459,1411,1416,1423,1888,1893,1898 '可靠性指标':205 '合并自独立':677,856,949,1043,1133 '同类问题大量发生':971 '吞吐':169 '吞吐量上升':727 '告警处理吞吐':1325 '告警策略':595,1634,2253 '告警聚合':1347 '告警聚类':927,1291 '告警聚类与去重':903 '周':477,1447,1871,1928 '周下降':2260 '周度复盘会':557,1580,2142 '周更':1458 '周期':495,506,516,526,1478,1495,1514,1530,1976,2088 '周未更新':1648 '周缩短至':1869 '周迭代':1978 '命中率':1365 '命中知识库效果':183 '和历史经验':979 '和待补强场景':2299 '和没用':1757 '和知识沉淀系统':982 '响应时间':396,1331,1785 '响应时间p95':601 '响应时间要求高':887 '哪些入口最有价值':189 '哪些只是':1764 '哪些场景任务成功':156 '哪些场景虽然':157 '哪些能力升级':2182 '哪些链路的成本':160 '哪些问题最常见':190 '售前':1813,2298 '售前和退换货差距大':1771 '售前咨询':2199 '售前咨询场景的采纳率高达':1741 '售前场景':2044 '售前场景是高价值密度':2028 '商业':19 '商业价值报告':2326 '商业价值清晰':989 '商业价值闭环':2132 '商业信号':744,2001 '商业循环和客户循环':56 '商业验证':2311 '四类伪价值信号排除':748 '回复建议生成':1007 '回归测试集':1677 '回流到方向定界':721 '回灌':491,502,513,523,1472,1488,1508,1525,1966,2026,2064,2080 '回灌到方向定界':132 '回灌动作':1593 '回灌机制和循环优化计划':105 '回灌状态追踪':2173 '回答':288,299,309 '回答像样':158 '回答质量':180 '回退率':210 '团队不会把':223 '团队中':1144 '团队协作流程':1209 '团队得到的只是':198 '团队才会看到':150 '团队才知道':201 '团队方案':1265 '团队有多个候选方向':688 '团队正在或计划引入':1140 '团队能做出来但客户不愿持续付费':771 '团队角色':70 '团队设计四步法':1177 '团队需要建立持续优化机制':1309 '团队需要搞清楚哪些能力真正形成价值':1763 '围绕实验':701 '围绕模型输出':116 '在':145 '在传统软件里':143 '在哪一步放弃':1841 '在哪一步退出':188 '在哪里回退或终止':248 '场景价值看板':2340 '场景价值矩阵':2101,2165,2198,2270 '场景价值矩阵更新':2321 '场景价值重估':805 '场景扩展':2120,2306 '场景扩展优先级排序':2185 '场景扩展决策':2325 '场景描述':378,1286,1725 '场景覆盖度':1937 '培训周期':447,1866 '基于':33,672,851,944,1038,1128 '基于价值信号而非需求列表':2186 '基础监控':2252 '基础设施层':165,394,1324,1780 '增加留存或改善服务质量':196 '增强':1551 '增强型':1088 '处理量':2168 '处置建议推荐':912 '复杂工单处理路径':1842 '天':1641,1865,1916,1918,1920 '天提升至':1862 '天然适合持续学习和反馈回灌':988 '失败':567,2158 '失败与人工修正识别':16,131 '失败分布':184,208,1826 '失败案例分析':1696,2319 '失败案例逐条复盘':1591 '失败模式':2171 '失败类型':253 '失败类型分析':574 '失败识别与回灌':486,1463,1943 '好评引导':1016 '如':1165 '如何把生产信号送回上游环节':352 '如何让团队从生产环境中持续学习':358 '如何验证高价值密度的定价和场景':836 '如果只监控第一层和第二层':197 '如果收费':2024 '如果连第三层到第五层也看清':200 '如自动扩容预审':1572 '季':1426 '季度价值评估':2179 '季度能力沉淀':577,1608 '季节奏的优化计划':95 '它才会成为方法论里的学习引擎':140 '完成三场景价值密度评估':2098 '完成质量更稳定':732 '定价判断':297 '定价策略':2313 '定价策略联动':719 '实时':517 '实时性强':886 '实时触发':1515 '实际故障类型分布':1605 '实际节省的':1877 '实际问题分布热力图':2176 '实验评估':321 '实验验证人力替代比':2114 '审计放行':135,277,286,323,514,638,930,1024,1115,1509,1687,1973,2067,2290 '客户付费试点':745 '客户分层修正':813 '客户反馈会影响价值判断':312 '客户如何推动产品持续成长':310 '客户循环':20,301,1026 '客户扩张':308 '客户续费意愿数据':2138 '客服':63,380,589,656,1728,2194 '客服-产品-技术':655 '客服上线半年':1769 '客服主动调用率':1997 '客服主管':561,2144,2330 '客服主管-产品-ai质量专员':2329 '客服主管是否续费':2025 '客服价值白皮书':2189 '客服使用深度':1834 '客服修改了ai的意图分类':490 '客服到底省了多少人力':1748,1984 '客服团队希望引入':957 '客服场景特征与适配性':967 '客服已经上线两周':387 '客服建议采纳率稳定在':1737 '客服案例':26 '客服满意度':445 '客服特征':968 '客服的价值分布而非笼统平均数':2343 '客服系统价值发现与反馈回灌':1723 '客服系统生产运行设计':377 '客服经验水平':1847 '客服能力分层':993 '客服行业案例':937 '对':839 '对方法论的影响':879,969,1067 '对比演示通过率':752 '尚未测试付费意愿':2002 '峰值':1326,1782 '工具和数据这些能力底座':337 '工具调用':118,1796 '工具调用成功率':175,412,1342 '工程安全':322 '工程师不愿额外操作':1524 '工程师是否按建议排序处理':1381 '工程师满意度':1558 '差距不大':1762 '差距不显著':2042 '已上线':382 '已上线六个月':1730 '已排除的伪价值信号及原因':830 '已识别的五类信号及强度':827 '已验证能力':304 '市场测试':296 '市场测试和方向修正的持续循环':703 '市场测试设计':718,835 '平均':409 '平均45秒':435 '平均分诊时间':1382 '平均故障恢复时间':1388 '并发':1784 '并建立持续发现和沉淀价值的机制':1766 '应优先扩展':2029 '应急响应':537 '应考虑停止投入':794 '延迟':167,206,764 '延迟和重试在流量放大后开始失控':161 '建立':654,1707,2328,2339 '建立值班工程师':1718 '建立可靠性指标':83 '建立周度复盘会':99 '建立周度案例更新流水线':1564 '建立客服':2344 '建立知识库贡献激励机制':663 '建立自动回灌机制':1562 '建立评估标准和':1248 '建议':1236 '建议优先级感知':1380 '建议内容':616,1658 '建议太多':1304 '建议扩容':1501 '建议排序失效':1481 '建议查看率':1378 '建议生成':1786 '建议采纳率':422,464,1367,1441,1643,1811 '建议采纳率按工程师经验水平分布':1601 '开始暴露真实价值和真实风险的阶段':111 '异常自动发现':1092 '引入业务影响权重排序':1553 '弱信号':1994 '强信号':1989,1999 '强审计':922 '强约束':871 '当产品已上线或即将上线':45 '当前':1359 '当前值':1408,1885 '当用户提供产品已上线或即将上线时':360 '形成团队知识':1261 '待验证':2003 '很酷':758 '循环优化节奏':643,1693,2316 '循环优化计划':92,354,529,1533,2091 '循环会不断转':326 '循环就缺乏真正可以沉淀和复用的系统资产':339 '微服务架构升级后产生的新故障模式不在案例库中':1471 '必须有强审计放行和人在回路机制':882 '快速修复':646,1697 '快速原型实验':1214 '快速实验':1242 '怎么把生产反馈变成持续增长的飞轮':1774 '总建议数':1369 '想建立系统的观测和优化机制':388 '意图冲突案例':635 '意图识别':1008 '意图识别准确率':426 '意图识别错误':488 '意图错误':1829 '成功':566,2156 '成功标准':533,1537,2095 '成本':119,417,2169 '成本单次':606 '成本幻觉':762,2013 '成本节约':781 '成熟度评估':1705 '我们的':385 '或':1158 '或智能客服系统的完整路径':963 '所有人都要用':1156 '所有生产动作建议必须附带回滚方案':1510 '执行后问题扩大':1504 '执行步骤':73 '执行流程':390,1320,1776 '执行结果':251 '执行轨迹':245 '扩展':1568,2315 '扩展场景':546 '技术':560,658 '技能单元':332 '把生产环境中的失败':122 '投诉':258 '投诉率':608 '投诉的建议被人工拦截':512 '投诉预判':1017 '投诉预处理场景':2123 '报告':2102 '拒绝':622,1667 '拼接了哪些上下文':243 '持续':2089 '持续优化':1531 '持续优化即可':2225 '持续优化循环':1284,1626 '持续反馈':1217 '持续改进':1254 '指标':2117 '指标仪表板':572 '指标体系搭建':15 '指标名':452,1407,1884 '指标复盘':645,1695 '指标类型':451,1406,1883 '指标表':104 '按会话量':2135 '按场景':1827 '按失败类型':1828 '按节省人力':2136 '排序失效':1682 '排除':2008,2012 '排除伪价值':58 '接管高频标准化工作':1191 '推理延迟':1417 '掩盖了退换货场景的负效果':2242 '提体验':991 '提升优先级':807 '提升建议质量':1552 '提升转化':195 '搭建三张指标表':365 '收紧边界规则':515 '收缩放量':2273 '放行边界是否需要收紧或放宽':278 '放行边界更新':1692 '政策解释':1000 '故障分诊准确率':1356,1431 '故障分诊准确率在下降':1315 '故障影响范围判断':910 '故障模式案例':1547 '效率信号':724,1986 '效率信号弱':2232 '效率信号强':2208,2221 '数':411,1879 '数据准确性':1116 '数据积累':1076 '数据飞轮建设':1118 '整体':1820 '整体建议采纳率':1904 '整体数据还行但管理层质疑价值':1770 '整体满意度':2239 '整合可观测性方案':103 '新一轮能力实验':630 '新人独立处置率':1398 '新发现问题汇总':568 '新场景被覆盖':736 '新型微服务故障的根因识别准确率从':1298 '新型故障模式未入库':1649 '新型故障模式未覆盖':1465 '新增':1193 '新增售后咨询':547,2122 '新增失败样本':476,627,1927 '新增失败样本数':218 '新增故障模式':1446 '新增网络和存储域故障模式':1570 '新增角色':1275 '新手':1849 '新故障模式':1673 '新故障模式评测集':1477 '新的失败模式是否需要新的实验':274 '新评测覆盖率':220 '新风险场景':641,1691 '新鲜感效应':694,756,2009 '方向修正建议':720,838 '方向定界':271,283,524,924,1021,1110,1491,2027,2065,2269 '方向调整':298 '方向边界':320 '方向重写':818 '方法论路径':923,1020,1109 '无历史数据':1240 '无效升级率':1393 '无标准答案':1230 '日均辅助处理':1293 '日常使用率':754,2006 '日志检索':1343 '日志片段':1661 '日志规范':610,1650 '日志解释与摘要':902 '早期客户':305 '时代的团队能力建设和招募路径':1150 '时代缺少哪些新能力':1164 '时长缩短':212 '时间':239,780 '时间成本和付费意愿的综合影响强度':710 '明确每阶段目标和关键动作':96 '是伪价值':2241 '是否真的缩短时长':193 '是否需要重新定义问题或调整战略':272 '显著提升':2053 '智能体':331 '暂时降权放量':2236 '更多会话量':2307 '更多修正样本':2308 '更新':820 '更新客服':579 '更新情况':1597 '更新故障分诊':1610 '最终回答':250 '月':94,1429 '月度质量报告':570,1598,2163 '月度质量报告和季度能力沉淀的学习机制':100 '月度趋势':2178 '月更':1457 '有强集成能力的高阶产品':1108 '有效':2019 '有评估标准':1225 '服务不可用':597 '服务可用性':456 '服务能力未沉淀':2074 '未关联物流状态':1960 '未找到相关信息':500 '本周典型案例':2152 '本周分诊准确率趋势与偏差分析':1589 '本周采纳率':563 '权重':776 '权限配置':265 '条':1328 '条告警':1295 '某互联网公司的运维团队已部署':1287 '某电商平台的':1726 '某类场景价值远高于原预期':806 '某类客户愿意付费':814 '某类能力成立但价值密度不足':810 '某项能力对任务结果':709 '标准化':1224 '标准化程度高':2219 '样本库':492 '核心价值场景':2212 '核心概念':106,696,1151 '根因':1362,1470,1485,1505,1522,1592,2077 '根因分类':2172 '根因拆解':1952,2043 '根因概率排序':911 '根据能力特征分配给人类或':1153 '案例召回':904,928,1345 '案例库':1646 '案例库大更新':1702 '案例库大版本更新':1616 '案例库更新频次':1456 '案例库本周新增':1596 '案例库清洗与更新':584 '案例库缺口':1680 '案例库覆盖率':1603 '案例沉淀':1259 '检索到哪些知识':242 '检索增强生成':335 '检索策略版本':1795 '检索索引重建':1475,1681 '检索结果摘要':1656 '模型与链路层':77,172,405,1337,1791 '模型延迟必须纳入评估':888 '模型微调样本':1675 '模型版本':173,613,1338,1653,1792 '模型版本追踪':406 '模式1':487,1464,1944 '模式2':497,1480,1979 '模式3':508,1497,2031 '模式4':518,1518,2073 '模糊':1229 '次会话':1736 '次同类故障分诊失败':1469 '止血':1539 '每一步是否成功':247 '每周':496,644,1694,2317 '每周分析':527 '每周复盘时批量处理':1479 '每季':650,1701,2323 '每日':507 '每月':647,1698,2320 '每条建议':1657 '每次人工操作':619,1664 '每次会话成本':1808 '每次回复':615 '每次对话':418 '每次推理':1651 '每次推理成本':1353 '每次推理记录版本':1793 '每次请求':611 '每次调用记录版本号':407 '每项能力的三维度评分':833 '沉淀':1561 '没有治理层':325 '没有能力层':338 '治理层':316 '治理层与能力层':315 '流程':1213 '测试付费意愿而非满意度':772 '测试管理层关心的':2115 '测试续费意愿':2133 '涉及赔付':511 '涉及退款时缺乏共情':1965 '满意度':214,2167,2204 '满意度仅':1991 '满意度低于人工':2234 '满意度提升不明显':1772,2032 '满意度评分':521 '满意度趋势':2151 '满意度转正':2304 '演示效果惊艳但日常使用频率极低':751 '演示陷阱':750,2005 '激励机制':1720 '激励高质量人工修正回流':2346 '版本':1341,1655 '物流':2287 '物流关联':2106 '物流查询':415,1801 '物流状态自动关联':1969 '特征':878,1066 '特征与适配性':876,1064 '状态查询':999 '现有角色':1180 '生产动作建议必须附回滚方案':1689 '生产反馈':2296 '生产指标至少应该分成三类':204 '生产环境':625,631,637,1671,1678,1686,2268,2275,2282,2289 '生产环境中的失败':268 '生产监控':324 '生产观测至少应保留以下信息':234 '生产运行':107,287,932,1025,1117 '生产运行不是终点':141 '生产运行与循环回灌':42 '生产运行与循环回灌的实操':9 '生产运行就只剩被动监控':138 '生产运行方案':341,587,1623,2192 '生产运行流程':128 '生产运行要观测什么':162 '用了':1752 '用户不满意':519 '用户互动产生大量标注':987 '用户反复使用':740 '用户反馈':257 '用户在哪一步转人工':1840 '用户提供产品已上线或即将上线':11 '用户数据形成天然的反馈飞轮':1077 '用户满意度':468,1872,1922 '用户满意度调查显示':1751 '用户真正如何提问':152 '用户真正如何进入系统':187 '用户等待时间':434 '用户觉得':757 '用户输入':384,1312,1767 '用户问题':236 '用户问题被解决而非仅回答的比例':1825 '留存或复购':216 '的':1759 '的业务含义':1494 '的会话满意度':1754 '的修改来自':1954,1958,1962 '的具体修改建议':842 '的差距来源':1544 '监控':536 '监控工具':592,1628,2249 '目前缺乏对照实验支撑':2244 '目标':531,1357,1535,2093 '目标值':453,1409,1886 '相似案例召回三项能力':1292 '相关性':1806 '省人':2116 '省人力':990,2243 '看起来亮眼但无法转化为持续使用或付费意愿的假信号':707 '看起来在工作':1765 '真实价值':692 '真实使用越多':1079 '真实流量进入':129 '知识密集':883,976 '知识库兜底':1002 '知识库命中':1803 '知识库命中率':428,1894,2263 '知识库实时同步机制':2285 '知识库更新任务':634 '知识库缺失':498 '知识库覆盖度':2174 '知识库覆盖度报告':575 '知识系统':336 '知识缺口清单':633 '知识缺失':1830 '确保':1256 '示例':374,375,1281 '示例一':1282 '示例二':1721 '积累成功和失败案例':1260 '稳定贡献场景':2224 '稳定运行':535 '第18':38 '第18-27章':37 '第19章':855 '第1月':534,1538,2096 '第20章':948 '第21章':1042 '第22章':676 '第25章':1132 '第2月':540,1550,2103 '第3月':545,1560,2110 '第4月':550,1567,2119 '第5':2130 '第5-6月':2129 '第一圈':2295 '第一层':899,994,1087 '第三圈':2305 '第三层':915,1012,1103 '第二圈':2301 '第二层':907,1003,1094 '第四圈':2310 '等场景':65 '管理层对':1746 '类角色':1196 '系统上线三个月':1314 '系统不可用':1637,2256 '系统具备日志解释':1290 '系统可用性':1335,1412,1789,1889 '系统已经稳定可复用':230 '系统日均辅助':1734 '系统是否活着':199 '系统是否真的在创造价值':202 '系统未充分评估动作副作用':1506 '系统构建':134,275,285,504,632,929,1023,1112,1473,1489,1512,1526,1679,1967,2070,2081,2283 '系统构建和审计放行':90 '系统边界是否需要调整':276 '系统还在线':224 '系统进入真实使用':110 '系统随着真实使用不断积累更好资料':126 '纯人工':2039,2050,2060 '纯人工的路径差异':1846 '纯技术指标排序':1487 '纳入免费引流层或停止投入':802 '纳入新故障模式':1612 '组织学习':475,479,653,1445,1450,1455,1706,1926,1931,1936,2327 '组织学习指标':217,349 '组织学习机制':357,555,1578,2140 '组织学习机制设计':98 '经验复利':965 '结构化产物':252 '给管理层':1620 '续期或扩大场景':746 '续费':2314 '维度':774 '维护代价过高':765 '缺乏回滚预案':1507 '缺乏自动提取机制':2079 '缺失信息清单':503 '缺少订单上下文':1959 '置信度':617,1659 '而不是每周重复同样的问题':1311 '而不是测试样本里如何提问':153 '而不是理论上应当完整':155 '而是为了后续判断问题究竟来自模型':261 '而是现实学习的起点':142 '而是重写能力入口':1073 '能做的就不需要人':1160 '能力':769,865,959,1142,2021 '能力-付费断层':768,2020 '能力与传统产品能力之间出现职责重叠或空白':1146 '能力价值筛选':809 '能力分层':898 '能力升级路径':1058 '能力型':1069 '能力复利':125 '能力层':328 '能力建设路线图':1273 '能力成立':713 '能力护城河':1078 '能力护城河和数据飞轮建设场景':1060 '能力更强':2309 '能力沉淀':651 '能力矩阵':1182,1269 '能力缺口识别':1161,1198 '能力补齐':2302 '能力补齐后可提升':2230 '能力补齐进展':2322 '能力越难被复制':1080 '能证明能力正在形成真实业务价值的连续信号':705 '自主型':1104 '自动':905 '自动产出':571,1599,2164 '自动从聊天记录和工单中提取修正':1527 '自动修正提取上线':2124 '自动化提升':551 '自动回答':1001 '自动回退到关键词检索':1352 '自动处理':1013 '自动处置':916 '自动执行':361 '自动执行业务动作':1106 '自动执行生产运行流程':13 '自动扩缩容':918 '自动提取入库':1685 '自动率20':553 '自动生成候选知识条目':2085 '自动进入评测基线':2281 '自动退款建议':1015 '自动降权':2293 '自建':1631 '自建仪表板':594 '自建场景价值仪表板':2250 '自然语言查询替代下拉筛选':1089 '自行决定处理顺序':1484 '行业案例':66,845,1032 '行为信号':739,1996 '行为信号强':2209 '行为和价值信号应该回灌到':270 '行为和价值信号送回上游环节':124 '补丁':920 '补充':1545 '补充案例库':1474 '补充知识库':505 '补充知识库规则':581 '表达购买意愿':747 '被动接收建议':1838 '覆盖信号':734 '覆盖售前咨询':1731 '覆盖场景':548,2125 '覆盖故障域':1573 '覆盖更多故障域':1569 '规则库实时同步':2105 '规则引用不准确':1955 '规则引用滞后':2284 '规则更新':642 '规则更新速度':221 '规则误判':1831 '规模化':974 '角色':240,662,1267,1716,2337 '角色梳理':1179 '解读取代固定报表':1091 '触发':501 '触发条件':44 '触发此':48 '计算单位价值成本比':766 '订单查询':413,1732,1815,2214 '订单查询成功率':1797 '订单状态自动关联':2288 '订阅商业模式':1081 '让':1252 '让生产环境反过来训练产品组织':54 '让生产环境的失败和修正变成组织能力':1310 '让管理层实时看到':2341 '记录每次推理的模型版本':1339 '记忆':333 '设立':660,1713,2334 '设计':1169,2112 '设计五层可观测性方案':363 '设计反馈回灌机制':367 '设计反馈机制':1251 '设计基础设施层':76 '设计失败识别':87 '设计定价模型':2134 '设计循环优化计划':369 '设计用量阶梯定价':800 '设计确定性溢价定价':798 '设计组织学习机制':371 '证据链':1660 '评估':1167,1245 '评估价值密度':59 '评估和能力结构的长期增益':127 '评估团队在':1162 '评估数据集扩充':628 '评测集基线刷新':1617 '评测集扩充':1674 '识别':489,499,510,520,1183,1466,1482,1499,1520,1947,1981,2033,2075 '识别高价值场景':2297 '试点自动低风险处置':1571 '试点自动发送低风险建议':552 '试验展开':89,133,273,284,294,493,626,712,925,1022,1111,1476,1528,1672,1970,2086,2276 '话术不当':1832,1963 '话术优化实验':1972,2279 '该场景加入满意度实时监控':2292 '语义层':1113 '语义层依赖':1074 '语气过于机械':1964 '误判':1375 '误判事件':1688 '误判事件清单与根因分类':1602 '误判事故':639 '误判导致生产动作':1424,1636 '误判导致错误动作':1498 '误判案例':1676 '误判率':1373 '误当成':225,229 '说不清楚':1749 '说明真在用':2000 '请求id':612,1652 '谁决策谁负责':893 '谁愿意为此持续付费':785 '调整场景扩展优先级':2271 '调整目标客户':816 '调用了哪些工具':246 '负责案例库维护和评测集管理':1717 '责任人':1594 '责任边界清晰':892 '质量专员':1172,2147,2336 '质量专员等':1278 '质量专员职责':1244 '质量仪表板':1633 '质量信号':729,1990 '质量信号中':2210,2222 '质量信号为负':2233 '质量报告':648,1699 '质量评估':1195,1219 '资深客服的使用差异':1851 '资深客服的高质量人工修改未回流系统':2076 '资源消耗':170 '超时':1350 '趋势与分解':1607 '跌至':1300 '跨系统自动化工作流':1107 '转化变化':213 '轮':433 '辅助':1844,2046,2056 '辅助会话满意度':2035 '辅助检索':995 '输入与场景':235 '输入摘要':614 '输出':1618,2100 '输出一致性提升':731 '输出可信的人力节省数据':2118 '输出定价策略建议':2137 '输出物':340,823,1262 '输出生产运行方案':21,102,373 '输出结果':249,585,1621,2190 '输出给管理层的':2187 '输出质量':1247 '输出质量的评估':1175 '边界':2160 '边界收紧':640 '边界案例发现':629 '边界案例解决率上升':737 '边界维护':1255 '边界设计是核心':895 '运维团队希望引入':863 '运维质量工程师':1715 '还出过两次误判扩容':1317 '还是':693 '还是产品入口本身':266 '还行':2240 '这套观测不是为了国日志':260 '这条链路如果断掉':137 '这样做的意义在于':222 '这项能力改变了什么任务结果':778 '连续':1467 '追踪30天留存曲线':760 '退换货':1817,2300 '退换货低采纳根因分析':2099 '退换货场景':1822,2054 '退换货场景专项评测集':1971 '退换货场景低采纳':1945 '退换货场景加入满意度实时监控':2068 '退换货场景在能力未成熟时不应大规模放量':2066 '退换货场景增加共情话术模板':2071 '退换货场景满意度低于人工水平':2255 '退换货场景采纳率':1909 '退换货处理':2226 '退换货处理三大场景':1733 '退换货失败样本':2277 '退换货政策检索':1799 '退换货政策检索准确率':1899 '退换货政策版本滞后':1956 '退换货能力补齐':2104 '退换货能力补齐进展':2161 '退换货规则库实时同步':1968 '退换货负效果':2272,2291 '退换货采纳率':1948,2108 '退换货采纳率提升':2303 '退换货需先补齐能力再放量':2030 '退款场景特殊处理流程':2072 '退款建议必须展示引用规则版本':1974 '适合':972 '适合商业实验和定价验证':992 '适合用价值信号驱动续费':1082 '造成资源浪费':1308 '遏制准确率下降':1540 '避免':1155 '采纳':620,1665 '采纳率':215,543,603,1556,1848,2166,2202,2217 '重启':1502 '重大升级':652 '重排模型加入业务影响因子':1490 '重新定义':1492 '重新定义该场景的产品边界':2274 '重新定义问题边界':525 '重新评估模型':494 '重构型':1095 '重试与回退':1349 '重试次数':176 '重责任场景的':872 '金额依据':1975 '错误建议导致生产动作':1376 '错误建议直接导致故障扩大':881 '错误影响相对有限':984 '错误率':168,207,403,598 '错误率下降':730 '长尾问题被处理':735 '问答':998 '问答即分析':1096 '问题':775 '阶段':530,1534,2092 '附证据链':1555 '降低优先级':811 '降低成本':194 '降级':2183 '降至':1391,1396,1856 '需对照组实验':1880 '需新增的能力':1187 '需测试':2023 '需深挖':1995 '需要':980 '需要为':867 '需要判断哪些能力真正形成价值':687 '需要判断哪些能力真正有价值':1773 '需要升级到领域专家的比例':1385 '需要回答':1982 '需要建立':1147 '需要建立从生产反馈到能力沉淀的完整循环':1318 '需要建立价值发现循环':55 '需要建立生产运行的观测':46 '需要建立生产运行的观测和学习体系':52 '需要构建业务语义理解和指标语义层':1075 '需要用价值信号而非主观判断来决策优先级':689 '需要知识沉淀和检索增强':885 '需要系统性方法论指导':866,960 '需要行业案例模板指导':61 '需要设计':67 '需要设计从价值发现到定价策略到方向调整的完整闭环':695 '需要设计反馈回灌机制':53 '需要设计完整的生产观测和反馈回灌体系':383 '需要设计客服':961 '需要设计数据分析类产品的':1056 '需要识别价值信号':57 '需要跨角色协作':1237 '需要重新设计工作角色和协作流程':1143 '需设计':2245 '需诊断下降原因':1361 '预测性建议':1098 '预警阈值':454,1410,1887 '领域专家处理了故障但修正未回流系统':1521 '风险可控':983 '风险标记':618,1009 '风险等级':1663 '风险评估模型更新':1683 '风险评估模型未纳入业务影响权重':1486 '飞轮启动':2121 '首响时间':441,1853 '验证':2247 '验证日志解释':926 '高':2201 '高价值修正':2280 '高价值密度':787 '高密度能力':797 '高级工程师被升级打断的频次':1403 '高质量修正样本自动进入评测集':2087 '高频':1223 '高频重复':970 '高风险':880,917,1014,1232 '高风险场景':931 '高风险误判':509","prices":[{"id":"48f4332f-6127-4201-99fe-499bfde3072b","listingId":"71de8aaa-bd08-4d61-a10c-9fd66efcbf43","amountUsd":"0","unit":"free","nativeCurrency":null,"nativeAmount":null,"chain":null,"payTo":null,"paymentMethod":"skill-free","isPrimary":true,"details":{"org":"gmaxxxie","category":"ai-native-product-agent-skills","install_from":"skills.sh"},"createdAt":"2026-05-01T01:02:50.798Z"}],"sources":[{"listingId":"71de8aaa-bd08-4d61-a10c-9fd66efcbf43","source":"github","sourceId":"gmaxxxie/ai-native-product-agent-skills/ai-native-production-ops","sourceUrl":"https://github.com/gmaxxxie/ai-native-product-agent-skills/tree/main/skills/ai-native-production-ops","isPrimary":false,"firstSeenAt":"2026-05-01T01:02:50.798Z","lastSeenAt":"2026-05-18T18:57:24.938Z"}],"details":{"listingId":"71de8aaa-bd08-4d61-a10c-9fd66efcbf43","quickStartSnippet":null,"exampleRequest":null,"exampleResponse":null,"schema":null,"openapiUrl":null,"agentsTxtUrl":null,"citations":[],"useCases":[],"bestFor":[],"notFor":[],"kindDetails":{"org":"gmaxxxie","slug":"ai-native-production-ops","github":{"repo":"gmaxxxie/ai-native-product-agent-skills","stars":56,"topics":["agent-skills","ai-agent","ai-native","ai-product","methodology","product-management","product-methodology","product-thinking","skills"],"license":null,"html_url":"https://github.com/gmaxxxie/ai-native-product-agent-skills","pushed_at":"2026-05-06T07:19:36Z","description":"AI Native Product Methodology — 80 executable skills across P0-P14 stages, covering needs discovery to aesthetic authority. From 8 books.","skill_md_sha":"c7bf60032f41a914b93aac339ada3758a388373a","skill_md_path":"skills/ai-native-production-ops/SKILL.md","default_branch":"main","skill_tree_url":"https://github.com/gmaxxxie/ai-native-product-agent-skills/tree/main/skills/ai-native-production-ops"},"layout":"multi","source":"github","category":"ai-native-product-agent-skills","frontmatter":{"name":"ai-native-production-ops","description":"AI Native 产品方法论——生产运行与循环回灌的实操 Skill。\n用户提供产品已上线或即将上线，Skill 自动执行生产运行流程：\n可观测性设计 → 指标体系搭建 → 失败与人工修正识别 → 反馈回灌 → 价值/商业/客户循环 → 输出生产运行方案。\n包含价值发现循环（§1）、AIOps案例（§2）、客服案例（§3）、SaaS案例（§4）、产品团队（§5）五个合并子模块。\n基于《AI Native 产品方法论》第18-27章。"},"skills_sh_url":"https://skills.sh/gmaxxxie/ai-native-product-agent-skills/ai-native-production-ops"},"updatedAt":"2026-05-18T18:57:24.938Z"}}