系统智能化升级
一句话:能力已经上线了,接下来怎么把它做得好用、用得住、该退时能退。
本技能只处理上线之后这一段:量效果 → 定根因 → 改动作 → 扩场景 → 升版本 → 保回归 → 建反馈闭环 → 定退出标准。
它不做首次接入类的工作:不做能力选型与立项(那在方案阶段)、不做需求规格说明与技术规格说明、不设计挂载点与嵌入策略、不做数据与口径的首次兼容改造、不写业务代码。这些前提在本技能开始前应当已经存在;缺了就先回去补齐,不要在升级阶段重复讨论。
升级类工作最常见的三种失败方式,本技能专门避免:
| 失败方式 | 表现 | 本技能的对策 |
|---|---|---|
| 凭感觉优化 | "用户说不太好用"就改提示词 | 先取数、先定基线,再谈改什么 |
| 一锅端 | 一个版本同时改口径、提示词、交互 | 动作数上限 + 单变量归因,禁止混合升级 |
| 只进不退 | 没人用的能力一直留着占资源占入口 | 明确的退出标准与退出流程 |
与相邻技能的分工:成熟度定级与整体演进路径、能力选型与立项、需求/技术规格说明、首次接入的挂载点与数据兼容,都不在本技能范围内——遇到这些诉求交回对应阶段处理。本技能只在"能力已经在线"这个前提下工作。
这个技能产出什么
| 产出物 | 回答什么问题 | 位置 |
|---|---|---|
| 效果评估表 | 现在到底做得怎么样、基线是什么 | references/effect-measurement.md |
| 根因归类表 | 问题属于哪一类、证据是什么 | 本文第二步 |
| 优化清单 | 具体改什么、预期改善多少、怎么验证 | assets/upgrade-plan-template.md |
| 能力扩展建议 | 要不要扩到相邻场景、先扩哪一个 | references/iteration-and-release.md |
| 版本升级方案 | 怎么升、放给谁、什么条件下回滚 | assets/upgrade-plan-template.md |
| 回归验证清单 | 升级有没有把原来好用的部分弄坏 | assets/upgrade-plan-template.md |
| 能力下线建议 | 什么情况下应该退出这个能力 | references/iteration-and-release.md |
何时用 / 何时不用
用:能力已上线一段时间想知道到底有没有用;上线了但用的人少、用几次就不用了;效果时好时坏说不清原因;要给现有能力做一次版本迭代;要决定某个能力继续投入还是下线。
不用:能力还没上线、正要选型立项写规格说明(接入与方案阶段的事);从零新建业务系统;只要一段示例代码或修一个 bug;纯界面视觉改版。
第 0 步 · 升级前置:先把三样东西找齐
没有这三样,后面的度量全是猜。
| 前置输入 | 为什么必须有 | 缺失时怎么办 |
|---|---|---|
| 能力卡片 | 能力名、挂载点、覆盖哪些用户/角色、上线时间、当前版本 | 找建设方或产品负责人补齐;补不齐就先把范围缩到有记录的能力 |
| 取数途径 | 触发次数、采纳次数从哪来(埋点、日志、业务库、人工登记) | 没有埋点就先约定一份最小埋点清单,本次评估退回人工抽样 |
| 原验收口径 | 上线时答应过什么效果、谁签的字 | 找不到就当"无基线"处理,按本文第一步的兜底办法建内部基线 |
先问后做:如果用户无法提供以上任一项,不要凭经验假设一个数字往下推。明确写出"这一项缺失,本次结论的置信度受限",请用户确认后继续。
第一步 · 效果评估与基线(确认门 1)
四类指标,两类看"好不好",两类看"值不值"。度量口径、取数方式与陷阱见 references/effect-measurement.md。
| 指标类 | 一句话定义 | 常用口径 | 看什么 |
|---|---|---|---|
| 采纳率 | 触发了能力的人,有多少真正用了结果 | 采纳次数 ÷ 触发次数 | 是不是没人用 |
| 准确率 | 结果对的比例 | 抽检正确条数 ÷ 抽检条数 | 是不是不敢用 |
| 节省时间 | 同一件事现在比之前少花多少时间 | 上线前后单次耗时对比(人工计时或工时记录) | 值不值得继续投 |
| 用户满意度 | 用过的人怎么评价 | 能力内评价 + 定向访谈(样本要注明) | 用得不爽在哪 |
基线三条(按优先级取第一条能拿到的):
- 上线前人工口径:同一件事之前靠人工做要多久、错多少,用真实工时或工单记录做基线;
- 首两周内部基线:上线最初两周(用户还在新鲜期、行为最接近理想)作为自身基线,后续与本基线比;
- 同类场景对照:同一能力在另一个部门/角色的表现做横向对照。
判定铁律:
- 没有口径的指标不得进结论。只有印象、没有分母的"感觉不太准"只能进待验证清单。
- 样本量不足不下结论:单周期触发次数少于 30 次时,只描述趋势与现象,不写"提升/下降 N%"。
- 每次评估同时给出分母,不留只有比率的行。
确认门 1:输出效果评估表,问用户:"这份效果评估与你的实际观察是否一致?有哪些指标你认为口径不对?"选项:一致,进入问题归类 / 口径需要修正 / 先补取数。口径需要修正时,先改口径再往下。
第二步 · 问题归类(五类根因)
把现象落到五类根因之一。一条问题只归一类,主责唯一;归不到一类的,写"待取证"并列出下一步取证动作,不得硬塞。
| 根因类别 | 典型信号 | 快速取证 | 常见误判提醒 |
|---|---|---|---|
| 数据问题 | 答案时对时错、缺字段、查不到历史数据 | 取 10 条用户认为错的样本,回到底层数据逐条核对 | 别把"数据缺失"当成"模型不行" |
| 口径问题 | 同一问题不同人得到不同答案、用户说"数不对" | 找该指标的口径定义人,问唯一答案是什么 | 口径没定死时,改模型永远改不好 |
| 提示词问题 | 答案格式乱、答非所问、超出范围还硬答 | 用同一批输入重放,看输出稳定性 | 先排除数据与口径,最后才归到提示词 |
| 交互问题 | 用户找不到入口、不知道能问什么、不敢点 | 观察 3~5 位真实用户的操作路径与卡点 | 采纳率低常常是入口问题,不是效果问题 |
| 场景选错 | 用的人本来就少、任务本身不适合自动化 | 统计触发场景分布,看是否集中在少数低频场景 | 低频高判断场景,怎么优化都不划算 |
归类顺序(取证成本从低到高):数据 → 口径 → 交互 → 提示词 → 场景选错。
先排除低成本的,再动高成本的,避免"一上来就调提示词"这种最常见的时间浪费。
产出:根因归类表(问题描述 → 根因类别 → 证据 → 影响的能力与用户面 → 建议处置)。
证据一栏必须写清取证方式与样本量;写不出证据的条目留在"待取证",不进优化清单。
第三步 · 优化动作设计(确认门 2)
按 references/iteration-and-release.md 里每类根因的改法清单,逐条设计动作。每个动作三要素齐全才算成立:
| 要素 | 要求 | 反例 |
|---|---|---|
| 改什么 | 具体到对象:哪个字段/哪条口径/哪段指令/哪个入口 | "优化一下提示词" |
| 预期改善幅度 | 给区间 + 依据 + 假设(如"预计采纳率 12% → 20%~25%,前提是入口挪到列表页顶部") | "大幅提升" |
| 怎么验证 | 指标 + 取数方式 + 观察周期(建议 2 周) | "上线后看看" |
单次升级的动作数上限建议为 5 个,且优先选择能分别归因的动作;超过上限就拆成两个版本。一锅端会让下一轮评估无法判断是哪一个改动起了作用。
确认门 2:输出优化清单(含每条的根因、动作、区间、验证方式),问用户:"这版先做哪几项?"选项:按清单全部做 / 只做前 N 项 / 调整动作。得到明确答复后才进入版本方案。
第四步 · 能力扩展判定
能力稳定之后才会面对"要不要扩到相邻场景"。用四个复用判据先算复用度,再看顺序。
| 判据 | 高复用(可扩) | 低复用(不成其为扩展) |
|---|---|---|
| 数据 | 复用现有单据与字段,无需新建取数 | 要新建一套数据链路或新接一个系统 |
| 交互 | 复用现有触发方式与结果呈现 | 要新增一种交互形态与结果容器 |
| 用户群 | 同一批用户的相邻任务 | 是完全不同岗位、不同使用习惯的人 |
| 口径 | 复用同一套指标口径 | 需要新的口径定义,且定义人尚未确认 |
扩展顺序(复用度从高到低,先易后难):
- 同数据 · 同交互(最像的相邻场景,风险最低);
- 同数据 · 异交互(数据现成,只改呈现);
- 异数据 · 同交互(交互复用,先解决数据);
- 异数据 · 异交互(默认不做,它其实是新建一项能力,回到接入流程)。
反判据:只要"数据"与"口径"两项都落在低复用列,就不要称它为"扩展"——按新建能力走首次接入流程,不要用升级的方式硬塞进来。
第五步 · 版本升级与灰度(确认门 3)
升级范围按四个维度圈定,逐个写明放开节奏与放行判据:
| 维度 | 举例 | 适用场景 |
|---|---|---|
| 用户 / 角色 | 先给 3 个种子用户 → 一个班组 → 全角色 | 交互或呈现改动的默认做法 |
| 组织 | 先一个部门 → 多部门 → 全公司 | 口径相关的改动必须这样放 |
| 场景 | 先一个高频场景 → 其余场景 | 提示词类改动的默认做法 |
| 数据范围 | 先近 3 个月 → 全历史 | 数据与性能相关的改动 |
写法要求与回滚条件、回滚动作清单见 references/iteration-and-release.md。三条硬要求:
- 保留上一版快照:提示词、规则阈值、配置项在改动前留一份可整版回退的快照,回退步骤必须是能照着执行的序列;
- 回滚条件可量化:如"准确率连续 2 天低于升级前 X 个百分点",不写"视情况回滚";
- 灰度期禁止混合变量:灰度期内不改别的配置,否则放行判据失去意义。
确认门 3:把"升级方案 + 放行判据 + 回滚条件"摆给用户,选项:按此升级 / 缩小范围 / 暂缓。由用户决定,不替用户拍板。
第六步 · 回归验证清单
升级最容易伤到"原来好用的部分"。按 assets/upgrade-plan-template.md 的清单逐条勾选,未勾选项即为未验证项,必须在方案里明确写出,不得默认通过。
五类必查:
| 类别 | 查什么 |
|---|---|
| 原有能力 | 上一版能答对的问题,本版仍答对(用固定回放集逐条比对) |
| 边界与异常态 | 无数据、超范围、口径歧义三种情况仍按约定提示,不硬答 |
| 口径 | 升级前后同一指标的答案一致;口径在升级期冻结,不随版本变 |
| 权限 | 不同角色看到的数据范围与升级前一致,没有越权或收窄 |
| 性能 | 响应时间不低于升级前,超时与失败有兜底提示 |
固定回放集是这一步的前提:从上版本积累 20~50 条真实问题固化成一个回归集,每次升级都重放一遍,才能证明"没有变差"。
第七步 · 用户反馈驱动的迭代机制
效果指标告诉你"发生了什么",反馈告诉你"为什么"。两者都不能省。
| 渠道 | 归集频率 | 谁处理 | 回执方式 |
|---|---|---|---|
| 能力内反馈入口 | 每日归集 | 产品负责人分派 | 原渠道回复"已修 / 不修+原因 / 进排期" |
| 用户群与私聊 | 每周汇总 | 产品负责人 | 周报形式统一回复共性问题 |
| 支持工单 | 实时 | 一线支持 | 工单内闭环,个案不遗漏 |
| 使用日志反查 | 每月 | 数据责任人 | 输出"问了什么但没被采纳"的高频问法清单 |
三条机制要求:节奏固定(T+1 归集、每周处理一次、每月一次效果复盘,公布后按节奏走);每条反馈必须有回执(不回执等于没收集,下一轮就没人再提);高频未采纳问法优先(日志里"问了但没得到有用答案"的高频问法,是下一版优化清单最可靠的输入来源)。
第八步 · 退出标准:什么时候该下线
退出的四个信号(命中任一即启动评估,命中两个以上建议下线):
| 信号 | 判定方式 |
|---|---|
| 长期低采纳 | 连续 2 个观察周期(建议各 2 周)采纳率低于约定下限,且入口位置已排查过 |
| 场景消失 | 触发集中的那个业务场景本身已停用或流程已改 |
| 维护成本高于收益 | 每版本要改口径/修数据的时间,超过它节省的人工时间 |
| 已被替代 | 新的流程、系统或另一项能力已覆盖同一件事 |
退出流程(不得"悄悄下线"):
- 降级:隐藏入口或改为只读,保留能力本体,观察一个周期确认无人依赖;
- 公告:向原使用人群说明下线时间、替代做法、找谁求助;
- 下线并留档:保留配置与提示词快照、数据留存策略、以及"为什么下线"的一句话结论(下次别重复立项),与验收材料放在一起。
产出物规格
| 产出物 | 必备内容 |
|---|---|
| 效果评估表 | 四类指标、口径、基线来源、本周期值、判定;每行带分母与样本量 |
| 根因归类表 | 问题描述、根因类别(五类之一)、证据与取证方式、影响面、建议处置 |
| 优化清单 | 编号、问题、根因、动作、预期改善幅度(区间+假设)、验证方式、负责人、状态 |
| 能力扩展建议 | 四个复用判据的结论、扩展顺序、明确写出的"不扩展"结论与理由 |
| 版本升级方案 | 升级范围与节奏、放行判据、回滚条件与回滚步骤、上一版快照位置 |
| 回归验证清单 | 五类逐条勾选状态、固定回放集条数与结果、未验证项清单 |
| 迭代机制说明 | 四个渠道、处理节奏、回执方式、月度复盘输出物 |
| 能力下线建议 | 命中的信号、降级与公告安排、留档内容 |
所有数字必须标来源与假设;来源不明的标"待核实",且不得作为结论支撑。同一指标的口径在整个升级周期内必须唯一。
质量红线(禁止事项)
- 不编造数字:触发数、采纳率、耗时、满意度,用户没提供就标"待核实"并去取数,不得用行业均值或经验值顶替。
- 不无口径下结论:没有分母、没有定义、没有样本量的指标不得写成结论。
- 不给单点承诺:预期改善一律用区间 + 假设;禁止"升级后一定提升 N%"。
- 不混合升级:一个版本内的改动项要能分别归因;超过建议上限就拆版本,禁止用一次大改掩盖归因不了的事实。
- 不把口径问题当模型问题:口径未定死之前,不得通过反复调提示词去"对齐"口径。
- 不悄悄下线:任何能力退出都要走降级 → 公告 → 留档,不得直接隐藏或删除。
- 不越界写别的阶段的内容:不产出能力选型结论、立项方案书、需求/技术规格说明、挂载点设计——那些属于接入与方案阶段。
- 不跳过确认门:三个确认门必须逐一获得用户明确答复才能继续。
参考文件索引
references/effect-measurement.md—— 四类效果指标的度量方法与基线设定、低采纳率的五类根因诊断、指标看板搭建要点references/iteration-and-release.md—— 优化动作设计与预期改善幅度、能力扩展判据与顺序、灰度范围与回滚条件、回归验证清单、反馈迭代机制、能力下线标准与退出流程assets/upgrade-plan-template.md—— 版本升级方案 + 优化清单 + 回归验证清单模板(可直接复制)
关于产品(可选接入)
本技能自包含、可独立使用,不依赖任何外部系统,也不要求接入任何特定平台。
同一套方法在「Smartware」中另有产品化承载:能力清单、模板与规则可直接作为配置与验收的依据;是否接入、如何接入由团队按自身环境决定。