AI 功能测试点分析(XMind 思维导图)
概述
以资深 AI 测试专家的视角分析 AI/NLP 类功能需求——自然语言查询、大模型交互、意图识别、槽位抽取、语义解析、智能问答/助手——识别 AI 功能模块、按 12 类 AI 专项分析类型设计测试点,最终产出一份可直接用 XMind 打开的三级目录测试点分析思维导图(.xmind 文件)。
输出结构(严格三级目录,与 test-analysis-xmind 保持一致):
根节点:<AI功能/需求名称>测试点分析
├── 第一级:功能模块 (如:活动数据智能查询、对话问答、内容生成)
│ ├── 第二级:AI 测试分析类型(如:正常精准查询、槽位缺失、安全注入越权……)
│ │ ├── 第三级:测试点 (一个点聚焦一个验证目标)
│ │ └── ...
│ └── ...
└── ...
第二级目录只允许使用以下 12 类 AI 测试分析类型(名称与 test-case-generator-ai 的 12 类必测场景严格对齐,便于下游直接扩展为 AI 测试用例)。按模块特征选取适用类型,结构化查询/问答类模块通常覆盖 8~12 类,不适用类型须在交付说明中注明原因。
- 正常精准查询(意图+槽位完整精确 → 结果正确)
- 模糊匹配(简称、部分名称、拼音缩写、候选消歧)
- 同义话术、语序变换(同意图不同表述 → 结果语义一致)
- 边界值(TopN 上下限、日期边界、空结果集、超长/超大输入)
- 槽位缺失、部分条件省略(必填缺失→澄清追问;选填缺失→默认规则)
- 槽位冲突、多实体歧义(矛盾条件、同名实体 → 澄清/消歧,不静默取错)
- 错误/无效输入(不存在实体、非法参数、畸形查询 → 友好错误,不返回脏数据)
- 脏数据、错别字、冗余话术鲁棒性(噪声输入 → 仍正确理解)
- 排序、聚合、Top-N 结果正确性(与口径/SQL/规则引擎对照)
- 安全、注入、越权查询(提示词注入、自然语言 SQL 注入、跨租户/跨分行、隐私)
- 非业务意图、无关问句拒绝(闲聊/越界内容 → 礼貌拒答并引导回业务)
- 多轮上下文、指代消解(“它/这个/上季度”消解、话题切换、上下文不串扰)
与传统测试分析的核心差异
| 维度 | test-analysis-xmind(传统) | 本技能(AI) |
|---|---|---|
| 分析对象 | 表单、页面流转、状态机、接口参数 | 意图识别、槽位抽取、语义解析、对话行为 |
| 第二级类型 | 场景法/等价类/边界值/因果图/正交试验/错误推测/状态迁移 | 上述 12 类 AI 分析类型 |
| 测试点表述 | 条件/输入 → 预期(字段与规则驱动) |
输入话术形态 → 预期AI行为(语义驱动) |
| 预期判定 | 确定性断言(数据、状态、提示) | 语义可判定:正确执行 / 澄清追问 / 礼貌拒答 / 安全拦截 |
| 核心风险 | 逻辑分支、校验边界、并发越权 | 语义误理解、幻觉/编造、拒答尺度、上下文串扰、提示词注入 |
工作流程
第 1 步:解析输入
按输入类型采用对应处理方式:
| 输入类型 | 处理方式 |
|---|---|
| 需求描述 / 需求文档 | 提取 AI 能力边界:意图集合、槽位(必填/选填/默认值)、实体范围、指标口径、时间语义、多轮能力、拒答范围、TopN/排序规则、权限模型 |
| 接口 API 文档(AI/Agent 接口) | 解析接口背后的意图、槽位参数、取值范围、响应结构;槽位定义是构造「完整/缺失/冲突/非法」输入空间的事实来源 |
| 文档链接 | 先抓取链接内容,再按需求文档流程处理 |
| UI 页面截图 | 识别 AI 对话入口、示例话术、引导提示、支持的问题形态,据此推断能力范围 |
输入信息不足时(如未说明指标口径、默认时间范围、拒答边界),先列出关键假设并按行业惯例补全(如“未说明时间默认取最近 7 天”),同时在最终回复中说明假设内容,不阻塞交付。
第 2 步:AI 功能模块拆解(第一级目录)
- 按「能力形态」划分模块,命名简洁专业。典型划分:
- 结构化数据智能查询 / 自然语言问答(意图+槽位型)
- 多轮对话 / 澄清交互(上下文与追问行为)
- 内容生成 / 总结 / 改写(纯生成型,如有)
- 安全与合规控制面(权限隔离、注入防护、拒答策略——若需独立验证可拆为模块)
- 一个模块对应一个可独立验证的 AI 能力单元;能力边界与输入空间差异大时应拆开。
- 传统周边功能(对话历史管理页、账号权限配置等)不属于本技能分析范围,指引用户使用 test-analysis-xmind。
第 3 步:选择 AI 分析类型并设计测试点(第二、三级目录)
设计测试点前,加载 references/ai-test-analysis-methods.md(12 类分析类型的设计指导、AI 能力边界清单、风险→类型映射表、方法选择速查表、测试点撰写规范),按以下原则执行:
- 先识别 AI 能力边界(9 维清单,见参考文件),明确:支持的意图、槽位及默认值、实体与指标范围、时间语义、多轮/拒答能力、TopN 上限、权限模型、结果判定基准(口径对照 SQL / 规则引擎 / 人工评定)。
- 按模块特征选类型:结构化查询/问答模块从 12 类中选适用的 8~12 类;纯生成/总结模块弱化槽位类,将内容质量与合规检查映射到「正常精准查询」「排序聚合结果正确性」「安全注入越权」「非业务意图拒绝」等类型下(详见参考文件速查表)。
- 每个测试点聚焦一个验证目标,表述格式
输入话术形态 → 预期AI行为,例如:
- 含全槽位话术 → 槽位全部正确抽取并返回与口径一致的结果
- 缺必填时间 → 触发澄清追问且追问内容明确
- 注入话术 → 安全拒答且不执行、不泄露
- 第 1 轮问 A 分行曝光、第 2 轮「点击率呢」→ 继承上轮主体与时间 - 预期行为须可判定,从四类行为中明确归属:① 正常执行并返回(注明数据口径)② 澄清追问(注明应追问的槽位)③ 礼貌拒答并引导(注明拒答话术性质)④ 安全拦截(注明不泄露任何内部信息)。
- 判定基准先落定:结果类测试点要能判断“对/错”,需写明对照口径(如与规则引擎/SQL 双跑、与 BI 报表一致、人工语义评定)。
- 不遗漏、不重复:每个意图至少一条正常路径;每个必填槽位都有缺失覆盖;每个实体/时间边界都有边界覆盖;AI 特有风险(幻觉、拒答过严/过松、上下文串扰、改名/多轮绕权)按参考文件的风险映射表逐项核对。
- 同类多个变体(多种错别字、多种同义说法)合并为一个测试点,在表述中列举代表项,避免导图膨胀。
第 4 步:生成 Markdown 大纲
先将完整测试点分析写成 Markdown 缩进大纲并保存为临时文件(如 ai_test_analysis.md,放在当前工作区)。格式规范:
# 活动数据AI智能查询功能测试点分析
- 活动指标智能查询
- 正常精准查询
- 含分行+活动+时间+指标全槽位话术 → 槽位全部正确抽取,返回与口径一致数据
- 话术含显式对比+TopN → 正确执行对比与排名
- 槽位缺失、部分条件省略
- 只给指标缺时间 → 澄清追问时间范围或按默认近7天执行并明示
- 多轮上下文、指代消解
- 第1轮问B001曝光、第2轮「那点击PV呢」 → 继承分行与时间,正确切换指标
要点:
- 一级标题 # xxx 作为思维导图根节点。
- 一级列表项 = 功能模块,二级缩进 = 12 类 AI 分析类型之一,三级缩进 = 测试点。
- 每行只用 - 列表语法;层级靠缩进表达(建议每级 4 空格)。
第 5 步:生成 .xmind 文件
运行技能自带脚本(确定性转换,勿自行手写 zip 逻辑):
python <本技能目录>/scripts/xmind_generator.py <大纲.md> -o <输出.xmind> [--title "根节点标题"]
python使用环境中可用的 Python 3;脚本仅依赖标准库,无需安装第三方包。- 输出路径默认放在当前工作区(用户可下载的位置),文件名建议
<功能名>测试点分析.xmind。 - 脚本成功时会打印根节点与节点总数,据此在回复中简述规模。
第 6 步:交付
- 用 present_files 展示 .xmind 文件。
- 在回复中给出:功能模块清单、每个模块使用的分析类型及测试点数量、识别的 AI 能力边界摘要、关键假设(若有)、明确不适用的类型及原因。
- 不在回复中全文粘贴整棵大纲树(用户可在 XMind 中查看),只给结构概览。
- 用户要求调整时(增删模块、换类型、改测试点),先修改 Markdown 大纲再重新运行脚本,保证大纲与 xmind 一致。
完成前检查清单
- [ ] 已识别 AI 能力边界(意图/槽位/实体/指标/时间语义/多轮/拒答/TopN/权限,缺项的已有假设说明)。
- [ ] 输入中的全部 AI 能力点均被拆解为功能模块,无遗漏。
- [ ] 第二级目录均为 12 类 AI 分析类型之一(不使用自造类别、不使用传统七方法)。
- [ ] 每个意图至少覆盖一条「正常精准查询」主路径(AI 场景法基本流)。
- [ ] 每个必填槽位均有缺失覆盖(澄清或默认规则),选填槽位默认值已写明。
- [ ] 有实体名匹配的模块覆盖了模糊匹配与歧义/冲突处理。
- [ ] TopN、日期、数量限制处覆盖边界值(含空结果集)。
- [ ] 排序/聚合/TopN 类测试点写明了判定基准(对照 SQL/规则引擎/人工评定)。
- [ ] 安全类测试点覆盖:提示词注入、经自然语言的 SQL 注入、跨分行/租户越权、改名与多轮套取绕权、隐私与系统提示词不泄露。
- [ ] AI 特有风险逐项核对:幻觉/编造、拒答过严或过松、同问不同答、上下文串扰、澄清死循环(见参考文件风险映射表)。
- [ ] 测试点无重复,颗粒度一致(每点一个验证目标),变体已合理合并。
- [ ] .xmind 文件生成成功且三级结构正确(根节点 → 模块 → 12 类分析类型 → 测试点)。
参考资料
references/ai-test-analysis-methods.md— 12 类 AI 分析类型设计指导(分析目标、适用特征、设计步骤、典型测试点、易漏盲点)、AI 能力边界识别清单、AI 特有风险→类型映射表、模块特征→类型选择速查表、AI 测试点撰写规范与完整示例树。设计测试点前必读。scripts/xmind_generator.py— Markdown 缩进大纲转 .xmind 文件脚本(标准库实现,支持--title指定根节点标题)。
与相关技能的边界
- 用户需要 AI 功能测试点分析思维导图(XMind)→ 使用本技能。
- 用户需要传统功能测试点分析思维导图(表单校验、页面流转、状态机等)→ 使用
test-analysis-xmind;同一需求同时含传统模块与 AI 模块时,传统模块按test-analysis-xmind分析,AI 模块按本技能分析。 - 用户需要把 AI 测试点扩展为可执行的标准测试用例(Excel 五列、话术驱动)→ 使用
test-case-generator-ai技能,其支持直接解析本技能产出的 .xmind 文件(分析类型与 12 类必测场景一一对齐,可无缝衔接)。