街道办摸排报表统计
把"反复复制粘贴 + 重复手工汇总"变成"一次录入 + 多模板自动适配 + 异常明示"。基于用户提供的真实摸排数据生成结构清晰、字段对齐、异常可追溯的报表初稿，由人工审核定稿。本 Skill 不替用户定稿、不修改原始数据值、不推测填充缺失数据。
不可突破的红线
- 原始数据只读不修改： 清洗与汇总操作生成副本，原始文件全程不动；用户可随时查看原始值与清洗后值对比。
- 异常标记不静默修正： 五类校验异常（范围/逻辑/一致性/格式/缺失）必须明示并由人工决定处理方式，AI 不自动修改值、不自动删除行、不做缺失推测。
- 异常数据默认不参与汇总： 默认剔除异常行后汇总；用户可显式勾选"含异常汇总"，此时在汇总表顶部明确标注"本汇总含 N 条未处理异常数据，结果仅供参考"。
- 所有产出标注待审核： Excel 文件首页 A1 标注"待审核-经办人-日期"，文件名追加
_draft后缀，审核完成后改为_final；不替用户上报。 - 涉密即拒绝 + 不存储： 文件名或内容含"秘密/机密/绝密/工作秘密"等密级标注的材料，拒绝处理、不摘录、不写入任何产出、不进入草稿持久化。
- 汇总数字必须可溯源： 汇总表中每个统计数字可追溯到原始数据行（行号、来源文件、关键字段值）。
一、核心能力速查
| 功能 | 描述 | 触发关键词 |
|---|---|---|
| 多源数据上传与读取 | Excel/CSV，1-10 份，自动识别表头；数据量分级处理 | 上传数据、汇总表格 |
| 字段识别与自动映射 | 三层匹配（精确/模糊/LLM 兜底），准确率 ≥85% | 字段对应、字段映射 |
| 数据清洗与标准化 | 去重/日期/数值/分类格式统一；原始值不变 | 清洗、标准化 |
| 交叉校验与异常标记 | 五类校验，异常报告含行号+原因 | 校验、检查、查错 |
| 汇总统计与计算 | 分组、占比、环比同比、自定义公式 | 汇总、统计、占比、环比 |
| 多格式报表输出 | 上级模板/标准台账/汇总统计表 | 输出、生成报表 |
| 数据溯源 | 汇总数字追溯到原始行 | 溯源、来源 |
| 多人审核工作流 | 经办人 → 审核者签字 → 定稿 | 审核、签字、定稿 |
| 任务状态机与版本快照 | 9 状态 + 任意节点回退 | 回退、撤回 |
二、标准工作流程
前置步骤：涉密与可行性检查（最先做）
- 关键词清单见
config/secret_keywords.json；扫描工具见scripts/check_secret_keywords.py。 - 调用方式：
bash python3 scripts/check_secret_keywords.py <待扫描目录或文件> [--recursive] [--json] - 硬拒绝文件 → 立即停止处理、不摘录、不写入任何产出；其余非密材料可继续。
- 数据量分级处理：
| 行数区间 | 处理路径 |
|---|---|
| ≤5000 | 正常路径：立即处理 |
| 5001-10000 | 延后路径：进入任务队列 |
| >10000 | 仅预览路径：读取表头 + 前 100 行，提示拆分 |
步骤一：上传与数据读取（F1）
- 接收 1-10 份原始数据文件（Excel/CSV），可选上级报表模板与数据说明
- 自动识别表头行（支持 1-3 行）
- 多文件结构相似（列名重合度 ≥60%）时提示合并处理
- 生成"数据读取摘要"：文件清单、行列数、识别字段列表
- 加密/损坏文件标记为"无法读取"，继续处理其他文件
步骤二：字段识别与自动映射（F2）
- 内置标准字段库（
config/standard_fields.json，v1 共 30 个字段，分 4 个业务域） - 三层匹配：
| 层级 | 触发条件 | 置信度 |
|---|---|---|
| 精确匹配别名 | 来源列名完全等于某字段别名 | 100% |
| 模糊匹配 | 编辑距离 + 同义词库 | 50%-99% |
| LLM 语义兜底 | 置信度 < 50% 时触发 | 输出 AI 建议 |
- 用户确认映射关系，保存为映射方案（含版本管理）
- 临时字段支持申请升级为标准字段（需审核者确认）
步骤三：数据清洗与标准化（F3）
- 去重：基于关键字段组合（如企业名称+地址、姓名+身份证号）标记疑似重复，不自动删除
- 日期格式统一：YYYY-MM-DD
- 数值格式统一：去千分位、统一小数位、单位需用户确认
- 分类值标准化：是/否、Y/N、有/无、1/0
- 缺失值标记：必填为空标"待补充"，非必填为空保留
- 前后空格清理
关键规则： 清洗操作生成副本，原始数据不变。
步骤四：交叉校验与异常标记（F4）
- 五类校验：范围、逻辑、一致性、格式、缺失
- 异常标记：
【异常：类型】或【缺失：需补充】 - 异常数据默认不参与汇总；勾选"含异常汇总"则参与并明确标注
- 异常报告：行号、字段、原因、原始值
- AI 不静默修正：所有异常必须由人工决定处理方式
步骤五：汇总统计与计算（F5）
- 分组汇总、占比、环比同比、自定义公式
- 环比口径规则：
- 默认基于上期同口径原报表
- 若用户提供上期原始数据，提示"将基于原始数据重新汇总，结果可能与原报表有差异"
- 口径变化（字段、周期、范围）时自动提示
- 汇总数字附带溯源信息（来源行数、数据范围）
步骤六：多格式报表输出（F6）
| 格式 | 适用场景 | 输出 |
|---|---|---|
| 上级模板格式 | 上传了上级模板，按模板填充 | 与模板格式一致的 xlsx |
| 标准台账格式 | 完整明细台账，异常行保留标记 | xlsx |
| 汇总统计表格式 | 分组汇总+占比+环比 | xlsx |
- "待审核"形式：首页 A1 标注 + 文件名
_draft后缀 + PDF 水印 + 版次管理（不覆盖原文件） - 命名模板：默认
{报表名}_{周期}_{生成日期}.xlsx；可自定义占位符{街道名}_{报表名}_{周期}_{状态}_{日期}.xlsx - 数据说明 sheet：数据来源、统计口径、异常处理情况、生成时间、审核状态
步骤七：多人审核工作流（F8）
经办人提交 → 审核者查看异常报告 → 审核者处理（通过/驳回）
↓ 通过 ↓ 驳回
定稿（_final） 退回经办人处理后重新提交
- 节点记录：操作人、时间、意见、签字
- 审核驳回回到异常处理节点
步骤八：数据溯源（F7）
- 用户点击汇总表中某个数字 → 展示计算过程 + 原始数据行（行号、来源文件、关键字段值）
- 支持跳转到原始数据行查看
三、任务状态机（F9）
| 状态 | 含义 | 允许操作 |
|---|---|---|
| 待处理 | 任务已创建，未开始 | 编辑、删除、开始处理 |
| 处理中 | 数据读取/清洗/校验中 | 查看进度、取消 |
| 待用户确认 | 等待用户确认映射/异常 | 用户确认 |
| 待审核 | 经办人已提交，等待审核 | 审核者处理 |
| 已审核 | 审核者签字通过 | 输出报表 |
| 已驳回 | 审核者驳回，回到经办人 | 经办人重新处理 |
| 已完成 | 报表已输出，流程结束 | 查看、导出、归档 |
| 已撤回 | 经办人主动撤回 | 编辑后重新提交 |
| 失败 | 处理过程出错 | 查看原因、重新提交 |
版本快照： 每个关键节点（映射确认后、清洗后、异常处理后、汇总后、审核后）生成命名快照，用户可一键回退到任一历史快照。
错误恢复： 处理中状态每 30 秒写入心跳；进程崩溃后可从最近心跳恢复。
四、数据合规与安全
- 数据本地化： AI BOX 本地处理，不上传公网
- 脱敏展示： 身份证号、手机号、银行卡号、家庭住址（具体规则见
references/data-quality-rules.md） - 保留期限： 原始文件 6 个月 / 清洗后数据 6 个月 / 报表成品 3 年 / 操作日志 5 年
- 销毁机制： 过期自动清理；管理员手动销毁需双人确认
- 涉密识别： 文件名关键词、内容关键词、正则模式、用户主动打标
- 操作日志： 全链路审计（上传、清洗、异常处理、报表生成、审核、导出、销毁）
五、性能与容量
| 数据量 | 处理时间要求 | 路径 |
|---|---|---|
| ≤1000 行 | ≤5 秒 | 优秀基线 |
| ≤5000 行 | ≤30 秒 | 验收基线 |
| 5001-10000 行 | 队列等待 ≤2 分钟 | 延后处理 |
| >10000 行 | 不处理 | 仅预览 |
基线条件： AI BOX 标准版（8 核 CPU / 16GB 内存 / NVMe SSD），单任务并发，≥20 个字段，含范围/逻辑/格式三类校验。
六、交付形态
- 默认输出 xlsx（按上级模板/标准台账/汇总统计表三种格式）
- 同一批数据可同时输出多种格式，无需重新处理
- 全部产出标注"待审核-经办人-日期"，文件名
_draft后缀 - 审核完成后改为
_final，生成新版本不覆盖原文件 - 数据说明 sheet 强制展示：数据来源、统计口径、异常处理情况、生成时间、审核状态
七、交付前自检（逐条过）
7.1 数据完整性
- [ ] 原始文件未被修改（只读副本原则）
- [ ] 字段映射经用户确认，最终准确率 100%
- [ ] 异常数据全部标记，未静默修正
- [ ] 异常数据默认不参与汇总（除非用户显式勾选"含异常汇总"）
7.2 报表格式
- [ ] 输出文件首页 A1 标注"待审核-经办人-日期"
- [ ] 文件名后缀
_draft - [ ] 数据说明 sheet 完整（来源、口径、异常、生成时间、审核状态）
- [ ] 上级模板填充未破坏原模板的固定文字与格式
7.3 溯源与审计
- [ ] 汇总数字可追溯到原始数据行
- [ ] 操作日志完整记录（时间、操作人、动作、对象）
- [ ] 涉密文件未进入任何产出
7.4 审核流程
- [ ] 经办人提交后审核者看到完整异常报告
- [ ] 审核驳回回到异常处理节点，经办人可重新处理
- [ ] 审核通过后状态变更为"已审核"，文件后缀改为
_final
八、何时不用本 Skill（边界说明）
| 场景 | 不适用原因 | 建议渠道 |
|---|---|---|
| 实时数据大屏 | 本期不做实时可视化 | 走 BI 平台 |
| 政务系统 API 直接对接 | 本期为 P2 架构预留，未实现 | 走 API 中间件 |
| 单文件 >10000 行 | 硬上限，仅预览不处理 | 拆分或筛选后处理 |
| 跨表复杂透视 | 当前仅支持基本汇总 | 走数据库或 BI 工具 |
| 政治敏感数据（涉密） | 必须走机要渠道 | 机要室线下办理 |
| 自动定稿上报 | 本 Skill 只出初稿 | 经办人 + 审核者签字后人工上报 |
九、常见问题 FAQ
Q1：字段映射不准确怎么办？
A：自动映射准确率目标 ≥85%；用户确认后必须 100%。如 LLM 兜底仍不准，可手动选择标准字段或标记"忽略"。
Q2：异常数据是否参与汇总？
A：默认不参与。如需包含异常数据汇总，勾选"含异常汇总"，汇总表顶部会明确标注"本汇总含 N 条未处理异常数据，结果仅供参考"。
Q3：上级模板含合并单元格/多级表头能处理吗？
A：按 config/template_capability_matrix.json 判定。横向/纵向合并单元格完全支持；三级以上表头部分支持；含图表/VBA/加密不支持，需用户手动处理。
Q4：审核驳回后报表去哪了？
A：回到异常处理节点，附驳回意见；经办人处理后重新提交审核。
Q5：如何处理超过 10000 行的大文件？
A：仅生成预览（表头 + 前 100 行），提示用户拆分或筛选后上传。
Q6：环比数据口径变化怎么处理？
A：自动提示：字段定义变化、统计周期变化、业务范围变化时会给出"口径差异提示"，由用户确认是否继续。
Q7：能否删除已生成的报表？
A：仅本人且未审核的报表可删除；已审核的报表由审核者或管理员处理，按数据保留期限归档。
Q8：生成的报表能直接上报吗？
A：不可以。所有产出标注"待审核"，必须经审核者签字后才能上报。AI 不替代上报流程。
十、参考文件（按需读取，不要一次性全读）
config/standard_fields.json：标准字段库 v1（30 个字段，分 4 个业务域）config/template_capability_matrix.json：上级模板适配能力矩阵config/field_validators.json：校验规则与异常处理默认行为config/secret_keywords.json：涉密关键词清单references/workflow.md：详细工作流说明references/field-library.md：标准字段库详细说明references/template-adapter.md：模板适配能力详解references/data-quality-rules.md：数据质量规则与脱敏展示references/naming-conventions.md：命名规范references/error-codes.md：错误码表scripts/check_secret_keywords.py：涉密关键词扫描scripts/workflow_orchestrator.py：端到端工作流编排scripts/skill_cli.py：命令行入口scripts/field_mapper.py：字段映射引擎（三层匹配 + LLM 兜底）scripts/data_cleaner.py：数据清洗scripts/data_validator.py：交叉校验scripts/data_aggregator.py：汇总统计scripts/template_filler.py：模板填充scripts/report_exporter.py：报表输出scripts/source_reader.py：数据源读取scripts/snapshot_manager.py：快照管理scripts/task_state_machine.py：任务状态机scripts/audit_logger.py：操作日志scripts/data_masking.py：数据脱敏examples/：脱敏输入输出样例tests/：脚本单元测试
