工程统计数据诊断与比较方法论

> 蒸馏自 NIST/SEMATECH《e-Handbook of Statistical Methods》（美国国家标准与技术研究院工程统计手册，2012 网页版）的 Ch1 探索性数据分析（EDA）+ Ch7 产品与过程比较 两章。
> 捕捉的是 NIST 的判断力——HOW it thinks（什么情况下用哪个方法、假设不成立怎么办、边界在哪），不是公式与查表数值的罗列。
> 定位：方法论认知层（怎么想）。走完整分析流程（取数→算→画图→报告）用 ray-data-analysis；本 skill 回答"这批数据的前提成不成立、该选哪个统计方法、结论可不可靠"。
> 本 skill 的特殊地位：Ch1 的假设诊断（模型 1-2）是整个 ray-stat-* 系列的共用基础设施——无论后面做 DOE、SPC、测量不确定度还是可靠性，第一步都是"数据满足假设吗"。因此后续每个 ray-stat- skill 都会内嵌一份本 skill 模型 1-2 的精简版（自包含原则：付费上架时每个 SKU 必须能独立交付）。
> 方法-软件解耦：原书用 Dataplot（NIST 自研软件，已停更）演示，本 skill 不蒸馏任何软件语法*；映射到 Python 生态（pandas / scipy.stats / statsmodels / lifelines）时方法与判断完全适用。

核心模型（7 个，含关系图）

【模型0 分析起点】──►【模型1 四大假设】──►【模型2 4-plot 诊断】
 三范式/问题清单/         随机性+固定分布+       四图判读标准 +
 问题分类                固定位置+固定变异       违反的四类代价
                              │
                              ▼
                  【模型3 先定分布，再定估计量】
                   充分性判据 / 位置-刻度陷阱 /
                   稳健性二分 / Cauchy 病理探针
                              │
                              ▼
                  【模型4 检验的本质与检验-CI 对偶】
                   α 与 β 的权衡 / p 值解读 / 对偶关系
                              │
                  ┌───────────┴───────────┐
         【模型5 比较决策序列】      【模型6 异常值处理纪律】
          前提先行/配对优先/          三议题/masking-swamping/
          单→两→多/多重比较           检验选型/删与留的判断

模型详解

模型 0：分析起点——三范式与问题识别

> 出处：1#§1.1.2「For classical analysis, the sequence is Problem => Data => Model => Analysis => Conclusions. For EDA, the sequence is Problem => Data => Analysis => Model => Conclusions」；1#§1.3.2「A critical early step in any analysis is to identify (for the engineering problem at hand) which of the above questions are relevant... an equally important step... is to prioritize those questions in decreasing order of importance」；1#§1.1.7 问题分类表。

解读：三大分析范式的唯一区别在中间步骤的顺序：

判断纪律（两步，都不可跳）：
1. 先列问题清单——原书给出 13 个通用分析问题（典型值多少 / 不确定度多大 / 什么分布 / 有没有异常值 / 因子有效应吗 / 哪些因子最重要 / 不同实验室测的一致吗 / 最佳设置是什么 / 能分离信号与噪声吗……），逐条判断"与我这个问题相关吗"，只留有相关性的。
2. 按重要性降序排序——原书明确：排序"对保持焦点极其宝贵"。不列问题清单就享受不到"问题专用的技术"（问题越明确，可选的技术越精准）。

问题分类决定技术族（8 类，1#§1.1.7）：

A1 案例（1#§1.1.6，Anscombe 四组数据）：四组数据的统计量完全相同（均值 X=9.0 / Y=7.5、截距=3、斜率=0.5、残差 SD≈1.237、相关系数≈0.816），但散点图立刻揭穿它们完全不同——组 1 线性、组 2 二次曲线、组 3 有一个异常值、组 4 是"一个远点牵动全局"的糟糕实验设计。原书原话：定量统计"聚焦但也过滤"（focus but also filter），过滤正是它"充其量不完整、最坏则误导"的原因。

A2 触发：拿到数据准备开算前；别人给了一个统计结论你要判断可不可靠时；"这个数据该用什么方法"时。

E 执行：
1. 写下工程问题，转成 1-4 个可回答的统计问题（从 13 问里挑）
2. 按重要性排降序
3. 按上表定位问题类 → 得出该用的技术族
4. 先画图再算数（见模型 2）

B 边界：
- EDA 技术主观——原书明说"依赖于解读，不同分析者可能不同"（可靠经验的分析者常得出相同结论，但不是形式化的）
- 本 skill 不覆盖多元分析（原书自认"only covered lightly"）、贝叶斯（仅在 §1.1.2 一提未展开）

模型 1：四大假设（所有分析的共同地基）

> 出处：1#§1.2.1「There are four assumptions that typically underlie all measurement processes; namely, that the data from the process at hand 'behave like': 1. random drawings; 2. from a fixed distribution; 3. with the distribution having fixed location; and 4. with the distribution having fixed variation」；1#§1.2.1 残差段「if the engineer succeeds in choosing a good model, then the differences (residuals)... should themselves behave like a univariate process」。

解读：四大假设（记作"随机 + 固定分布 + 固定位置 + 固定变异"）：

⚠️ 自相关最深的后果：你以为有 n 个样本，其实可能只有 n_eff 个独立信息。

原书只说到"可能没有 n 个独立快照"（见模型 2 四类代价表中"非随机性"一行），这里给操作化算法与陷阱：

• 近似式：n_eff ≈ n · (1 − ρ₁) / (1 + ρ₁)（ρ₁ = lag-1 自相关；AR(1) 近似）
• 陷阱（关键）：ρ₁ 必须用残差估（扣掉趋势/台阶/周期等确定性成分后）。
  若数据里还留着趋势，确定性结构会抬高 ρ₁ → n_eff 被低估 → 区间被过度放宽
  （方向是保守的，但保守得不真实：你以为在防噪声，其实在防一条本来能算出来的趋势）
• 判据：算出的 n_eff 若与"肉眼可辨的独立信息块数"严重不符 → 先查趋势，不要直接采信 n_eff
• 纪律：n_eff 是诊断工具（判断"样本量够不够、置信区间该怎么读"），
  不是"调整 p 值"的借口——看到用它去改自由度凑显著，就是误用
  ◆ 工程实践补充

⭐ 残差普适性（本模型最强的生成力）：不管模型里有多少因子、函数多复杂，只要模型选对了，残差就应该表现为一个理想的单变量过程（随机 + 固定分布 + 位置≈0 + 固定变异）。这带来两个推论：
- 假设诊断 = 模型验证工具——残差 4-plot 不是"额外检查"，它就是"模型好不好"的判据
- 残差违反假设 = 模型不足 = 有机会找到更好的模型（原书原话："an opportunity exists for arriving at an improved model"）

判断纪律：假设成立 = 概率可预测 = "处于统计控制中"（原书给"in statistical control"下的定义就是"四个假设全部成立"）。假设不成立 → 过程在漂移、不可预测、失控 → 用位置/变异/分布的单点估计去做工程结论，结论会"无效、不可支撑（科学上和法律上）、实验室里不可重复"。

A1 案例（1#§1.2.2）：原书把"假设不成立"的后果直接连到法律可支撑性——这不是学术洁癖，是工程结论能不能站住的问题。

A2 触发：拿到任何一列数据的第一步；看到别人报了一个均值±标准差想判断能不能信时。

E 执行：
1. 明确数据是"单变量"还是"建模后的残差"
2. 逐一过四假设（用模型 2 的 4-plot）
3. 全部成立 → 可放心用参数方法；任一不成立 → 查模型 2 的代价表，改方法

B 边界：四假设是理想——实际数据总有偏离；关键是偏离到什么程度会让结论不可靠（模型 2 的四类代价），不是"有一点偏离就不能做"。

模型 2：4-plot 诊断与违反代价

> 出处：1#§1.2.3「Four Techniques to Test Underlying Assumptions: 1. run sequence plot (Yi versus i) 2. lag plot (Yi versus Yi-1) 3. histogram (counts versus subgroups of Y) 4. normal probability plot (ordered Y versus theoretical ordered Y)」；1#§1.2.4 判读；1#§1.2.5.1「The randomness assumption is the most critical but the least tested」。

解读：四张图并列一页，每张图看一个假设：

⭐ 四条最容易被忽略的纪律：
1. 随机性假设"最关键却最少被检验"（原书原话 the most critical but the least tested）——因为很多人只看直方图和正态概率图就下结论了。运行序图和滞后图必须画。
2. 图必须画在残差上（建模场景）——不是画原始 Y。原始 Y 可能因为因子的系统性效应而不随机，但残差本来就该随机。
3. 图形不可替代——原书原话："没有定量替代品能给出与精心挑选的图形同等的洞察"（no quantitative analogues that will give the same insight as well-chosen graphics）。
4. ⭐ 4-plot 有一个前置前提：你画的这段数据，来自同一个平稳过程。
四张图全部默认这个前提。前提不成立时——四个图会一起失效，而且失效方式互相模仿：
运行序图说"有趋势"、滞后图说"有结构"、直方图说"非正态"、正态概率图也说"非正态"，
看起来像四个独立问题，其实是同一个病因（数据异质/非平稳）伪装成四个问题。
判断顺序必须反过来：先问"这四张图画的数据同质吗"，再读四个图的结论。
- 典型触发：传感器原始时序（含"设备程序段 + 物理响应段"）、多批次拼接数据、多工况混合数据
- ⚠️ 反例警示：正态概率图的判读只依赖边缘分布，与自相关无关——
不要把"PPCC 低"归因到自相关（这是两件事）
- 处置：先按物理/操作相位切段（如加热段/等待段/冷却段），每段单独画 4-plot；
或先扣掉确定性成分，对残差再画
◆ 工程实践补充

违反的四类代价（1#§1.2.5，这是"为什么必须做诊断"的完整清单）：

A1 案例（1#§1.2.3-1.2.4）：原书给出一正一反两张 4-plot 样例——"成立"的那张（平坦、等带、无结构、钟形、线性）与"不成立"的那张（振荡非随机、U 形非正态、多个异常值），教你从图上直接读结论。

A2 触发：任何数据分析的开场；看到"数据没画过就直接算"的结论时；要判断某个统计结论能不能信时。

E 执行：
1. 四图并列画一张（单变量用原始 Y；建模后用残差）
2. 逐图按上表判读，记录哪个假设不成立
3. 若任一不成立 → 查四类代价表，判断"这次的分析会不会被影响"
4. 若分布假设不成立 → 转到模型 3（先定分布再定估计量）

B 边界：
- 图形判读主观，且四图全过的门槛很高——实际工程数据很少全部满足；关键判"违反的程度是否足以让结论失效"
- 4-plot 只覆盖单变量假设；时间序列的结构（周期/趋势）要用自相关图、谱图；回归要用 6-plot（残差 vs X / vs 预测 / 滞后 / 直方 / 正态概率）
- 原书用 6-plot 做回归诊断——本 skill 覆盖其中的残差图矩阵思想，完整 6-plot 归回归/DOE 场景

模型 3：先定分布，再定估计量（含稳健性二分与 Cauchy 探针）

> 出处：1#§1.2.5.4「The implication of this is to 'estimate' the distribution first, and then--based on the distribution--choose the optimal estimator. The resulting engineering parameter estimators will have less variability than if this approach is not followed」；1#§1.3.5.1 与 §1.3.5.6 稳健性二分；1#§1.3.6.6.3「The mean and standard deviation of the Cauchy distribution are undefined. The practical meaning of this is that collecting 1,000 data points gives no more accurate an estimate of the mean and standard deviation than does a single point」。

解读：本模型有三个层次，从认知到操作：

层次 1：充分性优先于最优性（1#§1.3.6）
- 做置信区间 / 假设检验时，分布不需要最佳拟合，只要"足够充分（adequate）"到统计量有效即可
- 只有做建模/预测时，才需要找 best-fitting 分布
- ⭐ 这条极其实用："要不要花大力气拟合一个完美分布"取决于你的目的——算均值区间就不必

层次 2：位置-刻度参数化的陷阱（1#§1.3.6.4）
- 位置参数只做横轴平移；刻度参数做拉伸/压缩（必须为正）
- ⚠️ 只有正态分布满足"位置=均值、刻度=标准差"；对大多数分布不成立（原书明确警告"切勿默认"）
- 实用价值：判读图形时把"平移（位置）"和"胖瘦（刻度）"分开看；建模只需估"标准型 + 2 参数"

层次 3：⭐ 稳健性二分（validity vs efficiency）——"该报均值还是中位数"的根本判据

⭐ Cauchy 病理探针（本 skill 最有诊断价值的单点知识）：Cauchy 分布看起来像正态但尾巴重得多，且均值、标准差、偏度、峰度全部无定义。原书把它当作稳健性的试金石：

> "When studying hypothesis tests that assume normality, seeing how the tests perform on data from a Cauchy distribution is a good indicator of how sensitive the tests are to heavy-tail departures from normality."（1#§1.3.6.6.3）

判断力："1000 个数据点对均值/标准差的估计精度，不比 1 个点更好" ——遇到重尾数据，报均值和 SD 等于报噪声。原书给出的实测对照：同一批 Cauchy 数据 SD=998，而 MAD=1.16，数据实际落在 ±5 以内。

替代估计量清单（1#§1.3.5.1 / §1.3.5.6）：

A1 案例：
- Cauchy 对照（1#§1.3.5.1）：Cauchy 数据均值=3.70 完全无效、中位数有用；SD=998 vs MAD=1.16
- 可靠性场景（1#§1.3.5.17 相关）：失效时间常有下界、常右偏 → 均值报"典型寿命"会被长寿命样本拉高

A2 触发："该报均值还是中位数"、"波动大是不是几批异常料撑的"、看到数据明显偏态/重尾时。

E 执行：
1. 判目的：算区间/做检验（充分即可）还是建模预测（要 best-fit）
2. 看直方图/正态概率图判形态：近似正态对称 → 均值 + SD；重尾/偏态 → 中位数 + MAD/IQR；想兼得 → 截尾均值
3. 量化探针：比较均值与中位数的差距、极差与 SD 的比值（比值异常大 = 尾部问题）；差距/比值越离谱，越要弃均值
4. ⭐ 要报"噪声/重复性"之前，先验证残差真的是噪声：
- 判据：残差峰度若远离 3（正态=3），说明残差里还有确定性结构，此时算出的 SD
不是"噪声底"，而是"没扣干净的结构 + 噪声"的混合物，报出去没有意义
- 处置：换更合适的确定性模型（趋势/指数衰减/周期），或改用相邻差分的稳健 SD
- ⚠️ 这是最容易骗过自己的陷阱：残差几乎处处为 0、只在端点出尖峰时，
均值/中位数看起来"很干净"，但峰度会飙到几十甚至几百——峰度是这类伪结果的照妖镜
◆ 工程实践补充
5. 不要默认"位置=均值、刻度=SD"（对非正态不成立）
6. 若目标是参数检验且数据非正态 → 先试变换（Box-Cox / log / sqrt，右偏常用 log 或 sqrt）或改用非正态框架

B 边界：
- 中位数/MAD 牺牲 efficiency（正态下区间更宽）——不是越稳健越好，而是匹配数据形态
- 截尾均值需选截尾比例（原书未给自动规则）
- 多峰分布下均值与中位数可能都不合适（分布本身是混合总体 → 应分层分析）
- 本文献不提供"物理场景 → 分布"的查表映射（这是 EDA 哲学的必然结果：EDA 反对预设模型）；分布选择靠"形状参数族 + PPCC 图 + 概率图判读"（1#§1.3.6.5）或查原书 §1.3.6.6 Gallery 逐分布条目
- ⚠️ 多参数拟合的退化（参数不可辨识）：多参数模型（如 Arrhenius 的 Ea 与 ln k0）中，
参数之间常有强相关，使它们构成退化的一维对——数据只能确定"它们在一条直线上的位置"，
不能分别确定两者。判据三选一：
① 参数间相关系数 |r| > 0.9；② 不同批次/重复的差异沿同一条线滑动（组内斜率/全局斜率 ≈ 1）；
③ 存在一个"离散度最小的温度"T，且 T ≈ 1/(R·slope)（两途径互证 = 确证）
工程含义（关键）：这种退化拟合出的参数只在 T* 附近可用；远离 T* 时，
参数的不确定度按指数放大（不是线性）。判断可接受性前，必须把参数不确定度换算成
"等效工艺温度偏差 ΔT"（ΔT = Δ(ln k)·R·T²/Ea），再看这个 ΔT 对结论是否致命
◆ 工程实践补充
- ⚠️ 重复性差异的两类来源要分清：同一对象多次测量的离散 = ①测量散布 ②样品本身不同
（稀释度/批次/浓度不同）。后者是物理必然，不是"不可复现"——不分清会严重高估测量不确定度
◆ 工程实践补充

模型 4：检验的本质与检验-CI 对偶

> 出处：7#§7.1.3-7.1.4「What are statistical tests? / critical values and p values / What are confidence intervals?」；7#§7.1.5「What is the relationship between a test and a confidence interval?」；7#§7.1.1-7.1.2 假设。

解读：核心认知——"每个假设检验都等价于一个问题：那个假设值落在这个置信区间里吗？"

判断纪律：
1. "不拒绝 H0" ≠ "两件事一样"——可能只是样本量不够（β 大）。原书明确警告把"不显著"读成"没问题"是误用。
2. 检验与置信区间不会打架——它们数学上等价；如果看起来矛盾，一定是某处的假设值/方向对不上。
3. 单侧还是双侧由工程关注方向决定，不是统计决定（"我只关心变差，不关心变好"→ 单侧）。
4. 要在看数据之前定好 α（事后挑阈值 = p-hacking）。

A1 案例（7#§7.1）：原书用一个数值例子展示"某假设值在 CI 内 → 检验不拒绝；挪到 CI 外 → 检验拒绝"，把对偶关系讲透。

A2 触发：解读 p 值、解读"不显著"、判断别人报的置信区间能不能支持他的结论、决定要不要用单侧检验时。

E 执行：
1. 明确 H0 与 Ha，先定 α，并明确方向（单侧/双侧）
2. 同时报点估计 + 置信区间（原书强调 CI 比"显著/不显著"信息量大得多——区间宽度直接体现精度）
3. 若结论是"不显著"，回头算 β / 检验功效：是真没差异，还是样本量不够？
4. 用对偶关系交叉验证：把"H0 值"和置信区间对一遍，两边结论必须一致

B 边界：
- 本 skill 覆盖频率派框架；贝叶斯方法原书未展开
- 样本量与 α/β/差异大小的换算（7#§7.2.2.2、§7.2.3.2、§7.2.4.2）本 skill 只给判断方向（"差异越小需要样本越多""p=0.5 附近需要最大样本"），具体数值查原书
- ⚠️ 原书未量化说明"t 检验 / ANOVA 对非正态的稳健性"——本次蒸馏已核实原文无此陈述，不要凭印象断言"t 检验对非正态稳健"；实践中应用 4-plot 自行检验正态性（或改用非参数替代，见模型 5）

模型 5：比较决策序列（前提先行 → 配对优先 → 单/两/多 → 多重比较）

> 出处：7#§7.2 单过程比较、§7.3 两过程比较、7#§7.4 多过程比较、7#§7.4.7 多重比较、7#§7.2.6 容差区间；1#§1.3.5.7-1.3.5.10 方差齐性检验。

解读：比较问题有固定的决策序列，五步：

第 1 步：前提先行（最容易漏）
- 比两个均值之前 → 先验两方差是否相等（F 检验：正态假设；或 Levene：不要求正态）
- 做 ANOVA 之前 → 先验各方差是否齐（Bartlett：对正态性敏感 / Levene：稳健）
- 做 ANOVA 之后 → 看残差诊断（残差运行序图 + 残差正态概率图 + 预测值 vs 残差）
- ⭐ 方差齐性检验的选择规则：非正态或不知分布 → 用 Levene（推荐"中位数定义"版本，最通用）；有强证据近似正态且要最大功效 → Bartlett。Bartlett 对正态偏离敏感，非正态时它可能在"测非正态"而不是"测方差不齐"

第 2 步：配对还是非配对（用错会损失功效或引入偏差）
- 配对（paired）：同一对象的前后测量、同批次的分裂样本、同一实验单元的重复（有"块/block"结构）→ 用配对 t（分析差值）
- 非配对：两组独立样本 → pooled t（方差齐）/ Welch t（方差不齐）
- ⭐ 有配对结构却用了非配对 → 白白损失配对带来的方差削减（把配对能消掉的块效应留在了误差里）

第 3 步：选尺度（几个过程）

第 4 步：⭐ 拒绝 H0 之后必须做多重比较（本模型最重要的一条）
- ANOVA / 卡方拒绝 H0 只说明"不全相等"，不告诉你谁和谁不同
- ⚠️ 绝对不能用"反复做两两 t 检验"来代替——整体第一类错误率会膨胀（做 10 次两两比较，整体虚警率远高于 5%）

判断纪律：原书明确没有哪种方法一致最优——按"要比什么（两两 vs 任意对比）+ 比多少个 + 样本量是否相等"选。

第 5 步：想断言"个体"而不是"均值"时 → 用容差区间
- 置信区间管参数（均值在哪儿，带置信度）；容差区间管个体比例（分布的 p% 落在哪，带置信度 γ）
- ⚠️ 非正态数据硬套正态 k 因子会严重覆盖不足——原书实测：N=25 时实际只覆盖约 75%（而期望是 99%）
- ⚠️ 容差区间 ≠ 工程公差（公差是设计规定，不是统计推断）

A1 案例（7#§7.2-7.4，化工/实验室相关）：晶圆粒子数 t 检验、化学日产率样本量计算、硅电阻率 σ 检验、晶圆厚度容差区间、晶圆清洗 Mann-Whitney、原料批方差分量、缺陷类型×班次列联表、指数寿命分布比较。

A2 触发："两组数据有显著差异吗"、"改前改后有没有变化"、"批次间一致吗"、"差在哪几组"、"想保证 99% 的产品在范围内"时。

E 执行：
1. 定问题尺度：1 个 / 2 个 / >2 个过程
2. 前提先行：比均值先验方差齐性；ANOVA 前验齐性 + 后看残差
3. 判配对结构 → 选配对或非配对
4. 数据分布未知/明显非正态 → 走非参数替代（Mann-Whitney / Kruskal-Wallis）
5. 拒绝 H0 → 必做多重比较（按"比什么/比几个/样本量"选 Tukey / Scheffe / Bonferroni）
6. 要断言个体覆盖 → 用容差区间（并确认正态性，否则用非参数法）

B 边界：
- 顺序统计量方法（Tietjen-Moore 等）与复杂设计（嵌套/混合模型）超出本 skill——复杂设计归 ray-stat-doe
- 本 skill 不含 DOE 设计矩阵与响应面（→ ray-stat-doe）、不含控制图与过程能力（→ ray-stat-spc）
- 原书未量化 t/ANOVA 对非正态的敏感度（见模型 4 边界）——宁可先用 4-plot 验，或直接用非参数替代

模型 6：异常值处理纪律

> 出处：1#§1.3.5.17「Detection of Outliers」（含 Iglewicz & Hoaglin 三议题、masking/swamping、Grubbs / Tietjen-Moore / 广义 ESD）；7#§7.1.6「What are outliers in the data?」。

解读：异常值不是"要删的点"，是要分类处理的信息。

⭐ 三个议题（Iglewicz & Hoaglin）——先明确你在做哪件事：
| 议题 | 含义 | 用途 |
|------|------|------|
| 标记 labeling | 先把可疑点标出来待查 | 不做判断，只做记号 |
| 容纳 accommodation | 不能断定是坏数据时，改用稳健技术（中位数/MAD）让结论不被带偏 | 保住数据又不失稳健 |
| 识别 identification | 用正式检验判定 | 需要"这是异常值"的统计陈述时 |

来源决定处置：
- 坏数据（记录错、仪器故障、转录错）→ 删或修正，并记录原因
- 随机波动或真发现（可能是新现象、新失效模式）→ 不要随手删，用稳健技术容纳或单独分析
- ⚠️ 待检数据须近似正态——若分布本身非正态，"异常"可能只是分布形态的假象（先做模型 3 的分布判断或变换）

⭐ Masking 与 Swamping（多异常值的两个陷阱）：
| 现象 | 机制 | 后果 |
|------|------|------|
| Masking 掩盖 | 指定检验的异常值个数太少 → 其余异常值把统计量拉歪 → 一个都报不出来 | 漏报 |
| Swamping 淹没 | 指定个数太多 → 正常点被报成异常 | 误报 |

判断力：单异常值检验不可顺序套用来检多异常值（原书明确警告）——这会被 masking 坑死。

检验选型（正态假设下）：
| 情形 | 用什么 |
|------|--------|
| 单个异常值 | Grubbs（原书推荐） |
| 多个异常值，个数已知 | Tietjen-Moore（必须精确指定个数） |
| 多个异常值，个数未知 | 广义 ESD（只需给上界，原书推荐） |
| 对数正态数据 | 先取对数转正态，再套上面 |

实用快速规则：用 modified Z（基于 MAD）|值| > 3.5 标记潜在异常值；⚠️ 普通 Z 在小样本会误导（最大 Z ≤ (N−1)/√N，样本少时根本到不了常规阈值）。

⭐ 但 3.5 这个阈值有个隐性前提：参考分布必须是"同质的"。
modified Z 问的是"该点相对参考系偏离几个 MAD"，参考系本身若混了不同制度的数据，
它量的是"制度差异"而不是"异常"：

• 在非平稳/多制度数据上用全局分布做参考 → 荒谬的高检出率。
  实测对照（ARC 绝热量热数据）：全局 MZ 给出 22.44% 异常率，同数据改用滚动窗
  （局部平稳）后是 0.14%——差 160 倍，差的是方法前提，不是数据
• ★ 判据（极其实用）：MZ 检出率 > 5% 就是警报（正常应 < 1%）。
  看到 20% 的"异常率"，先怀疑参考系，不要先怀疑数据脏
• 三种可选参考系（按适用性排序）：
  ① 同对象/同批重复（最接近"测量重复性"本意，但重复项往往太少）
  ② 滚动窗（对时序数据，用局部平稳窗）
  ③ 先扣确定性成分、再对残差判异常（对含趋势的数据）
• ⚠️ 输出形态要改：不当"异常值清单"报，而当"点 × 参考系统偏离矩阵"报——
  "有几个异常值"这个问题本身没有唯一答案（命中数随口径剧烈变化）
  ◆ 工程实践补充

处置流程：图形初筛（直方图/箱线/正态概率图判单峰还是多异常）→ 正态概率图确认 → modified Z 或正式检验标记 → 结合领域知识决定删/留/稳健容纳。

A1 案例（1#§1.3.5.17 + 模型 3）：可靠性场景——失效时间常有下界、常右偏，直接套正态异常值检验会误判；应先变换或用对数正态框架。

A2 触发："这个点该不该删"、"在线监测跳变是传感器故障还是真异常"、"剔除异常值后结果变了正常吗"时。

E 执行：
1. 先图形后检验（直方/箱线/正态概率图）——判断是单异常还是多异常
2. 判分布（近似正态？），非正态先变换
3. 按个数选检验：Grubbs（单）/ Tietjen-Moore（多数已知）/ 广义 ESD（数未知）
4. 不要顺序套用单异常检验（防 masking）
5. 判定来源：坏数据 → 删改并记录；随机/真发现 → 稳健容纳或单独分析
6. 无论删留，都报告"删了几个、为什么"——静默删除 = 不可复现

⭐ 物理先验兜底——统计抓不到的"不可能值"

原书边界段说"异常值判定不能纯统计、必须叠加领域知识"，这里给操作化形态：

两类判据回答两个不同问题，不可互相替代：

三类可直接套用的物理先验（工程数据通用）：

★ 核心洞见：统计阈值只能发现"在某个分布下偏离的点"；物理先验能发现"不可能存在的值"。
两者不是竞争关系——统计用于量化偏离程度，物理用于判定可接受性。
◆ 工程实践补充

B 边界：
- 所有正式检验默认近似正态；非正态下"异常"可能是分布形态（先变换/换框架）
- Dixon 近邻比较法原书未展开（提到但未给规则）
- 异常值判定不能纯统计——必须叠加领域知识（这就是"买判断不买知识"的落点）；操作化形态见上「物理先验兜底」小节

方法论/清单（可操作）

1. 分析问题 13 问（1#§1.3.2）：典型值多少 / 不确定度多大 / 什么分布 / 百分位是多少 / 工程改动有效应吗 / 因子有效应吗 / 哪些因子最重要 / 不同实验室测的一致吗 / 最佳函数关系是什么 / 最佳设置是什么 / 能从时序中分离信号吗 / 能提取多元结构吗 / 有异常值吗——逐条判断相关性，再按重要性降序排序
2. 4-plot 判读一屏速查（1#§1.2.4）：运行序图平坦不漂移 + 等带 / 滞后图无结构 / 直方图钟形 / 正态概率图线性；四者全立 = "处于统计控制中"
3. 分布拟合检验选择（1#§1.3.5.14-16）：关心尾部 → Anderson-Darling（对尾部加权最敏感）/ 要精确且与分布无关 → Kolmogorov-Smirnov（⚠️ 仅连续、且参数须完全指定，参数从数据估则临界区失效需模拟）/ 离散数据或任意可算 CDF 的分布 → 卡方 GOF（⚠️ 依赖分箱、需大样本、期望频数 ≥5）
4. 方差齐性检验选择（1#§1.3.5.7-10）：Bartlett 对正态性敏感（非正态时可能只在测非正态）→ 非正态或不确定时一律用 Levene（中位数定义最通用）；近似正态且求最大功效才用 Bartlett；两方差比较用 F（注意双侧自由度互换、临界值上侧约定与部分软件相反）
5. 位置/刻度估计量选择表（1#§1.3.5.1、§1.3.5.6）：见模型 3 层次 3
6. 偏度/峰度快速筛（1#§1.3.5.11）：偏度 <0 左偏 / >0 右偏；峰度偏离 3（或超额峰度偏离 0）= 非正态；⚠️ 极端值会扭曲这两个量（Cauchy 偏度=69.99）；⚠️ 注意软件对峰度的定义差异
7. 随机性检验（1#§1.3.5.12-13）：自相关看 lag-1；游程检验大样本 |Z| > 1.96 判非随机；⚠️ 自相关图的置信带用途要分清——检验随机性用固定带宽，识别 ARIMA 模型用变带宽，别混
8. 多重比较方法选择（7#§7.4.7）：见模型 5 第 4 步
9. 样本量与 α/β/差异大小（7#§7.2）：差异越小需要样本越多；α 减小则 β 增大；检验比例时 p≈0.5 附近需要最大样本
10. 分布族速查（1#§1.3.6.6 Gallery）：连续——正态、均匀、Cauchy（病理探针）、t（df→大近似正态，df=1 即 Cauchy，df>30 近似够好）、F、卡方、指数、Weibull、对数正态、Birnbaum-Saunders（疲劳寿命）、Gamma、双指数、Power Normal、Power Lognormal、Tukey-Lambda、极值 I 型、Beta；离散——二项、泊松；⭐ 可靠性用危险函数/生存函数视角（原书注明"最常用于可靠性"）
11. 参数估计方法选择（1#§1.3.6.5）：有删失数据 → 最大似然（MLE）（⚠️ 小样本严重偏倚）/ 软件无 MLE → 非线性最小二乘（⚠️ 不适用删失数据）/ 单形状参数族选型 → PPCC 图 + 概率图（PPCC 定形状、概率图定位置刻度；跨分布比最大相关系数）/ 快速起点 → 矩估计
12. 6-plot 回归诊断（1#§1.3.3.33）：模型 2 的 4-plot 升级为"残差 vs X / 残差 vs 预测值 / 滞后 / 直方 / 正态概率 + …"，回归场景的标准验证套图

关键概念

案例模式（佐证）

1. Anscombe 四组数据（1#§1.1.6）：四组数据统计量完全相同但散点图揭示完全不同 → 定量统计"聚焦但也过滤"，过滤导致误导；必须先画图
2. Cauchy 分布对照（1#§1.3.6.6.3 + §1.3.5.1）：均值无定义、SD=998 vs MAD=1.16 → 重尾数据报均值/SD = 报噪声
3. t 分布的三重身份（1#§1.3.6.6.4）：df=1 即 Cauchy（最重尾）；df>30 近似正态够好 → 同一个分布族跨越了"病理"到"可用"
4. 非正态硬用正态 k 因子算容差区间（7#§7.2.6）：N=25 时实际只覆盖约 75%（期望 99%）→ 模型用错，数值再"精确"也没意义
5. ANOVA 显著后不做事后比较（7#§7.4.7）：只知"不全等"不知"谁不同" → 拒绝 H0 只是中间结论
6. 反复两两 t 检验代替多重比较（7#§7.4.7）：整体第一类错误膨胀 → 统计显著"变便宜"了

应用边界

适合：
- 数据前提诊断（四大假设、4-plot、正态性、方差齐性、随机性、异常值）
- 统计方法选择（该用哪个检验、均值还是中位数、参数还是非参数）
- 比较分析（单/两/多过程均值、方差、比例、中心趋势；多重比较；容差区间）
- 审阅与质疑别人的统计结论（"这个显著是真的吗""前提验了吗""是不是把不显著读成了没差异"）

不适合：
- 走完整数据分析流程 / 取数 / 画图 / 做仪表板（→ ray-data-analysis）
- DOE 实验设计（设计矩阵、因子筛选、响应面、Yates 算法 → 后续 ray-stat-doe）
- 测量不确定度 / 量具 R&R / 校准（→ 后续 ray-stat-meas）
- 控制图 / SPC / 判异规则 / Cpk·Ppk / 验收抽样（→ 后续 ray-stat-spc）
- 寿命分布拟合 / 删失数据处理 / 加速寿命模型（→ 后续 ray-stat-reliability）——⭐ 判别符是"删失"：完整数据（无删失）做分布拟合/诊断归本 skill；一旦数据带删失（censoring）、目标是寿命/可靠性，整体转 ray-stat-reliability，不要因关键词"Weibull 拟合"误触发本 skill
- 反应热风险分级（Stoessel 六问 / 临界度分类 → ray-thermal-risk）——⚠️ 该技能已划功易安专用（2026-10-03），本家按绝对路径直读 ~/.workbuddy/skills/ray-thermal-risk/SKILL.md
- 工艺数值计算（安全阀、压降、孔板 → ray-pe-calc）
- 化学品物性查询（→ ray-chem-property）
- 多元统计分析（PCA / 聚类 / 判别——原书自认只浅覆盖，本 skill 不提供）

作者盲区 / 局限（诚实边界）：
- 版本：本书是 2012 年网页版（页眉带 [6/27/2012]），统计方法本身稳定，但软件的现代表达已变；原书演示软件 Dataplot 已停更——本 skill 已剔除其全部语法
- ⚠️ 原书不提供"物理场景 → 分布"的查表映射：这是 EDA 哲学（反对预设模型）的必然结果。选分布只能靠"形状参数族 + PPCC + 概率图判读"或逐条查 §1.3.6.6 Gallery；不要期待一张"寿命数据用 Weibull"的速查表
- ⚠️ 原书未量化说明 t 检验 / ANOVA 对非正态的稳健性：本次蒸馏已核实原文无此陈述（网络上流传的"t 检验对非正态稳健"不是本书内容）。实践判断：先用 4-plot 验，或直接走非参数替代
- 多元分析覆盖很浅：原书明确"multivariate analysis is only covered lightly in this Handbook"
- 贝叶斯方法未展开：仅在 §1.1.2 作为三范式之一提及
- 本 skill 不含代码：不提供 Python/R 实现，也不提供临界值表与公式推导（软件提供）——所有判断规则都是方法层的
- 主观性：EDA 图形判读依赖解读，不同分析者可能不同（原书自认）；本 skill 给出的是判读标准，不是自动化阈值
- ⚠️ 本 skill 含 7 处"工程实践补充"（◆ 标记）：这些内容不在 NIST 原书中，
来自中国化工数据的实战验证（2026-09-10 TBHP ARC 绝热量热 + 有机过氧化物 DSC 动力学参数表），
且已逐条回原文核验"原书确无此表述"。清单与核查方式见 references/出处索引.md 第六节。
阅读时请按标记区分"原书判断"与"实战补充"——两者可信度来源不同：前者是权威文献的方法论，
后者是特定数据条件下踩出来的经验，换领域使用时应重新验证。

出处索引

页码说明：pXXX 为 PDF 物理页码；1# = 原书 Ch1（EDA，p1-636），7# = 原书 Ch7（产品与过程比较，p1988-2131）。

本 skill 未收录的内容（有意剔除，附理由）：公式推导与符号定义 / 示例数据演算 / 临界值表数值（χ²/F/t 表 p413-457）/ Dataplot 与 R 语法 / 33 种图形的示例图与数值 / 10 个 EDA 案例的完整过程（p458-631）/ 分布表的逐分布数值——理由：这些是"查询层"而非"判断层"，软件可提供，且原书 2012 版软件表达已过时。

Gotchas

> 经验回流口（合并原「环境怪癖」与「实战经验」两处落点）。构建与运行中踩的坑记这里，随运行累积。
> ⚠️ None known 是合法值——禁止编造 gotcha 凑数，假怪癖会教模型错误约束。
> 新回流条目带前缀：- YYYY-MM-DD｜[LRN-YYYYMMDD-XXX]｜计数:N｜状态:…（判重与归档用）；历史条目保持原样。
> 归档阈值：本节 > 40 行 或 SKILL.md > 90 KB → 最旧批次移入 references/experience-archive.md，保留最近 3 轮。

• None known