样本量计算
能力定位
回答“需要多少样本才有机会识别真正重要的差异”,并把答案从一个孤立数字扩展为设计、假设和敏感性区间。适用于实验前规划、预算评估、最小可检测效应计算和方案说明。
本 Skill 不是显著性制造器。它要求先定义真正重要的效应和实际分析方法,再决定解析计算还是仿真;不能用已经观察到的效果反推所谓“事后把握度”来证明结果。
快速导航
- 常见均值、比例、相关或回归:读取 参数与检验映射。
- 聚类、重复测量、流失或复杂模型:读取 修正与仿真。
- 不知道预期效应:先定义业务或科学上的最小有意义差异,不直接套“中等效应”。
- 研究已经结束:优先报告置信区间或在现有样本量下的最小可检测效应。
新手30秒入门
至少提供主要比较、结局类型、当前基线、希望发现的最小差异、显著性水平、目标把握度、单双侧、分组比例和预计流失。例如:“转化率当前 8%,希望识别至少 1 个百分点提升,双侧 0.05、把握度 90%,两组等量,预计 5% 无效流量。”
首轮返回 参数确认卡 和一个敏感性表,而不是只报一个 N。没有效应依据时,用多个合理情景并明确缺口。
功能索引
| 任务 | 核心问题 | 产物 |
|---|---|---|
| 事前规划 | 达到目标把握度需要多少 | 分组样本量 |
| 预算反推 | 固定样本能发现多大差异 | 最小可检测效应 |
| 敏感性分析 | 假设变化会怎样 | 样本量曲线 |
| 聚类修正 | 独立单位实际有多少 | 设计效应 |
| 流失修正 | 招募量和分析量差多少 | 招募目标 |
| 复杂模型 | 无闭式公式如何估计 | 仿真效能报告 |
标准工作流
1. 固定主要问题
明确一个主要结局、一个主要比较和确认性分析。若有多个同等主要结局,必须把多重性纳入;不能计算一个宽松样本量后再从许多指标里挑显著项。
2. 找到独立实验单位
说明随机化、干预或抽样发生在哪一层。一个人多次测量、同一门店许多订单、同一动物许多细胞都不是同等数量的独立样本。
3. 选择实际分析模型
样本量方法必须对应最终分析:均值差、比例差、相关、方差分析、回归、聚类模型或生存模型。常见映射见 参数与检验映射。
4. 定义最小有意义效应
优先从业务决策阈值、测量分辨率、成本收益或领域判断得到最小有意义效应。历史或试点估计需考虑夸大风险;惯用小中大效应只能作为最后情景,且要披露。
5. 设置错误率与把握度
明确显著性水平、目标把握度、单双侧和比较族。双侧通常是默认;选择单侧必须说明为何相反方向不影响决策。
6. 计算基础样本量
标准检验使用经验证的统计库或公式;复杂设计使用蒙特卡洛仿真。保留软件、版本、参数和随机种子,保证第三方可复算。
7. 应用现实修正
根据流失、无效样本、聚类、组间比例、多重比较、依从性和测量误差调整。修正顺序和适用条件见 修正与仿真。
8. 做敏感性分析
至少变化效应大小和一个主要不确定参数,如基线率、标准差、组内相关或流失。输出样本量区间和会使方案失效的阈值。
9. 核对可行性
比较招募周期、流量、预算、资源和伦理负担。若不可行,重新讨论最小效应、设计效率或探索性定位,而不是私自降低把握度。
10. 写成可审阅说明
完整写出问题、模型、输入依据、基础结果、修正、敏感性、最终招募数和复核人。最终数字说明“每组/总数”“分析/招募”和向上取整方式。
输出规范
默认输出:研究问题、独立单位、主要结局与模型、参数依据、基础样本量、现实修正、敏感性表、最终建议、可行性与风险、复现记录。
所有数字带单位和方向;比例报告绝对百分点与相对变化;连续变量说明标准差来源;聚类说明簇数、平均簇大小和组内相关;仿真说明生成过程、重复次数与蒙特卡洛误差。
能力边界
- 不把同一实验单位的重复观测当作独立样本。
- 不在没有效应、标准差或基线依据时给出唯一“精确”样本量。
- 不用观察到的效应做循环的事后效能解释。
- 不替代临床、伦理、药监、学术统计或组织审批。
- 不通过随意降低显著性、把握度或删掉修正来迎合预算。
- 不保证达到某样本量就一定得到显著结果。
稳定性保障
计算脚本固定随机种子并记录库版本;对标准例题或第二套工具做交叉核对。解析法确认参数化、尾数、组间比例和“每组/总数”;仿真法报告重复次数与置信区间,避免把仿真噪声当差异。
输入表与结果表分开保存。参数更改后自动标记旧结果失效;最终方案冻结主要结局和分析模型,任何更改都记录原因、时间和审批。
深度定制
A/B 测试关注基线转化、流量分配、最短实验周期和多指标;问卷关注估计精度、设计效应和无应答;工业验证关注公差、批次和测量系统;教育研究关注班级聚类;实验室研究关注独立生物重复;临床相关工作需交由合格统计与伦理人员复核。
FAQ
80% 把握度是什么意思? 在假设、模型和真实效应都符合设定时,重复研究中约有 80% 能按预定规则识别该效应;不是本次成功概率的保证。
可以直接用上篇论文的效应吗? 可以作为情景,但应考虑样本小、发表偏倚和人群差异,并向更保守方向做敏感性分析。
固定预算太小怎么办? 反算最小可检测效应,明确研究更适合探索还是确认;也可改用更高效设计,但不要隐藏限制。
为什么流失 20% 不是简单加 20%? 因为目标是流失后仍保留所需分析量,应按保留比例反推并向上取整。
反模式与修正
| 反模式 | 修正 |
|---|---|
| 先定人数再挑统计问题 | 先定主要问题和模型 |
| 用“中等效应”代替依据 | 定义最小有意义差异并做区间 |
| 忽略班级、门店或动物聚类 | 找到随机化层级并修正 |
| 只给一个样本量 | 给敏感性表和失效阈值 |
| 研究结束后算观察效能 | 报告区间或最小可检测效应 |
| 为省钱删去流失与多重性 | 显示成本与风险,让决策者取舍 |
按需 references
参数与检验映射 用于选择模型、效应量和必要输入;修正与仿真 用于处理现实损耗、依赖结构和无闭式公式的设计。