分类指标(Accuracy / Precision / Recall / F1)

AI TERM术语词条

Accuracy / Precision / Recall / F1

基础概念 模型评测机器学习指标AI基础

术语释义

分类指标用来衡量模型判得准不准:准确率看整体,精确率与召回率看两类错误的代价,F1 是两者的折中。

分类指标是把「模型分得准不准」变成可比较数字的一套口径。同一个模型换一个指标,结论可能完全相反:垃圾邮件过滤宁可漏掉几封,也不愿把正常邮件判成垃圾;疾病筛查则相反,宁可多叫人复查,也不能漏诊。理解每个指标在惩罚哪一类错误,比背下公式更重要。它的价值在于把「模型能不能用」这种模糊判断,换成可以讨论、可以设定门槛的数字。

四个最常用的指标

  • 准确率(Accuracy):预测正确的样本占全部样本的比例,类别均衡时最直观,遇到极端不平衡的数据会严重虚高。
  • 精确率(Precision):判为正类的样本里有多少真的是正类,衡量误报的代价,误报代价高时优先看它。
  • 召回率(Recall):真正的正样本里有多少被找出来,衡量漏报的代价,漏掉一个后果严重时优先看它。
  • F1 分数:精确率与召回率的调和平均,两者都要兼顾时用单个数字概括,任一项偏低都会把总分拉下来。

从混淆矩阵出发

四个指标都能从混淆矩阵推出来——判对的正类、判对的反类、误报、漏报。精确率只关心被判为正的那一列,召回率只关心真实为正的那一行,准确率看整张表,F1 把前两者的矛盾折中。多分类任务还要选平均方式:宏平均对每个类别一视同仁,稀有类别的权重被放大;微平均按样本数加权,结果更接近准确率。数据不平衡时先看各类的样本分布,再决定用哪种平均。另外,把哪一类定义成正类是人为选择,方向一换,精确率与召回率就会互换,报告结果时必须写明定义。

阈值、指标选择与报告口径

  • 阈值改变指标:分类器输出的是分数,卡在哪个位置才算正类由阈值决定,调高阈值通常提高精确率、压低召回率。
  • 曲线下面积:ROC-AUC 描述跨阈值的排序能力,类别较均衡时常用;PR-AUC 更关注正类,类别极不平衡时更能反映实际表现,两者的结论可能并不一致。
  • 代价矩阵:把误报与漏报的代价写成权重,才能把业务判断翻译成可优化的目标。
  • 选指标即选立场:指标定错,模型就会朝错误方向优化,上线后不要中途悄悄更换口径。
  • 报告要带样本量:小样本上的高分波动很大,给出重复实验结果或波动范围,结论才站得住。

实践中更稳的做法是先固定一个与业务代价一致的主指标,其余指标只作诊断。报告结果时把数据分布、阈值与平均方式一并写清,否则同一个分数在不同口径下没有可比性。分类指标衡量的是判断结果,和回归任务的误差类指标不是一回事,不能互相替代。在新任务上先跑一版基线,再按业务代价挑主指标,比一开始就争论指标定义更有效率。

查看全部 79 条 →
共 9 条