自动机器学习(AutoML)

AI TERM术语词条

AutoML

技术原理 自动化超参搜索模型选择工程

术语释义

AutoML 把特征处理、模型选择与超参搜索串成自动化流程,让缺少算法经验的人也能拿到接近专家调优的结果。

自动机器学习(AutoML)把机器学习流程中重复且依赖经验的部分自动化:数据预处理与特征变换、模型家族选择、超参数搜索、集成与最终评估。目标不是完全取代人,而是把试哪几个模型、配什么参数这类搜索工作交给系统。

搜索空间与策略

搜索空间定义可选的预处理步骤、模型与超参范围,空间划得太大收敛慢,划得太小又限制上限。搜索策略上,网格搜索在维度升高后组合爆炸,随机搜索在同样预算下通常更好,贝叶斯优化用历史结果建模再挑下一个点,适合单次评估昂贵的场景。多保真方法先用小预算筛掉差配置、再给好配置更多资源,能进一步省时间。

与相邻概念的边界

  • 与神经架构搜索的区别:AutoML 在既有模型与超参上做选择,神经架构搜索直接搜索网络结构,搜索代价通常高得多。
  • 与调参库的区别:调参只负责给定模型下的参数寻优,AutoML 还覆盖预处理、模型选择与集成。
  • 不等于托管服务:它输出的是可部署的模型与配置,部署、监控与数据漂移处理仍属于工程侧工作。
  • 指标选错等于白跑:指标与业务目标不一致时,自动化只会更高效地优化错的东西。

现实约束

  • 算力成本:搜索次数乘以单次训练时间就是总开销,需要先设定时间或试算预算。
  • 必须防数据泄漏:所有预处理都要放进交叉验证的每一折内部拟合,否则分数虚高。
  • 可解释性会下降:自动生成的复杂集成难以向业务方解释,受监管场景要权衡。
  • 不是万能:特征本身没有信号、标签噪声大时,再强的搜索也救不回来,问题定义与数据质量仍是前提。
  • 结果要能复现:随机种子、搜索日志与数据版本都要留档,否则下次无法解释为什么选了这个配置。

实务上先把基线做扎实,再用自动搜索压榨最后几个百分点,并保留完整搜索日志以便复现。对多数业务问题,特征与标签质量带来的提升通常大于搜索策略的差异。时间预算也要先定:给出总时长与评估次数上限,让搜索在预算内挑配置,比跑完再看结果更可控;搜索空间同样要贴合数据,把明显不适用的模型与预处理放进去,只会浪费预算并增加过拟合验证集的风险。若自动搜索相对基线的提升很小,优先回头检查特征与标签,而不是继续加大搜索预算。

查看全部 218 条 →
共 9 条