ICRPM：不增rollout，用上下文预测下一步任务风险

大模型强化学习后训练、机器人控制和Meta-RL里，有个问题越来越绕不开：

逐个评估任务，代价太高；拿历史数据去预测风险，又可能跟不上模型更新。

有限的rollout预算，怎么花才能找到真正值得训练的Prompt？

国防科技大学与清华大学的研究团队给出了一个答案——ICRPM（In-Context Risk Predictive Model）。它拿近期任务和风险记录当依据，直接预测下一步的风险。

风险预测不必额外生成rollout，也不用增加环境交互。训练开销基本不变，大模型RLVR、Meta-RL和鲁棒控制等场景里的任务风险预测与选择效果却有所改善。

研究背景：预测准确，为什么仍会选错任务？

传统任务采样得先测出候选任务的难度或风险。放到大模型RLVR里，就是为Prompt生成多条回答，再按可验证奖励估算解题成功率；Meta-RL和鲁棒控制中，这一步往往要付出昂贵的环境交互。

Model Predictive Task Sampling（MPTS）靠风险预测模型（RPM）省掉这部分评估：只对少量任务做真实测量，再预测更大候选集合的风险，据此采样。可任务风险不是静态标签。策略一更新，原先难的任务可能变容易，任务之间的排序甚至会反转。一个擅长预测“当前风险”的RPM，未必判得准“下一轮该选谁”。

△

技术方案：让RPM从回看当前转向预测下一步

用上下文预测未来风险

ICRPM沿用了MPTS的基本任务采样框架，换掉的是其中的风险预测方式。传统RPM主要拟合当前策略下的风险；ICRPM把最近一步的“任务—风险”观测当作上下文，结合待评估任务，去预测策略完成下一次更新后的风险。

这样一来，历史记录不只是普通训练样本，还成了反映策略所处状态的线索。模型要学的不光是不同任务之间的难度差异，还有难度随训练进度如何变化。

△

论文的误差分析说明了这一设计为什么必要。传统RPM先预测当前风险、再用于下一步，会留下与学习率相关的一阶时间滞后误差。上下文预测器若能捕捉局部风险变化，ICRPM就能把对应的平滑性残差压到二阶量级。不过，预测误差不会因此自动归零：模型自身的上下文近似误差依然存在。

用时间衰减窗口补足稀疏监督

每轮真实评估的任务数量有限，只靠最近一个批次，数据容易不够；长期堆积旧数据，又会混进已经过时的策略状态。

ICRPM的办法是带时间衰减的滑动窗口：复用最近3个历史批次形成的上下文与预测目标，时间衰减系数设为0.9。越新的记录对当前预测影响越大，较旧的记录仍提供监督信号，但权重逐步降低。补充监督和避免过时数据干扰，由此取得平衡。

通过Transformer捕捉跨任务关系

ICRPM 的做法是：先把任务及其对应风险编码成输入表示，再交给 Transformer 建模历史任务之间的关系，随后用交叉注意力读取与候选任务有关的信息，最后给出下一步的风险预测。

实验为ICRPM与传统RPM匹配了参数量：Meta-RL中约为0.65M参数，RLVR中约为42.8M参数。性能差异不能简单归结为预测模型变大了。训练目标仍来自既有优化过程，风险模型不需要新增环境交互或rollout。

消融验证：关键不只是多看历史

研究在LunarLander上比较了不同模型结构、任务选择规则和历史窗口设置。把Transformer换成参数量匹配的MLP，ICRPM依然优于传统MPTS；给MPTS加上相同的历史窗口和时间衰减、但不预测下一步，也仍追不上ICRPM。

△

真正关键的是上下文条件下的前瞻预测，用不用Transformer、加不加历史数据都在其次。窗口敏感性实验也显示，历史并非越长越好：论文采用3步窗口与0.9的衰减系数，在补充监督和避免旧数据干扰之间取得平衡。

实验结果：从机器人控制到大模型RLVR

论文覆盖少样本正弦回归、Meta-RL、Domain Randomization（DR）和LLM RLVR四类场景。评价重点不只看平均性能，也看任务风险排序的一致性以及困难任务上的表现。

少样本回归场景里，风险排序的改善究竟能不能落到收益上？

Few-shot Sinusoid Regression实验给出的答案是能。ICRPM不光压低了平均均方误差（MSE）和尾部风险误差，预测风险与真实风险之间的Spearman排序相关系数（SRC）也持续高于MPTS。到了Meta-test阶段，CVaR₀.₅、CVaR₀.₇、CVaR₀.₉三个评价水平上，ICRPM的MSE都是各对比方法里最低的，风险排序相关性同时保持得更高——任务难度排序上的进步，确实传导到了下游性能。

△

连续控制任务上，困难任务的表现同样有起色。

Meta-RL与DR涉及的五个环境中，ICRPM在尾部风险鲁棒性上整体更强。Walker2dVel上，MPTS的CVaR₀.₉回报是-27.9，ICRPM拉到-1.5；LunarLander上，论文报告ICRPM收敛时的CVaR₀.₉较ERM提高超过40%。

△

△

逐项看：Walker2dVel的CVaR₀.₉从MPTS的-27.9±19.1升至ICRPM的-1.5±7.2；HalfCheetahVel从-184.0升至-180.2，ErgoReacher从75.7升至78.3。不过单项指标并非全部占优——ReacherPos上ICRPM为-27.8，比DRM的-26.5略低。所以结论应落在整体趋势的改善上，而不是对所有任务的绝对领先。

大模型RLVR方向，Countdown准确率有所提升。

基于Qwen3-4B-Base的Countdown实验，训练集约2万条Countdown-34样本，每个Prompt生成8条回答。ICRPM对Prompt难度的排序相关性明显好于比较方法，最终准确率也更高。

△

△

更难的CD4测试集上，ICRPM的pass@1为55.7%，比GRESO的53.8%高1.9个百分点，比MoPPS的52.9%高2.8个百分点；CD34上为75.1%，两项平均65.4%。Uniform、GRESO、MoPPS的平均准确率分别是62.5%、63.8%、63.4%，ICRPM分别高出2.9、1.6和2.0个百分点。

计算开销方面，不需要额外rollout，运行成本与原方法接近。

论文附录记录的一次RLVR实验中，ICRPM与Uniform、PCL、MoPPS的运行时间都在11.1小时左右，GRESO约17.8小时。Walker2dVel上，ICRPM的相对运行时间是ERM的1.08倍，与MPTS的1.07倍相差不大。

△

项目价值：任务采样得跟上模型的变化

ICRPM 的思路是，任务难度会变，并不固定。一个称职的任务选择器，既要看清眼下哪些任务难，也得判断策略更新之后哪些任务还值得拿来训练。研究采用前瞻式风险预测，并复用近期历史，在采样开销和运行开销基本不变的前提下，让任务风险排序更可靠，还把效果验证到了连续控制和大模型后训练里。

对 rollout 预算要省着花的训练流程来说，这条思路用不着换下游优化器，从任务选择这一环就能改善训练效率。

论文标题：Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling

论文作者：Jiarong Wen、Qi Tao、Kaiyu Zhang、Yun Qu、Lizhou Cai、Heming Zou、Yuhang Jiang、Cheems Wang

论文链接：https://arxiv.org/pdf/2610.14913