机械秒表。摄影：wwarby，来源：Flickr，许可：CC BY 2.0。
10 月 14 日提交到 arXiv 的三篇论文彼此独立，却都在检验评测设计如何改变结论：北京大学与三星研究院让游戏在模型思考时继续运行，LASR Labs 等机构从接近满分的基准的解题记录里找能力差异，南非西开普大学给超算调度算法加上随机对照。三篇目前都以预印本形式公开，结论尚待独立复现。
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
北京大学与三星研究院（北京）的 Pan 等人提出了 RealtimeBench 评测集：包含 Mario、Snake、Tetris 等 6 类游戏共 180 个任务，模型思考期间游戏不暂停，上一条操作会一直生效。论文的核心观察是，同一组模型在“暂停”和“实时”两种时钟下的排名会反过来。游戏暂停时，单次响应约 19 秒的 GPT-6.1-sol 在 6 类游戏中有 5 类胜过反应更快的决策模型 Jev；游戏实时运行时，两者在 0–100 进度分上的平均分变成 1.51 对 13.51。论文测试的所有模型，实时条件下的平均分都没有超过 16.62。
模型拿到的不是原始画面，而是程序整理好的结构化文字状态和合法动作列表；每类游戏的 30 个任务按 10、10、10 分成反馈集、验证集和测试集。作者据此提出 TORSI 方法：慢速的“教师”模型（GPT-6.1-sol）在两局之间复盘快速“学生”模型 Jev 的失败，从保存的游戏状态出发，在暂停或减速的环境里试验改法，再写成可复用的操作指令；学生在实时对局中只照指令行动，不调用教师。新指令只有在验证集平均分严格提高时才会被采纳。两轮之后，Jev 的测试集平均分从 13.51 升到 24.19，6 类游戏都有提高；同一套指令不经调整用在另外三个模型上，平均分也都上升，例如 StartLux 4B 从 12.22 升到 25.05。
单色屏手机上的贪吃蛇（Snake）游戏。Snake 是 RealtimeBench 的 6 类游戏之一，但论文中的模型接收的是文字状态，不是这样的画面。摄影：kamirao，来源：Flickr，许可：CC BY 2.0。
这项工作提醒研究者，暂停式游戏评测得出的“推理更强”，未必能换来实时环境里的“做得更好”。局限同样明确：评测输入是结构化文字，不含视觉感知带来的误差和延迟；TORSI 依赖可保存、可重置的模拟环境，在物理世界或不可逆操作中难以直接照搬；实验只覆盖 6 类游戏和两轮改进，迁移到 StartLux 27B 时，Tetris 和 Temple 两类游戏的分数反而下降。论文与 ACE、AHE、GEPA 等方法的比较也没有统一预算，作者对此有明确说明。
Evaluating Model Capabilities After Benchmark Saturation
当几个模型在同一个基准上都接近满分，分数就失去了区分能力，这被称为基准饱和。Hamada、Yeon 等五位作者（署名机构包括 LASR Labs、图宾根 ELLIS 研究所、英国 AI 安全研究所等）追问：分数饱和之后，模型的解题过程记录（transcript）里是否还保留着能力差异？答案是保留了一部分。在作者比较的几种方法中，让大模型裁判两两比较解题记录的“成对评判”效果最好，预测误差比只看饱和分数的基线低 5.3 倍。
研究用历史模型回溯模拟饱和：按半年划分模型发布期，用前一期的 7–8 个模型作参照，预测后一期 8 个目标模型的能力，2025 年下半年和 2026 年上半年两期共 16 个目标模型。题目被拆成两部分：参照组前三名全部答对的题算“已饱和”，其余算“未饱和”。各方法只能看到目标模型在饱和题上答对的记录，“答没答对”因此不再提供信息；能力真值则用项目反应理论（IRT）在未饱和的难题上估计。测试覆盖科学、数学、编程和网络安全四个领域，基准包括 GPQA-Diamond、AIME、SWE-Bench、CyBench 等。成对评判的均方误差为 0.26（95% 置信区间 0.18–0.34），统计上显著优于基线；基于文本特征、嵌入向量和单份打分的方法误差也低于基线，但未达到显著。
作者还发现，能力信号分散在整份记录里，删掉任意三分之一通常不会让预测失效；隐去推理过程会让编程、网络安全和科学领域的预测误差升高约 3–4 倍，去掉工具调用则主要影响网络安全领域。对需要持续追踪前沿模型能力的安全评估来说，这意味着旧基准在饱和后仍有剩余价值。限制在于泛化：2024 年底的裁判系统性低估了 2025 年初出现的第一批推理模型，模型范式一变，方法就可能失灵。此外，闭源模型通常不提供完整推理记录，推理模型时期的主实验主要使用开放权重模型。
Deep Reinforcement Learning for HPC Job Scheduling: A Statistical Evaluation
南非西开普大学的 Cheney 与 Nyirenda 检验了深度强化学习（DRL）用于超算作业调度时究竟贡献了什么，作者注明论文已被 SACAIR 2026 会议在线论文集录用。很多研究只把 DRL 调度器和传统启发式规则比较，这篇论文多加了一个对照：在同样的“动作掩码”（预先排除不可行选项）下随机挑选作业。结果显示，在较为同质的 CPU 集群负载上，没有一种带掩码的 DRL 方法在平均等待时间和有界减速比上显著优于这个随机对照；9 项比较中有 7 项差异显著，而且全部对随机对照有利。
美国橡树岭国家实验室的 Titan 超级计算机机柜，仅作超算机房示意，与论文使用的两条作业记录无直接关系。摄影：GBPublic_PR，来源：Flickr，许可：CC BY 2.0。
实验比较 PPO、A2C、DQN 三种算法各自带掩码和不带掩码的 6 个版本，另设 LCFS、SJF、UNICEP 三种启发式规则和随机对照，每种设置跑 10 个随机种子。数据是两条真实的 Slurm 作业记录：同质的 physical（84,135 个作业，87 个节点）和异质的 deeplearn（68,720 个作业，30 个节点、120 块 GPU），按提交时间前 70% 用于开发、后 30% 留出。三种不带掩码的版本都没能跑完一次完整评测：它们会选中不存在的作业，模拟时间随之停住，最后被防卡死机制中止。在 deeplearn 负载上，带掩码的 PPO 在三项主要指标上都显著优于随机对照，平均等待时间低 28.0%，与 UNICEP 在 ±10% 范围内等效，最大有界减速比比 LCFS 低 22%；但它与带掩码的 A2C 之间没有检测到显著差异。
这篇论文的价值主要在方法上：DRL 调度器“打平启发式”不等于“学到了东西”，先看它能否胜过同样掩码下的随机选择，才能判断学习本身的贡献。两条负载上，随机对照比最佳启发式分别只差约 3.7% 和 38.4%，这段可优化空间的大小在很大程度上决定了结论。局限包括：主比较关闭了回填（backfill），并非完整的生产 Slurm 配置；奖励每 512 步才发放一次，各算法训练步数相同但参数更新次数不同；结论只针对两条负载和这一套训练配置。代价也不低：带掩码 PPO 的评测耗时分别是最快启发式的 35 倍和 13 倍；在 deeplearn 的留出数据上，它相对随机对照的平均等待优势从 27.7% 缩小到 3.9%。
参考文献
-
Pan N, Li H, Shen Y, Ding N, Tang Y, Zhang W. The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock. arXiv:2610.20665, v1 提交于 2026-10-14. https://arxiv.org/abs/2610.20665
-
Hamada M, Yeon J, Migliarini M, Olive J, Dubois M. Evaluating Model Capabilities After Benchmark Saturation. arXiv:2610.20667, v1 提交于 2026-10-14. https://arxiv.org/abs/2610.20667
-
Cheney J M, Nyirenda C N. Deep Reinforcement Learning for HPC Job Scheduling: A Statistical Evaluation. arXiv:2610.21008, v1 提交于 2026-10-14. https://arxiv.org/abs/2610.21008
-
信息由 Scholay 学术一站式平台 整理并发表，如有侵权请反馈下架。
-
信息同步发表于恩特学术，智能时代的学者社区