🤖 AI 资讯早报 · 10-26

本期为周一早报,抓取窗口覆盖 10-24 夜至 10-26 07:00。八个 RSS 源(量子位/新智元/智东西/极客公园/爱范儿/少数派/InfoQ)本窗口均零新增,其 item 级最新条目全部落在上一期(10-25 晚报)窗口内;实际增量集中在机器之心 10-25 21:24–22:02 的一批夜间稿(8 篇,均发布于 10-25 晚报 19:00 出刊之后),36氪 仅一条券商策略快讯。本期推送 7 条,详见下方深读。

🔥 必读

1️⃣ RAX:机器人版「o1 时刻」,零动作示范 + 2 小时自主探索,五大基准平均领先 37.4 点

哈佛、英伟达、UC 伯克利、MIT、斯坦福联合提出 RAX(Robot Agent eXploration),把「在线探索的 Scaling」引进机器人学习,正面回应「换个本体就要重采数据、重训策略」的老问题。做法是让通用 Coding Agent 直接接上机器人的感知与控制接口:自己写感知程序(把深度图转三维点云、估物体几何与可操作部位)、写规划程序、执行、检查结果,再把成功的决策固化成可执行程序(Code as Policy),逐步积累为可复用技能;策略模型参数全程冻结,能力增长只来自探索与技能库。

数字相当硬:RoboDojo 困难子集 24.9%→78.3%、BEHAVIOR-1K 困难子集 8.2%→46.5%、DexJoCo 双臂任务 48.8%→94.3%;五大仿真基准(RoboDojo/BEHAVIOR-1K/HumanoidArena/DexJoCo/LIBERO-Pro)相对此前最强 SOTA 平均领先 37.4 个百分点;LIBERO 四个原始套件平均 98.5%,物体位置打乱后在 LIBERO-Pro 上最多 5 回合适应达 84.4%。对照的 VLA/WAM 每任务用了 50–100 条动作示范,RAX 用的是 0 条。真机上,无任何人工示范、不到 2 小时自主探索即掌握精密插孔、柔性物体操作、关节物体操作与长程移动全身控制——文中两例很能说明探索的价值:18 厘米香蕉放进 19 厘米宽篮子,平放会碰锅体,它自己找到倾斜 60 度释放的解;抓空气炸锅长手柄会 IK 受限,就改抓短手柄连接处以获得力臂。

架构上前后端分离,同一套 Agent 框架可接单臂、双臂、灵巧手、移动机器人与人形,新本体靠接口接入、不必先采一批示范。⚠️ 限定:全部为论文自述,验证以仿真基准为主、真机只覆盖少数任务;「零示范」指零动作示范,并不等于零先验(视觉语言模型与代码能力仍是底座)。论文 arXiv 2610.22496。

原文:机器之心 · 机器人的o1时刻来了!哈佛、伯克利、英伟达推出探索Scaling Law,五大基准平均领先37.4个点 | 项目主页


2️⃣ 复旦 NLP 发布主动式助手 A5:终身上下文 + 主动性,越用越懂你

复旦 NLP 团队的 A5 想解决的是两个大家都体感很强、却一直没被认真工程化的问题:换个对话就「失忆」,以及助手永远等着你开口。它把这两件事做成一套可复用的 harness,跑在 ReAct 循环上,核心是「终身上下文」加「主动性」。

终身上下文由四件东西支撑:Context 索引(文件/网页做成可逐层浏览的语义节点)、Memory 系统(用 Git 管版本,MEMORY.md 直接进上下文、详细笔记按需读,分 Workspace 与 User 两档)、Workspace Wiki(同样 Git 管理,把你的资料、讨论与结论整理成互相链接的知识页)、Autodream(空闲时维护:合并重复、修正或移除过时内容、归档低频记忆,再发布新一版 Wiki)。主动性靠两个引擎:Diff Engine 监听工作空间文件变化并通知 Agent,Proposal Engine 汇总变更证据后判断「这件事值不值得现在就提醒你」,提建议但等你确认再执行。

文中三个演示覆盖了三类能力:陶瓷兴趣从杭州、上海一路细化后,规划北京行程时无需重述偏好即可推荐展品与观看角度;需求文档从「个人使用」改成「团队共用」时,主动调整方案里的访问权限与维护分工;任务结束后收到供应商延期通知,在用户尚未发问时主动分析上线排期影响并给调整建议。⚠️ 限定:目前只做到 harness 层,团队自述「主动性与终身上下文还需要模型层面的针对性训练」;GitHub 仓库标注 coming soon,暂无第三方评测或基准数字,属工程方案而非能力证明。

原文:机器之心 · 受够了AI失忆?复旦NLP推出的主动式助手A5越用越懂你,还会主动帮忙 | Hugging Face Blog


3️⃣ 清华 HandsOn:首个灵巧手系统基准,Core-50 最强 29.1%、无示范迁移全线低于 1%

灵巧手这两年硬件进步很快,评测却一直沿用夹爪时代的考卷。清华丁宁团队联合北邮、北大与自然意志 Nature Will 构建了 HandsOn:一个可组合仿真平台加基准,66 项人工验证任务、18,000 条人类仿真遥操作示范,支持 5 种机械臂、6 种灵巧手、约 200 种刚体/关节/可变形物体资产,并可在随机化场景中自由组合。

关键是它把「学会了能不能稳定执行」与「换了东西能不能迁移」拆开测:Core-50 给训练示范,Transfer-16 完全不给目标任务示范(含资产与关系迁移 7 项、技能组合 6 项、可变形物体 3 项)。成绩单很难看——Core-50 上表现最好的受训多任务策略成功率仅 29.1%;Transfer-16 上 8 种受训多任务策略平均成功率全部低于 1%;GPT-6 不经基准数据微调、通过 move_eef 接口控制手掌与手指,660 次测试中 Core-50 仅 5.2%、Transfer-16 1.9%。团队还做了分阶段诊断,发现机器人常常能完成动作前半段,却在接触建立、双手协调、目标状态保持、步骤衔接这些关键环节翻车——这是夹爪时代的二值化成功判定看不出来的。

⚠️ 限定:纯仿真基准,未报真机结果;66 项任务是作者自建并人工验证,不属社区共识榜,成功率低也可能部分反映任务设计偏严苛。论文与代码、数据已公开(arXiv 2610.26765)。

原文:机器之心 · 清华团队构建HandsOn灵巧操作基准,66项任务全方位评测机器人双手能力 | 论文 arXiv


📌 值得看

4️⃣ DeepMind 曝 Softmax/交叉熵隐藏 Bug:bf16 下 logit 差 5.5 就踩「精度悬崖」,PyTorch、JAX 均中招

Google DeepMind 的 Jonathan T. Barron 与两位同事 10 月 22 日提交论文《A Fix for Softmax and Cross-Entropy》,指出 PyTorch、JAX、TensorFlow 等框架普遍采用的 Softmax+交叉熵标准实现里有两个数值精度 Bug。其一是 Softmax Collapse:实现惯例是先减最大值再取指数,正确类的指数项变成 1、其他项极小,浮点加法把极小项舍去后,正确类概率被算成精确的 1、损失为 0、梯度也被算成 0,而错误类梯度仍非零——按交叉熵数学定义「各类 logit 梯度之和为 0」的关系就此被破坏。临界点(logit margin)实测为 bf16 ≈ 5.5、fp32 ≈ 16.6、fp64 ≈ 36.7,fp32 触发时理论概率已高达 99.9999938%。其二是 Softmax Cancellation。论文进一步用它解释了长期被观察到的 Slingshot 机制:梯度长期归零 → Adam 二阶矩衰减 → 部分样本回落悬崖内、梯度突然恢复 → 因分母过小导致异常大的参数更新 → 损失尖峰,这正与 Grokking 中「损失长时间贴 0 后突然暴涨」的曲线吻合。修法不换精度、不改损失定义:把最大 logit 项从指数和中分离、用 softplus 完成计算,并给出 JAX 参考实现。验证实验是模 31 加法(单层 Transformer、fp32+AdamW):标准实现 5 次平均 94.3%±5.4% 且反复出现损失尖峰,修复版 5 次全部 100%;bf16 下 93.3% → 约 100%。⚠️ 限定:验证限于小规模算术任务,对大规模预训练的实际损失幅度未量化;Gemini 承担了相当一部分研究工作是作者自述,尚无独立复现。

原文:机器之心 · PyTorch、JAX都被点名!Softmax曝出隐藏Bug,Gemini立功 | 论文 arXiv


5️⃣ 微软 Code Video Model:用可执行代码当视频控制表示,生成前就能改镜头

把「拍片前的预演」搬到生成式视频里:Coding Agent 先把提示词写成 Three.js 程序,用同一份代码统一描述几何布局、物体运动、相机轨迹与事件时序,渲染出不到一分钟的 proxy video 预演,人可以改路径点、增删物体、调尺度、让动作冻结而相机继续环绕(子弹时间),双摆、弹簧回弹、牛顿摆这类有方程的还能直接算出运动。难点是预演的低多边形风格会污染成片,于是团队在 MiniMax-H3 参数冻结下做了一系列条件实验:条件在去噪前约 25% 阶段介入影响最大;Qwen-VL 通路主要决定外观、VAE 通路主要决定结构与运动,双通路优于单通路。据此提出免训练的阶段化条件调度——早期用预演压结构,随后撤去,交给文本与参考图细化外观。⚠️ 限定:所谓「免训练」只指不训练新模型,仍依赖已训好的参考驱动视频模型;效果以案例对照为主,没有大规模用户评测。

原文:机器之心 · 视频生成也能代码驱动了,Code Video Model来了


6️⃣ 可灵 AI × 中科院大学 JointLight:人物视频可控重光照,合成数据训练即可用于真实视频

光照是世界模型「理解物理」的一个硬指标:光源一动,人物、物体与阴影都该协同响应,而现有视频模型很难精确控制灯位。JointLight(SIGGRAPH Asia 2026)的解法是把几何先验与生成能力缝在一起:逐帧估计单目点云并转网格、赋白色漫反射材质,用 Mitsuba 3 在目标 HDR 环境光下渲出与画面对齐的「粗糙辐照度」——它只是线索,允许有瑕疵;再基于 Wan2.2-TI2V-5B 微调,让 RGB 与辐照度在同一扩散 Transformer 里联合生成、各自用不同噪声步(异步),互相修正;第二阶段用带噪的粗糙线索替换真值做域匹配,让模型提前适应推理时的几何误差。训练数据全部来自 UE5 合成(6,800 个动态场景、68,000 条视频、821 张 HDR 环境贴图),仅用合成数据微调即可用于真实视频;SynthStatic 上 PSNR 16.62 dB、LPIPS 0.251,两项均为对比方法中最佳。⚠️ 限定:真实视频的定量评估有限,PSNR 16.62 dB 属生成类任务的正常量级,不等于像素级还原。

原文:机器之心 · 视频拍完还能重新打光?JointLight让AI精准控制人物光影 | 项目主页


7️⃣ 人大等开源 TabClustPFN:一张表格一次前向,自动分组并给出簇数概率

拿到无标签表格要分组,传统做法是选算法、定超参、试不同簇数、反复跑到收敛。TabClustPFN(人大+罗格斯+新加坡国立+MBZUAI,NeurIPS 2026)把这份工作前移到预训练:先用合成先验(高斯混合 + ZEUS 非线性变换)喂出大量「知道真实分组」的任务,模型参数固定后,对新表格一次前向就同时输出样本归属与 2–10 类的簇数概率分布——不只告诉你「分三组」,还告诉你它对三组、四组各有多确信。内部由 PIN 生成候选划分、CIN 汇总结构信息判断簇数,并用可微的 SoftARI 解决「组名互换仍是同一划分」的问题。在 44 个真实数据集(OpenML 22 + UCI 22)上,给定真实簇数的版本 ARI 排名中位数第一、自动估簇数版本并列第二;3,200 个未参与训练的 GMM 数据集上,按 95% 累计概率构造的候选簇数集合覆盖了 96.8% 的真实簇数(这是候选集合覆盖率,不是单点准确率)。⚠️ 限定:簇数范围仅 2–10,仍是研究原型。

原文:机器之心 · 聚类也能「开箱即用」了!人大等团队开源TabClustPFN,给张表格就能自动分组 | 代码


📄 其他(未推送,仅留档)