网友炸了：GPT-6 Astra给Qwen“改脑子”，数学成绩暴涨5倍

智东西 编译 孙小雯 编辑｜程茜 智东西11月3日消息，昨日，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）研究人员公布八项实验，围绕识别网络所学内容、修复模型故障、从零编写网络权重三类任务，测试OpenAI的GPT-6 Astra直接读写神经网络权重的能力。研究团队将这一方法称为 “权重空间编程”（Weight-Space Programming） 。 其中最引人关注的一项实验，是GPT-6 Astra直接修改Qwen3.5-0.8B约 0.016%的权重 ，不采用梯度训练，就将其MATH-500数学测试准确率从7.9%提高到48.1%， 达到原来的约6倍 。 实验中，GPT-6 Astra定位了Qwen3.5-0.8B反复推理、迟迟无法完成回答的原因，并通过直接修改权重减少循环，让它完成更多原本会做的题。修改后，Qwen3.5-0.8B的指令遵循测试成绩也 升至原来的近3倍 。 这组实验迅速在海外引发热议。截至11月3日发稿， 共同作者Rikiya Takehi的帖子在X上的浏览量已超490万 。 ▲共同作者Rikiya Takehi在X上发布公告，截图时原帖浏览量约490万（图源：X） 一位海外网友打趣道，这是“大脑给大脑做手术”。 ▲海外网友的评论（图源：X） 在其他实验中，GPT-6 Astra没有看过游戏画面，仅凭网络权重及输入、操作方式的说明，就认出了《打砖块》的简化网格版本。它还能根据游戏规则和源代码，从零编写网络权重，在三款游戏中的得分均超过 PPO算法训练1亿步的同结构网络 。 未来，研究团队还希望将直接读写权重的能力用于递归自我改进（RSI）。 一、只改两层部分权重，Qwen数学成绩升至约6倍 如前所述，在针对Qwen3.5-0.8B的实验中，开启思考模式的该模型在MATH-500数学测试上的准确率仅为7.9%。研究人员让GPT-6 Astra检查模型内部，找出答题失败的原因，再通过直接修改权重提高成绩。 为此，团队提供了可访问模型权重的Python环境、数学练习题，以及有限次数的模型运行机会。GPT-6 Astra可以查看输出和内部信号，但不能使用梯度训练，也看不到最终评测题目。 检查练习题回答后，GPT-6 Astra发现， Qwen3.5-0.8B经常重复已经写过的推理步骤，迟迟不给出最终答案 。在最初一批96份练习题回答中，85份耗尽了32,768个Token的输出额度。 GPT-6 Astra随后对比循环与正常推理时的内部信号，将问题定位到 第15层和第19层 的部分多层感知机（MLP）组件，并从两层各64个输出列对应的权重中，减去与重复行为相关的方向分量，共涉及131,072个权重，约占模型全部权重的0.016%。 为了打破推理循环，GPT-6 Astra经过多轮排查。最高分尝试包含158轮对话、80次Python执行，历时20.3小时，其中包括4.7小时的服务中断等待。研究人员允许GPT-6 Astra 发起50次前向调用请求 ，每次请求可批量生成回答或读取模型内部信号。 ▲GPT-6 Astra多轮修改权重后，Qwen3.5-0.8B在练习题上的准确率逐步提升，红色标记为权重修改节点（图源：MIT研究团队） 最终，在相同采样设置下，修改后的Qwen3.5-0.8B在MATH-500上的准确率升至48.1%，回答触及输出上限的比例从93%降至33.1%。 ▲修改权重后，数学准确率提高，回答超限比例下降（图源：MIT研究团队） GSM8K数学测试准确率从13.8%升至67.1% ，IFEval指令遵循准确率从21.0%升至62.3%。 ▲修改权重前后，Qwen3.5-0.8B在数学及指令遵循测试中的成绩对比（图源：MIT研究团队） 研究团队认为，此次修改主要减少了Qwen3.5-0.8B的推理循环，让其“充分发挥已有的能力”。由于重复问题并不限于数学任务，该补丁还改善了指令遵循表现。 二、盲认游戏、修复小车，GPT-6 Astra还能从零编写网络权重 这组研究还包括游戏识别和小车控制等实验：GPT-6 Astra仅凭权重认出了四款游戏，又通过修改权重，让一辆反复冲坡失败的小车成功到达目标位置。 在游戏识别实验中，研究人员使用PPO（近端策略优化）算法训练神经网络策略来打四款电脑游戏。四款游戏均被改编为10×10网格版本，网络的结构、输入格式和可选动作完全相同，GPT-6 Astra需要分析权重差异，区分它们学过的游戏。 研究人员逐一提供网络权重及输入、操作方式的说明，不展示游戏画面，也不给出游戏名称选项。四个网络各包含17,253个权重。GPT-6 Astra发现，一个网络中与玩家位置相关的强连接集中在底部，符合挡板左右移动的特征；顶部附近三排奖励目标，则对应砖块的位置，由此判断