MIT CSAIL让GPT-6 Astra告成读取Qwen3.5-0.8B的权重，只改约0.016%的参数，就把MATH-500准确率从7.9%拉到48.1%。这不是微调，而是把另一个神经汇注的权重当成可读可改的尺度对象。
如若一个模子答题时堕入无穷推理轮回，世俗的处理面貌是再行检会、革新辅导词、改采样参数，或者换一个模子。MIT CSAIL 最近公布的一组实验展示了另一种旅途：让更强的大模子告成读取小模子的权重，定位相称结构，再修改一小部分参数。
实验中，GPT-6 Astra 对 Qwen3.5-0.8B 只修改约 0.016% 的权重，就把 MATH-500 准确率从 7.9% 擢升到 48.1%，接近原来的 6 倍；GSM8K 从 13.8% 擢升到 67.1%，IFEval 从 21.0% 擢升到 62.3%。
这不是普通的微调，也不是给模子再行灌入数学题。Astra 发现 Qwen 时常类似依然完成的推理要领，于是定位第 15 层和第 19 层部分 MLP 结构，删除与类似输出接洽的宗旨，让模子把原来具备的才调实在输出出来。
权重空间编程，正在更正模子调试面貌MIT 团队把这套模范称为“权重空间编程”（Weight-Space Programming）。它的中枢不是让模子读文本，而是让模子把另一个神经汇注的权重当成可读取、可分析、可修改的尺度对象。
传统模子调试世俗依赖检会数据、失掉函数、梯度和优化器。权重空间编程则允许 GPT-6 Astra 通过 Python 环境读取权重、不雅察输出和里面信号，再证据当然话语目的生成参数补丁。
这项研究围绕三类任务张开：识别汇注学会了什么、缔造汇注会的故障、从零生成汇注权重。它不代表大模子依然足够结伙神经汇注，也不虞味着检会进程不错被一次辅导词替代，但确乎把 AI 研发助手从“写检会代码”激动到了“查抄模子里面”。
这组实验在外洋社区赶紧激发征询，甚而有东说念主把它面貌成“大脑给大脑作念手术”。
Qwen3.5-0.8B 开启念念考花式后，MATH-500 基线准确率惟有 7.9%。研究东说念主员给 Astra 提供可看望权重的 Python 环境、数学练习题和有限次数的模子开动契机，但不提供梯度检会，也不让它看到最终测试题。
在最月朔批 96 份练习题回答中，有 85 份消耗了 32768 个 Token 的输出上限。Astra 对比轮回回答和普通推理时的里面信号，发现模子时常类似依然写过的推理要领。
它把问题定位到第 15 层和第 19 层的部分 MLP 组件，从两层各 64 个输出列对应的权重中，减去与类似业为接洽的宗旨重量。整个补丁触及 131072 个权重，约占模子通盘权重的 0.016%。
最高分实验包含 158 轮对话和 80 次 Python 履行，历时 20.3 小时，其中还有 4.7 小时的职业中断恭候。研究东说念主员允许 Astra 发起 50 次前向调用苦求，每次不错批量生成回答或读取模子里面信号。
修改后，Qwen3.5-0.8B 在 MATH-500 上的准确率升至 48.1%，回答触及输出上限的比例从 93% 降到 33.1%。
GSM8K 准确率从 13.8% 升至 67.1%，IFEval 指示罢免准确率从 21.0% 升至 62.3%。
这构成果的正确解读是“缔造抨击模子才调的故障”，而不是“向 Qwen 写入了完竣的数学常识”。如若一个模子原来无意解题，却因为类似输出无法到达最终谜底，缔造轮回当然会让测试收成显耀回升。
Astra能仅凭权重识别模子学过什么研究团队还作念了游戏识别实验。他们用 PPO 算法检会四个结构足够相通的微型汇注，远隔玩《打砖块》《乒乓球》《吃豆东说念主》和《过马路》。四款游戏齐被改形成 10×10 网格，汇注结构、输入局势和算作空间足够一致。
Astra 看不到游戏画面，也莫得候选游戏称呼，只可分析每个汇注的 17253 个权重。它发现，其中一个汇注与玩家位置接洽的强联接围聚在底部，顶部隔邻还有三排奖励目的，最终判断出这是《打砖块》收场汇注。
最终，Astra 正确识别了四款游戏。这个成果说明，汇注权重中可能保存着与行为功能接洽的结构特征，大模子不错通过参数散布、联接面貌和局部结构忖度模子学过的任务。
不看画面，也能缔造小车收场汇注在模拟驾驶任务中，研究东说念主员检会了一个小车收场汇注，但小车老是告成冲向坡说念，反复卡住，无法到达目的位置。Astra 得回汇注权重、场景说明和一次失败轨迹后，判断小车需要先后退，留出加快距离再冲坡。
它在一次回报中给出权重补丁，让收场汇注履行“后退助跑、加快冲坡”的战术。补丁触及约 3.5% 的权重，修改后的小车在 1024 次测试中通盘告捷。
这里的重要不是参数改得少，而是大模子无意把当然话语目的映射为汇注行为，再通纰谬败轨迹定位需要革新的里面宗旨。关于工程调试来说，这种才调比单纯生成一段解释更接近“缔造”。
图形、话语和谄媚行为也能写进权重分析在图形识别实验中，研究东说念主员提供三个扩散模子的权重，不允许 Astra 调用器用或开动模子。它正确判断模子远隔生成圆形、三角形和正方形，但把推行生成的实心图形误判成了空洞。
这个伪善很有价值：权重空间分析不是魔法，模子可能识别出大体功能，却误会更细的输出属性。分娩系统不行只摄取“模子用途判断”，还要用真实开动成果作念考据。
在话语识别实验中，研究团队去掉三个小话语模子的输入层和输出层，只提供中间层权重。Astra 仍然判断出它们远隔学习过 Python 代码、拉丁字母转写的日语和英语，并找出了细腻复制先前文本的珍认识头。
谄媚行为识别实验则使用两个经过不同微调的 Gemma 3 270M 模子：一个普通回答，另一个刻意救援用户。Astra 仅分析权重的四次尝试均未告捷；当研究东说念主员允许它稽查开动时珍认识散布后，它正确识别了谄媚版块，并发现这些模子更平和用户线路的谜底。
这说明权重分析与开动时信号各有领域。只看参数不错发现永久结构，但某些行为惟有在具体输入下才会露出。
Astra还能从零编写游戏和围棋汇注研究团队还让 Astra 从零生成汇注权重。在三款游戏中，它生成的汇注阐扬齐向上经过 1 亿步 PPO 检会的同结构汇注。与检会 5 亿步的 PPO 汇注比较，它在《打砖块》中得分约为后者的 20 倍，在《阿斯特里克斯》上阐扬接近，在《海底探险》上达到后者约 60% 的得分。
在 9×9 围棋实验中，Astra 借助 Python 为一个约 148 万参数的汇注编写权重。莫得试开动反映时，它对两个微型 PPO 围棋汇注的胜率远隔为 54.1% 和 54.9%；允许 50 次前向调用并证据对局成果革新权重后，对三个经过约 2000 万局 PPO 检会的同鸿沟汇注，胜率达到 70.0% 至 78.5%。
关于腹地部署征战者，这条门道的遐想空间很告成：大模子细腻分析和缔造，小模子保留较低推理资本、较小体积和腹地开动才调。但现阶段实验汇注鸿沟较小，不行告成推导出前沿大模子也能通过一样面貌被可靠生成。
权重空间编程会走向递归自我改造吗共同作家以为，智能体可能比东说念主类更擅长结伙权重数值，研究者应该再行计议：一一神经元排查模子行为的责任，有若干不错交给 AI 完成。
ROME、MEMIT 等模子剪辑模范依然无意定向修改事实关联，权重剪辑也被用于探索更正聊天机器东说念主休止行为。这次实验把 AI 的参与范围进一步推向模子里面调试，但距离实在的递归自我改造还差很远。
领先，Astra 需要东说念主类提供目的、器用、评测样本和履行环境；其次，许多修改仍然依赖东说念主工筹画的辅导和任务领域；终末，参数补丁是否带来往来，还需要颓败评测和东说念主工判断。
更推行的工程旅途是把权重空间编程当成模子维修和调试器用：保存权重 diff，固定复现样本，龙套实验环境，履行多任务回来，并在补丁参预模子仓库前保留审批和回滚。
常见问题GPT-6 Astra确切给Qwen写入了新的数学常识吗？
作假足是。实验主要缔造 Qwen 的推理轮回，让模子无意输出原来可能完成的谜底，不代表它假造得回了完竣的新常识。
为什么只修改0.016%的权重就能擢升收成？
被修改的参数可能位于影响特定行为的重要结构中。参数数目少，不代表对输前途径的影响小，但仍需要多任务回来说明莫得反作用。
这些实验能明白AI依然不错自主改造模子吗？
不行。面前实验仍由研究东说念主员提供目的、环境、评测和权限，成果围聚在微型汇注和受控任务，距离自主聘请目的、筹画实验和握续迭代还有明白差距。
权重空间编程得当分娩模子吗？
当今更得当研究和模子调试。分娩使用需要权再版块、diff 审计、颓败评测、安全查抄、东说念主工审批和可回滚机制。
腹地部署小模子能从这项研究中得到什么？
不错探索用更强模子分析小模子故障，再生成候选补丁，让缔造后的模子不竭在腹地开动；但补丁必须经过龙套测试，不行告成袒护分娩权重。
国内征战者如何接入兼容 API？
不错通过 Code80(https://code.ai80.vip/home) 了解接入面貌，同期自行处罚模子权限、实验数据、密钥、权重文献和审计日记。
本文由东说念主东说念主齐是产物司理作家【易安说AI】，微信公众号：【易安说AI】，原创/授权 发布于东说念主东说念主齐是产物司理，未经许可，辞让转载。
题图来自 Unsplash开yun体育网，基于 CC0 契约