记忆不再清零:上海团队开源 MemT-1.0,把历史经验写进模型前向传播

2026 年 10 月 20 日,一支来自上海的团队在 Hugging Face 上开源了 MemT-1.0 系列模型,包含 MemT-1.0-Flash(288B 参数)与 MemT-1.0-Nano(36B 参数)两个版本。它的卖点不是参数更大,也不是跑分更高,而是把「记忆」做成了模型前向传播的一部分——历史信息和任务经验不再需要每次重新塞回上下文,而是以可更新的内部状态存在于模型里。

按研发团队的说法,这套模型的目标是解决一个所有做过长任务的人都会遇到的问题:每次对话都从零开始。你昨天教它的项目约定、上周踩过的坑,今天全得重讲一遍。

技术上改了什么

官方公布的三处架构改动是这样的:

第一,研究团队在选定的 Transformer 模块里引入原生记忆模块,让原有的注意力机制与记忆注意力并行运行。记忆因此不再是外挂在上下文窗口里的文本,而是参与计算的模型内部状态。

第二,更新机制基于 Gated DeltaNet-2,做逐 token 的稳定更新。每轮交互结束后,模型通过擦除、写入与遗忘三个动作,把新信息融进已有记忆,而不是简单地把旧内容覆盖掉。

第三,引入了 MoS(Mixture-of-Storage,混合存储扩容)。记忆模块被扩展成多个「记忆专家」,采用稠密路由,为后续扩大记忆容量留出空间。训练分持续预训练与后训练两个阶段,让模型学会「基于记忆完成任务」。

公布的评测数字

在 11 项记忆基准上,MemT-1.0-Flash 与 MemT-1.0-Nano 的平均得分分别是 50.6 与 47.0,团队称位列本次评估中参数化记忆方法的第一与第二名。

更值得开发者注意的是编程智能体的实测:由执行框架在关键断点触发经验写入时,Nano 在 SWE-bench Verified 的 500 项任务上,平均成功率从 66.07% 提升到 69.73%;三次运行全部成功的任务比例从 54.00% 提升到 62.80%。团队把后者解读为「重复执行的一致性增强」。

长历史场景下的收益更明显:Nano 相比完整上下文方式,在 128K 历史下实现约 1.86 倍端到端推理速度,256K 历史下约 3.99 倍;持久化记忆状态的大小约为完整上下文的 1/66。

需要标清楚的是:以上全部为研发团队自行公布的评测结果,目前没有看到第三方独立复现。SWE-bench 类基准对环境配置高度敏感,分数差异是否可迁移到真实项目,还得等社区跑起来才知道。

对从业者的影响

做编程智能体的团队:这次给出的数字里,我认为「三次全部成功比例 54%→62.8%」比平均成功率那 3.66 个百分点更有意义。工程上真正折磨人的不是平均表现差,而是同一个任务跑三遍结果不一样。如果记忆机制能压住这种抖动,它解决的是可交付性问题,而不是跑分问题。

做长上下文应用的团队:1/66 的记忆状态体积加上近 4 倍的速度优势,指向的是一个很具体的成本账:那些现在靠 200K 上下文硬撑、每月为重复输入付费的场景,是最应该评估这套方案的。前提是记忆写入的时机由你的框架控制——官方数据正是在「执行框架在关键断点触发写入」的条件下取得的。

做 AI 工具选型的个人开发者:36B 的 Nano 已经开源权重,本地部署门槛不算高。但请先想清楚一件事:记忆带来的收益高度依赖「有没有值得记住的东西」。如果你的任务每次都是全新的一次性问答,这套机制基本不会带来提升。

站长观点

我的判断是:记忆原生这条路方向是对的,但现在公布的证据还撑不起「大模型从此会成长」这种说法。

理由有两条。第一条,官方自己也留了口子——准确率提升是在特定执行框架触发写入时测到的,说明这套收益不是装上模型就自动到手,而是需要上层框架配合设计断点。这跟很多人想象中「模型自己会记住」差得远。第二条,全部数据来自研发团队自评,缺第三方复现。SWE-bench 上的 3.66 个百分点,在配置稍有变化时就可能被吃掉。

我建议的观察指标不是跑分,而是两个更朴素的:一是记忆更新本身的成本——如果每次写入比重新读一遍上下文还贵,那这套机制在高频场景就跑不通;二是记忆污染问题——模型把一次偶然的错误经验写进去之后,能不能擦掉。这两个问题官方都还没给答案,团队自己也在下一步计划里列了「降低记忆更新成本」。

对做导航站这类信息聚合的从业者,我的取舍是:暂不把这类模型接入生产流程,但值得拿一个真实的重复性任务跑两周对照。真金白银的判断标准是「省下的重复解释时间」能否覆盖「记忆维护的额外成本」,这个账只有自己跑过才算得清。

来源清单

  • 新民晚报(腾讯新闻转载)《上海团队发布并开源记忆原生大模型MemT-1.0,让模型"会记住会成长"》,2026-10-20
  • MemT-1.0 模型权重开源页(Hugging Face 平台)

参数规模、基准得分、SWE-bench 成功率与推理加速倍数均为研发团队公布数据,核查日期 2026-10-20,以官方开源页面与论文为准;截至目前未检索到第三方独立复现结果。

暂无评论

暂无评论...