MemT-1.0: Towards Memory-Native Evolution
MemT-1.0：迈向记忆原生进化的基础模型架构
🧭 记忆原生 LLM · MoS 扩展容量 ★ 深度解读
MemTensor Team
提出 MemT-1.0，用 Gated DeltaNet-2 与 MoS 将记忆内化为模型原生状态，128K 历史下较 full KV cache 提速 1.86×、存储降 66×
📌 工作参考价值（4 点）
- 会话/用户记忆建模：用固定大小的 recurrent memory state 替代全量 session KV cache，适合电商导购 Agent 的长期用户偏好、历史订单与多轮上下文压缩；持久状态可在多个 query 间复用，摊薄历史准备成本。
- 训练方法：冻结推荐/对话 backbone，只训 memory 参数，用 full-context teacher 做 top-K KL 蒸馏 + CE；业务上可用线上完整上下文模型蒸馏出轻量记忆模块，避免重训大模型。
- MoS dense routing：当记忆容量不够时扩展多个 memory expert，读写分开路由，比稀疏 MoE 更稳定；可用于用户分群/场景差异化的记忆写入与读取。
- 经验内化：把检索到的成功操作流程（如售后、选品、谈判策略）写入 memory state 来指导多步 agent，而不是每次都塞进 prompt；可降低 token 成本并提升行为一致性。