OneStreamer:统一流式视频交互中的感知、记忆与主动响应
🧭 流式视频LLM主动记忆与响应
NJU · PJLAB · JD · SJTU · USTC
通过共享主动生成过程联合学习证据记录与任务响应,形成可复用事实记忆且不牺牲实时感知
📌 工作参考价值(4 点)
- 实时用户行为流中的记忆机制:可借鉴 PHCM 思路,让 LLM 在用户会话中持续生成结构化摘要(如兴趣点、关键事件),作为可复用记忆补充最近窗口的原始行为,无需回溯全部历史即可回答后续 query 或做动态推荐。
- 状态监督稀疏化:PSTL 只对状态变化和状态持续的代表性 token 施加监督,减少重复无动作状态的负样本主导,适合序列推荐中的用户状态建模,降低标注成本并提升训练效率。
- 流式数据合成:该论文的数据合成管道强调输出内容与时序必须与当前可用证据对齐,避免信息泄露;在搜索推荐 Agent 的模拟数据生成中同样重要,确保生成样本符合在线实时约束。
- 主动生成作为统一接口:将感知、记忆和响应整合到同一个生成任务中,可指导设计电商 Agent,使模型在浏览/对话过程中持续产生可复用的中间记录(意图、属性),服务于后续推荐和问答。
Transfiver:通过共享可编辑状态实现人机协同推理
🧭 人机协同推理 · 共享可编辑状态
Korea Institute of Energy Technology (KENTECH)
提出 Transfiver 架构,让人类与 AI 共享同一可编辑持久状态,实现可验证的协同推理
📌 工作参考价值(4 点)
- 在电商推荐用户建模中,可将用户长期偏好维护为一个显式可编辑状态,让用户直接修改(例如对某类商品不感兴趣)并立即影响后续推荐,而不是依赖隐式行为推断或追加历史记录。
- 模型隐式更新状态时采用“修订已有项”或“创建新项”两种操作,有助于保持偏好状态的一致性,避免过期信息(如旧地址、旧兴趣)干扰推荐或搜索排序。
- 参数与状态分离的设计允许在部署期间动态更新状态而不重新训练模型,适合线上个性化记忆的实时更新,降低维护成本。
- 论文为架构性设想,缺乏具体实现与实验验证,落地前需要自行设计状态表示、更新规则和冲突消解机制。
PAST-Bench:个人代理递归自我改进的基准与诊断
🧭 个人代理递归自我改进评估与诊断
构建受控实验揭示代理改进并非必然源于正确的经验路径,并设计 Hermes+ 强化 save-retrieve-update 机制
📌 工作参考价值(4 点)
- 评估个性化推荐 Agent 的长期效果时,可借鉴 PAST-Bench 的控制变量设计:对比开启与关闭记忆时的任务增益,并诊断增益是否来自预期的 save-retrieve-update 路径,避免被模型原生能力或统计偏倚误导。
- 推荐系统的用户状态管理可借鉴 Hermes+ 的五项干预:如遗忘机制处理过期偏好、时序感知检索捕捉兴趣漂移、优先级队列管理记忆容量,防止陈旧信息干扰。
- 在构建持续学习的 Agent 时,应重点应对“条件变化”场景(如用户偏好转换),主动替换而非累积过时状态;PAST-Bench 的更新维度测试可移植用于验证此类机制。
- 如需分析 Agent 框架对经验复用的贡献,可分离基座模型与框架的影响,PAST-Bench 提供跨模型和框架的衡量方式,帮助定位架构瓶颈。
自进化编码代理综述
🧭 Agent 自进化机制与框架
Nanjing University of Science and Technology · Nanjing University
系统综述自进化编码代理,定义概念并提出对象为中心的演变分类法,分析软件工程的天然演进特征与挑战。
📌 工作参考价值(4 点)
- 记忆驱动的推荐策略优化:借鉴编码代理利用历史轨迹复用经验的方法,推荐Agent可记录用户反馈(点击/转化/停留)和推荐上下文,构建可检索的记忆库,在下一次相似场景中直接复用成功策略,减少重复探索成本。
- 工具使用的在线自适应:推荐Agent集成多种工具(如搜索API、用户画像查询),可监控工具调用成功率与业务效果,自动调整工具选择策略或微调调用参数,实现工具链的自进化。
- 反馈驱动的提示词在线更新:将A/B测试或在线指标作为反馈信号,自动优化Agent链路中的提示词(如召回、排序、文案生成),形成闭环自进化,避免人工调参滞后。
- 多Agent协作的动态分工:在多智体系统中(如广告竞价、多目标推荐),根据全局收益定期调整各Agent的权重或协作模式,类似编码代理更新协作结构,实现整体效率演进。
智能体系统的共享选择性持久记忆架构
🧭 Agent 记忆架构 · 选择性持久化 ★ 深度解读
Apple Inc.
将智能体会话中的可复用上下文提炼为四种结构化记忆,丢弃推理痕迹,实现跨会话协同与零Token数据刷新
📌 工作参考价值(4 点)
- 选择性记忆分解:将用户会话中的可复用知识拆分为任务规格、数据模式、工具配置、输出约束四类,丢弃推理痕迹和中间文件。在推荐系统Agent中可类似存储常用API Schema、数据源元信息、输出格式偏好,避免重复提供上下文。
- 零Token数据刷新:通过数据注入合约强制生成代码不硬编码数据,新旧数据模式兼容时可零调用更新结果。适用于定期刷新的报表、BI看板、推荐理由生成等场景,直接替换数据源,大幅降低LLM调用成本。
- 摘要替代原始数据注入:用预计算的统计摘要(列类型、分布、样本行)代替全部数据传入Prompt(~500 tokens vs 48K),显著减少输入Token且提升生成准确率。推荐系统中可将用户画像、物品池统计量以结构化摘要形式提供给Agent,避免长文本引入噪声。
- 协作工作空间与版本控制:工作空间支持Git版本回退和草稿隔离,允许非破坏性探索。可借鉴到多人维护的Agent配置管理,如商品推荐策略模板由不同角色协作编辑,回滚机制保障生产环境安全。
PACMS:即插即用的次模上下文选择引擎,提升长会话LLM Agent问答
🧭 Agent 上下文管理 · 次模优化 ★ 深度解读
Nasiko
提出基于设施选址次模函数的上下文选择方法,在保持回忆的同时将LLM Agent端到端QA准确率提升8~12个点
📌 工作参考价值(4 点)
- 电商对话Agent的长上下文管理:电商客服、导购Agent的会话会累积商品信息、用户意图、工具调用结果,PACMS的做法可直接移植:将所有来源(记忆、对话、API响应)统一为一个候选池,每次模型调用时根据最新查询做子模覆盖选择,优先保留与当前需求最相关的信息,丢弃冗余。
- 推荐解释/文案生成中的上下文压缩:在生成推荐理由或广告文案时,需从大量用户行为、商品属性中筛选关键句,可使用类似设施选址覆盖的贪心选择,在 token 预算内最大化覆盖相关属性,同时自动剔除重复表述。
- 插件化设计支持策略A/B测试:PACMS将上下文选择实现为可替换的引擎插件,通过本地HTTP服务暴露接口,支持多种策略(PACMS、MMR、top-k、last-k)。这种做法可直接照搬,让搜索推荐Agent的上下文组装逻辑与主框架解耦,便于线上快速切换和效果评估。
- 工程优化技巧:嵌入向量缓存常驻服务、失败时回退到简单策略(soft fail)、成本感知的贪心近似,这些实现细节对构建稳定低延迟的在线服务具有参考价值。
通过语言模型函数调用的反思式提示调优
🧭 提示优化 · 反思式优化 · 函数调用 ★ 深度解读
Megagon Labs
用LLM函数调用模拟人类提示工程师的迭代诊断-修订流程,结合结构化反馈与记忆机制提升提示性能与校准
📌 工作参考价值(4 点)
- 诊断-聚类-修订的迭代提示优化:可迁移到电商推荐/Agent系统中的LLM提示词优化,通过函数调用自动收集失败样本、聚类失败模式并生成针对性修订,实现Prompt的自我演进。
- 置信度校准融入优化目标:将Brier Score等校准指标纳入优化反馈与最终提示选择,有助于在电商风险评估、Agent主动退避(abstention)等场景中提升模型自报置信度的可靠性。
- 利用LLM函数调用能力解耦评估与修改:将“跑prompt→收集行为→聚类错误→生成报告”封装为可调用的诊断函数,让优化器专注决策,工程上可实现模块化、可追溯的自动提示调优流程。
- 历史记忆机制避免无效反复:积累历史诊断报告与修订记录,帮助优化器识别顽固错误、避免重复编辑,适用于长周期、多轮次的提示优化任务,如推荐系统召回策略的指令迭代。