OSReward:建立跨平台计算机使用奖励模型的标准化评估基准
🧭 计算机使用Agent奖励模型评估
The University of Hong Kong · Nanjing University · National University of Singapore · University of Science and Technology of China · Xi'an Jiaotong University
揭示VLM评判器普遍存在宽松偏差,并推出低成本开源奖励模型OS-Shepherd实现可靠自动化评估
📌 工作参考价值(3 点)
- 警惕LLM-as-Judge中的宽松偏差:在电商搜索、推荐系统的离线评估或RLHF reward模型中,若直接使用商业VLM作为评判器,可能系统性地将失败案例误判为成功,需通过构建类似OSReward-Hard的对抗样本集进行可靠性校准。
- 用reasoning标注蒸馏小型评估器:借鉴OS-Shepherd的思路,收集专家推理标注的评估数据集,训练7-9B的小模型替代GPT-4o等大模型作为评估器,实现30-60倍成本下降,同时保持高一致性,适合大规模线上监控或离线评估。
- 多维度细粒度评分设计:可迁移OSReward-Multi的评分框架,在推荐业务中将评估分解为效率、对齐、多样性等子维度,便于定位Agent或推荐策略的具体短板。
Kimi K3:开源前沿智能体——2.8T参数MoE模型与强化学习实践
🧭 大规模 MoE 模型前沿训练与强化学习 ★ 深度解读
Moonshot AI
开源2.8T参数MoE模型,融合KDA、AttnRes和Stable LatentMoE架构,通过多领域多推理努力强化学习达到封闭前沿水平
📌 工作参考价值(4 点)
- 强化学习训练范式:部分回滚(partial rollout)方案允许长周期任务跨迭代训练,对搜索 / 推荐系统中基于用户长期反馈的强化学习优化具有直接借鉴意义。
- 多教师在线蒸馏(MOPD):将多个领域、不同推理努力水平的专家策略融合为单一模型的技术,可应用于合并不同排序目标的推荐模型(如点击率、转化率、多样性等)。
- 推理部署优化:全后训练阶段集成的量化感知训练(QAT)及 EAGLE-3 投机解码微调,可降低大模型推荐 / 搜索推理成本,对线上部署有实际工程价值。
- 长上下文架构设计:KDA 与 Attention Residuals 的混合注意力可高效处理超长序列,可迁移至用户行为序列建模,支持更长行为记忆和更精准的长期兴趣提取。
交互式训练2:实时模型训练的可审计控制平面
🧭 交互式训练控制平面
University of Waterloo · University of Wisconsin-Madison
提供开源控制平面,通过共享协议让人类和智能体对训练过程进行实时、可审计的操控
📌 工作参考价值(4 点)
- 在线训练动态调参:在电商推荐模型持续训练中,可以借鉴其声明式暴露学习率、dropout 等设置,让算法工程师或自动调参 Agent 通过统一接口实时调整,无需重启训练任务。
- Agent 驱动的训练编排:将训练控制能力抽象为 Action(如保存检查点、回滚、切换数据源),LLM Agent 可根据监控指标自动决策并提交请求,例如检测到 loss 异常时自动触发回滚和告警,适合广告模型频繁迭代的场景。
- 审计与复现:所有控制请求和结果按时间线记录,可回溯谁在何时做了何种干预,满足工业级模型训练的合规与排障需求,类似模型版本的 Git 日志。
- 工程实现参考:其“训练循环负责安全控制点”的设计模式可直接复用,在现有训练框架中插入轻量级控制平面,避免多控制器并发冲突,保证状态一致性。
面向德语与英语的主权开源混合MoE Mamba Transformer基础模型
🧭 MoE 混合架构 · 多语言主权开源
Fraunhofer IAIS · Technische Universität Darmstadt · DFKI · L3S Research Center · KI Bundesverband
混合MoE与Mamba架构激活3B参数即匹配14-27B稠密模型,长上下文吞吐大幅领先
📌 工作参考价值(4 点)
- MoE与Mamba混合的恒定缓存设计,适合高并发长序列推理,可直接迁移至推荐系统用户长期行为建模,减少线上推理成本。
- 通过故意上调目标语言(德语)的数据采样权重,显著提升下游性能,对于多语言电商推荐场景,可借鉴该策略强化小语种或特定领域效果。
- 完全开放训练数据配比、超参与评估代码,为构建自有可控的业务基础模型提供了可复现的工程范式,适合对数据主权有要求的企业。
- 模型在代码相关任务上突出,若业务需处理搜索词解析、规则匹配等代码生成,可作为微调基座。
AOHP:面向个性化、高效、安全交互的开源OS级代理框架
🧭 OS级代理原生支持
Tsinghua University · Peking University · The University of Hong Kong
将AI代理视为一等OS角色,通过个性化服务组合、高效接口与安全信息流,提升任务完成率21.12%,降低51.55% token成本
📌 工作参考价值(4 点)
- 移动端Agent架构设计:将Agent作为OS一等公民的思路可直接用于电商/购物助手App,实现跨应用(如搜索、商品详情、支付)的无缝服务组合,提升用户转化。
- 降低LLM调用成本:高效代理接口通过系统级能力暴露减少对LLM的频繁调用,在需要多步推理的推荐场景(如对比商品、下单建议)中可显著节省token消耗。
- 敏感数据安全控制:细粒度信息流隔离机制适用于处理用户支付、地址等隐私数据,在推荐系统集成支付或用户画像查询时可借鉴其权限分级策略。
- 真实环境评测基准:开源的AOHP平台可作为移动端Agent能力评测的测试床,用于验证搜索推荐Agent在Android系统中的实际表现与安全合规性。
WebChallenger:基于结构化页面表示与分治策略的高效通用 Web Agent
🧭 Agent 架构优化 · 认知脚手架 ★ 深度解读
ML Collective · longsurf.ai · Independent
通过 PageMem 页面结构化表示与三大认知机制,用开源小模型无微调达到逼近闭源大模型的 Web 任务成功率
📌 工作参考价值(4 点)
- 结构化页面表示 PageMem 可直接复用到电商 Agent:将商品列表页拆分为导航栏、商品卡片列表、筛选面板等语义段,每段缓存摘要和交互元素,后续任务复用,大幅降低重复解析成本。
- 分治观察流水线:先让 Agent 浏览段摘要,只选择任务相关区域展开详细信息;在推荐业务中可避免把整个商品详情页 token 堆进 prompt,聚焦价格、评价、库存等关键信息。
- 离线探索 + 持久记忆:对目标网站预先遍历构建 PageMem 地图和元素行为记录,Agent 在执行任务时直接拿书签和菜单跳转信息,类似 RAG 中的预先索引;适用于长期运行的购物比价 Agent。
- 复合动作工作流:将下拉选择、表单提交等多步交互封装为单个 Agent 动作,内部自动处理局部状态变化(如菜单展开),避免每步重新观察全页;在电商搜索、下单、多轮筛选场景能显著减少决策步数和 LLM 调用
Orchard:开源可扩展代理建模框架
🧭 Agent ★ 深度解读
Microsoft Research · Columbia University · UIUC
提出轻量级环境层 Orchard Env 实现跨领域、跨训练阶段的 SFT+RL 代理训练,在 SWE-bench 和 GUI 基准上达到开源最优