万花筒：真实AI应用的情境化人本评估工作流
🧭 LLM-as-Judge · 人本对齐评估
GovTech, Singapore · National University of Singapore · University of British Columbia
集成角色测试、定制化评分与人类审核的可靠性门控自动评估方法
📌 工作参考价值（4 点）
- 定制化评分标准（Rubric）：将业务目标（如广告合规、搜索相关性、推荐多样性）转化为具体可评分维度，让评估与业务对齐。
- 角色驱动的测试生成：用Persona模拟多类用户行为或查询意图，生成高覆盖测试用例，提前发现策略漏洞。
- 可靠性门控自动化：设定LLM judge与人工标注的一致性阈值，只有达到门槛才切换为自动评分，在节省成本的同时防止偏差累积。
- 迭代评估闭环：结合可审查的人工标签与自动打分，持续校准评分标准，适合需要频繁调整策略的Agent或推荐系统上线前评估。
能源社会：在生存压力下研究LLM智能体合作的模拟环境
🧭 多智能体生存压力下的合作与竞争模拟
University of Southern Denmark · University of Turin
构建极小生存经济模拟环境，揭示推理成本与模型规模挂钩时合作激励如何改变多智能体行为
📌 工作参考价值（4 点）
- 可借鉴'能量消耗与模型规模挂钩'的成本约束设计，用于多Agent推荐系统中的资源分配和预算控制。
- 允许Agent间相互推荐行动（行动建议）能促进协调和任务选择，可应用于分布式推荐Agent的协作机制。
- 记忆模块帮助Agent从历史结果校准风险，可复用到Agent的长期记忆设计，提升决策稳健性。
- 合作激励（如能量捐赠）改变行为模式，可启发在广告竞价或搜索Agent中设计激励对齐策略，避免纯粹自利导致的系统崩溃。
OmniaBench：跨场景通用AI智能体基准测试
🧭 通用AI智能体多场景评测基准
Huawei Cloud Post-Training Team · PKU DCAI Team
构建覆盖ToC/ToB/ToE多领域、支持细粒度能力评估的通用智能体基准，前沿模型Pass@1仅约58%
📌 工作参考价值（4 点）
- 多领域评测维度复用：OmniaBench 从应用商店、产品文档等提炼的 90 个一级领域、354 个二级领域的层次化分类，可直接迁移到电商场景，构建覆盖商品搜索、客服对话、营销文案生成等不同业务子领域的 Agent 评测框架，确保评估广度。
- 能力诊断框架借鉴：十维能力分类（如规划、工具调用、约束维持）和八种原子难度因子可用于拆解搜索推荐 Agent 的关键短板，例如诊断是意图理解不足还是工具选择错误，针对性优化模型训练或 prompt 设计。
- 任务合成方法迁移：DAG/Solver/Program 等合成路线可辅助自动化生成电商多轮交互测试用例（如退货流程引导、多条件商品筛选），减少人工设计成本，特别适用于验证 Agent 在长链路、约束复杂场景下的表现。
- 工程化启示：基准揭示前沿模型在自适应纠错、状态追踪上的普遍局限，提示在构建生产级推荐对话 Agent 时，需显式加入外部状态管理模块或校验步骤，而非单纯依赖模型自身能力。
Plover：以计划为中心的人机协同 GUI Agent 系统
🧭 GUI Agent 的可监督规划与交互修正
University of California, Davis · Bosch Research North America
通过将任务计划外化为可编辑的交互工件，让用户能局部修正 Agent 行为而保持进度
📌 工作参考价值（4 点）
- 在业务 Agent 中暴露执行计划：对搜索推荐系统的多步调用（如意图解析→召回→排序→文案生成），可将内部步骤结构化为可读的计划树，让产品或运营人员实时查看、暂停或修改中间决策。
- 支持局部编辑与进度保持：当 Agent 某一步出错（如误判意图），允许直接编辑该步参数或替换子任务，而不丢弃已完成的有效步骤，避免全盘重试带来的延迟和算力浪费。
- 结合自然语言与界面截图交互：对于电商后台配置、广告创编等 GUI 密集型任务，可以借鉴自然语言指导与截图标注干预，让领域专家无需懂代码即可修正 Agent 行为。
- 借助失败案例分析改进 Agent 设计：通过显式记录计划执行轨迹，分析哪些步骤易出错，定向优化提示或模型，或积累常见修正模式用于主动提示用户或自动修复。
RecGPT-V3：状态化混合模态推荐系统技术报告
🧭 生成式推荐 · SID · 记忆与效率优化 ★ 深度解读
Taobao
通过记忆中心、混合模态SID和潜在推理，线上IPV+1.28%、CTR+1.00%、GMV+3.97%，成本降52.4%
📌 工作参考价值（4 点）
- 用户记忆压缩与增量更新：用 LLM 将用户长期行为压成结构化记忆单元（行为模式+偏好摘要），每两个月增量更新一次；线上推理时只输入压缩记忆+近期行为 delta，用户建模计算降低 55.8%。可直接迁移到电商用户画像存储与动态更新，避免每次请求重读全量行为。
- 混合模态 SID 打通意图到物品的管道：通过多模态对比学习 + RQ-VAE 为每个物品生成两层 Semantic ID（65K 词表），作为第二模态注入 LLM 词汇表，与文本联合训练。模型直接输出 SID 而非粗糙标签，大大降低信息瓶颈，让召回更精准。适合将物品侧协同信号与语义理解结合。
- 潜在推理替代显式 CoT 降本增效：用最多 10 个可学习潜在 token 替代平均 ~3K 的显式思维链，通过多粒度掩码重构训练保持推理能力，同时输出可解码回可读文本保障可解释性。输出 token 成本降 200 倍，特别适合高 QPS 线上场景。
- RLRF 让离线训练对齐线上目标：用线上排序模型 top-100 的平均 CTR Score 作为强化学习奖励，替代稀疏的 HitRate 奖励，使模型直接优化业务指标，且与在线 pipeline 一致。可复制到其他场景将离线代理目标改为线上可观测的业务信号。
SAGA：面向智能体 Text-to-SPARQL 的模式感知接地框架
🧭 Agent 交互式 SPARQL 生成 · 模式感知接地
The University of Tokyo · National Institute for Materials Science · RIKEN Center for Advanced Intelligence Project
提出 SAGA 训练无关框架，通过模式约束接地解决智能体 SPARQL 生成中的类型盲问题，显著提升 KBQA 性能并消除空查询。
📌 工作参考价值（4 点）
- 在电商搜推场景中，若利用 LLM Agent 与商品知识图谱交互生成推荐理由或查询，可引入类型约束（如商品类别、属性域/范围）过滤不可能的属性，避免返回空结果。
- 借鉴 SAGA 的双向类型状态（bidirectional type state）机制，在 agent 每一步推理后即时更新实体与属性的类型兼容性，缩小后续接地搜索空间。
- 以紧凑的模式注释格式（schema-annotated format）向 LLM 展示剩余合法属性，减少 token 开销并提升生成准确率。
- 对图谱中缺失的模式信息，可结合历史轨迹局部证据和经验统计宽容处理，适应真实业务图谱的不完整性。
SceneBind：跨视觉、音频与语言的语义-空间绑定表征
🧭 多模态语义-空间场景表征
University of Washington · University of Texas at Dallas · Hankuk University of Foreign Studies
提出一种全模态场景表征，联合语义与3D空间理解，实现跨模态检索与目标定位
📌 工作参考价值（4 点）
- 电商多模态商品理解可参考：将商品图片构建为对象级语义-空间槽位（如衣服的款式+空间位置），提升跨模态检索的细粒度匹配。
- 轻量级空间建模（仅增加少量 token）的设计，适合对已有预训练语义编码器（如 CLIP）做低成本空间扩展，可直接迁移到商品 3D 展示或 AR 试穿中对象位置的理解。
- 语义-空间匹配（全局相似度+对象对齐）的思路可用于推荐系统的多模态融合，例如在视频推荐中同时对齐标题语义与画面中物体的空间关系。
- Agent 在真实环境中的空间感知：将环境抽象为对象槽位，可提升 Agent 对“什么地方有什么”的理解，适合电商客服 Agent 在对话中引用商品图片位置信息。
SeerGuard：基于世界模型预测的移动GUI Agent安全框架
🧭 Agent安全框架 · 世界模型预测
JIUTIAN Research
通过预执行指令筛查与动作风险评估，结合多任务世界模型，显著提升GUI Agent的安全效用并降低风险成本
📌 工作参考价值（4 点）
- 在 Agent 流程中集成预执行动作风险评估模块，利用世界模型预测后续状态和风险，可拦截支付、删除等高风险操作，避免不可逆后果。
- 借鉴多任务学习构建安全增强世界模型（SAWM），同时优化语义下一状态预测与安全评分，提升风险评估的准确性和泛化性，可迁移至电商购物 Agent 的安全审核。
- 指令级高风险任务筛查作为第一道防线，快速拒绝“转账”“清空购物车”等敏感指令，降低系统整体风险暴露。
- 引入安全-效用得分（SUS）和风险成本得分（RCS），为 Agent 安全与性能的平衡提供可量化的评估指标，适用于推荐或对话 Agent 的安全测试。
生成式 AI 能否超越监督 XMLC？德国科学文献自动主题标引基准研究
🧭 多标签分类 · 长尾标签生成
Deutsche Nationalbibliothek
在极多标签分类中，整体指标监督 XMLC 更强，但长尾与分级相关性上 LLM 生成式方法更优
📌 工作参考价值（4 点）
- 电商商品打标存在大量长尾属性（如小众品类、风格标签），可尝试用 LLM 直接生成标签候选，再结合现有分类器做过滤或置信度控制，提升长尾覆盖率。
- 对于标签体系极大（百万级）且分布极不均衡的场景，传统 XMLC 方法的二进制指标更优，适合高精度自动打标；LLM 生成在需要人工审校的分级相关性场景中更友好，可考虑混合流水线：先用 XMLC 出高置信度标签，再用 LLM 补充长尾标签。
- 论文中使用的 LLM 生成策略（如基于指令微调、少样本提示）可作为构建推荐系统标签生成模块的起点，尤其在冷门商品或新类目自动打标时，可快速冷启动。
- 在评估阶段引入专业标注员的分级相关性判断，比单一自动评测更能反映业务真实价值。电商标签推荐也可设计类似人工评估环节，衡量标签的可用性而非仅命中率。
Symbal：检测模型生成图像描述中的系统性错位
🧭 多模态生成内容审计·系统性错位检测
Stanford University · HOPPR
利用现成基础模型双阶段审计 MLLM 生成标题的系统性错误，实现 63.8% 准确率，比基线提升近 4 倍
📌 工作参考价值（3 点）
- 可借鉴双阶段自动审计范式：先利用 CLIP 等现成模型聚类潜在错位模式，再用 LLM 总结为自然语言描述，用于电商商品图文一致性审计或广告文案质量检查，无需重新训练。
- SymbalBench 的构造思路可复现到电商场景：通过组合视觉特征和人为标注的错误模式，构建特定领域的系统性错误检测基准，加速业务多模态模型验收。
- 发现特定视觉特征（如黑色皮肤、医疗设备）与固定错误 caption 关联的统计方法，可迁移到推荐场景中检测特定用户群或商品类目的系统性偏差。
T2MLR：带时序中层循环的 Transformer
🧭 中层时序循环增强Transformer隐式推理
Princeton University · Princeton Language and Intelligence
在Transformer中层引入跨时间步的隐状态循环，缓解自回归信息瓶颈，提升推理性能
📌 工作参考价值（4 点）
- 可将中层循环引入现有LLM，通过微调提升多步推理任务性能，无需重新预训练，适合在已有Agent系统中以低成本增强模型推理能力。
- 局部循环设计（仅对20%的中间层做递归）既有效又轻量，可作为工程优化思路：在微调大模型时只改装关键的中间层块，减少额外计算开销。
- 隐状态跨步传递的机制可借鉴到需要跨轮次保持中间运算状态的应用，如对话Agent的长期上下文理解、多轮谈判策略规划等。
- 实验表明，改装1.7B模型并微调即可大幅提升数学推理，该方法也可尝试用于电商搜索中的复杂意图解析或多条件过滤推理。
掩码感知策略梯度：面向扩散语言模型的强化学习
🧭 扩散语言模型 · 强化学习训练
The University of Texas at Austin
将扩散语言模型生成分解为“选词”与“选位置”两步，策略梯度自然拆分成两项，联合优化在数学与代码推理上达到SOTA
📌 工作参考价值（4 点）
- 对电商/推荐中使用非自回归生成（如扩散模型生成商品序列或文案）有直接啓发：可将生成过程建模为两阶段 MDP——“生成什么 token”与“在哪些位置生成”，分离梯度后能更稳定地优化序列质量。
- 在 Agent 多步决策场景，如果动作包含“执行什么操作”和“在哪个目标上执行”，可借鉴本工作的动作空间分解，用对应的 mask 策略网络显式建模顺序决策，提升复杂任务表现。
- 工程实现上，可对现有 GRPO/PPO 等 RL 训练框架做简单改造：在计算每步 log 概率时，将 token 预测的 log-prob 与 mask 选择的 log-prob 相加，同时优化两个头，无需大幅改动训练管线。
- 该方法表明扩散生成的去掩码顺序严重影響效果，在线 RL 训练时联合学习生成顺序，比固定随机顺序有明显的增益（GSM8K 提升+2.5%），这提示我们在生成式推荐中，如果采用逐步生成，也应将生成顺序作为可学习策略，而非预定义。
有限显存下的长上下文微调：结合分层全局注意力与分段反向传播
🧭 长文本微调显存优化
BMW Group
用分层全局注意力、分段反向传播和分级KV缓存，在16GB显卡上将可训练上下文长度从2K扩展到16K，评估时支持131K tokens
📌 工作参考价值（4 点）
- 在电商推荐场景中，用户长期行为序列或长商品描述经常超过2K tokens，本方法可直接用于消费级GPU（16GB）上微调长上下文模型，大幅降低硬件门槛。
- 分段反向传播与历史KV转存RAM/NVMe的策略，可以借鉴到其它长序列训练中（如序列推荐模型），将不可微历史状态移出显存，只保留当前段可训练，节省显存。
- HGA通过为每个查询块加载有限的历史token，保持每个token的关注量近似恒定，训练速度随上下文长度线性增长，而密集注意力是二次增长，这一特性可在在线学习或增量训练Agent时提升效率。
- 训练得到的适配器可与标准密集注意力生成框架兼容，这意味着可以将高效的HGA训练与成熟的推理引擎结合，在保证模型质量的同时让推理也受益于长上下文。
预训练 LLM 的原地分词器扩展方法
🧭 LLM 分词器工程 · 多语言高效推理
Liquid AI
通过继续 BPE 合并和两阶段微调，无需重训即可扩展分词器，将低资源语言 token 数压缩 2-4 倍，解码提速 2.2-3.7 倍
📌 工作参考价值（4 点）
- 需要支持新语言或新增领域词汇（如电商术语、产品 ID）时，可沿用原分词器继续做 BPE 合并，避免重建词典和重新预训练
- 新 token 嵌入用已有子 token 嵌入的均值初始化，能加速收敛，此技巧可迁移到推荐系统新增 Semantic ID token 的场景
- 两阶段适应：先冻结主干仅训练嵌入层，再全模型继续预训练，可降低迁移成本，适合在线模型热更新
- 端侧部署的推荐 Agent 或对话模型可通过分词器扩展减少 token 碎片，直接降低解码延迟与能耗
在线策略增量蒸馏
🧭 LLM训练 · 推理蒸馏
NAVER AI Lab
用教师与其基模型输出的差异（delta信号）替代直接模仿，更高效传递推理能力增益
📌 工作参考价值（4 点）
- 在基于LLM的推荐或Agent模型中，可以将教师模型设置为经任务指令微调的强版本，基模型为原始预训练版本，蒸馏时拟合两者输出logits之差（delta信号），更聚焦于任务特定的推理模式迁移，避免直接模仿可能引入的冗余信息。
- 对于对话式推荐或多步推理Agent，delta信号能显式捕捉“推理策略增益”，训练更稳定，且论文表明仅需短暂后训练即可大幅提升性能，适合业务快速迭代。
- 若搜索推荐业务中使用强化学习（如RLHF）存在奖励设计困难或训练噪声大，可尝试OPD²替代，直接用token级监督，工程实现简单，无需单独的价值网络或偏好数据。
- 蒸馏过程中需要教师和基模型的双重前向计算，实际部署时可缓存基模型在训练数据上的输出分布，减少计算开销。