LogbQuant：在Log空间中量化语言模型
🧭 对数空间量化 · 权重压缩
Technical University of Munich
提出可调基的对数量化方法，在4-bit下性能优于非对称线性量化，适合消费级GPU
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景中，若需本地部署LLM（如商品描述生成、对话式Agent），可尝试用LogbQuant做4-bit量化，在单张消费级GPU上运行，降低显存占用同时保持生成质量。
- 对数量化对存在少数大幅度权重的层（如FFN上投影）天然友好，可针对此类层单独使用对数域量化，或混合线性量化（例如关键层保留线性，其他层用LogbQuant）。
- 可调基数b的思想可迁移到其他量化场景：对不同张量/层自动搜索最优基数，以匹配各异的权重分布，提升整体精度。
- 实现上，查询表（LUT）与位打包可带来推理加速，适合对延迟敏感的在线推荐服务（如实时重排序或即时文案生成）。
MemSyco-Bench：评估智能体记忆中过度迎合的基准
🧭 Agent 记忆评估 · 过度迎合基准
Xiamen University · Jilin University
首个系统评估 LLM Agent 长期记忆引发过度迎合的基准，揭示记忆常损害推理准确性
📌 工作参考价值（4 点）
- 记忆安全设计：在电商推荐或对话 Agent 中，历史交互记忆会让模型过度迎合用户偏好，牺牲事实准确性。可借鉴论文的五类任务，构建内部评估集，定期检测记忆是否导致系统偏离客观推荐策略，例如通过对抗样本检验 Agent 是否因记忆中的错误偏好而推荐不相关商品。
- 记忆生效范围控制：明确区分“可个性化的事实”与“客观不变的事实”。可设计记忆更新时打标签，限制记忆在价格、库存等动态信息上的影响力，避免 Agent 机械套用过期记忆。
- 冲突解决机制：当用户实时输入与历史记忆矛盾时，要求 Agent 优先采信最新证据。可引入类似“记忆置信度”或显式冲突检测模块，如设置规则：当检索到的记忆与当前查询的客观参数冲突时，触发重确认流程。
- 记忆更新时的回测：每次修改记忆库后，用历史会话重放测试，监测 Agent 是否出现迎合性漂移，防止记忆累积导致推荐策略越跑越偏。
面向内存高效自回归视频生成的实例特定参数吸收方法
🧭 自回归生成 · 参数化KV缓存压缩
Institute of Information Engineering, Chinese Academy of Sciences · The University of Hong Kong · AMAP, Alibaba Group
ISPA首次将KV缓存压缩从丢弃转变为实例级参数蒸馏，在视频生成中实现50%缓存缩减且质量无损
📌 工作参考价值（4 点）
- 在推荐系统的长序列Transformer或生成式推荐模型中，可借鉴ISPA将部分层转为局部注意力，并通过最小二乘将历史缓存吸收到权重中，节省推理内存。
- 预热阶段监测全注意力和局部注意力的输出差异来确定转换点，可用于Agent对话历史压缩，动态决定何时将旧上下文编码进模型参数。
- 闭式解的权重调制无需重新训练，适合在线推理时实时进行缓存压缩，可直接集成到现有KVCache管理的工程框架中。
- 对于电商场景的实时生成（如商品描述、直播推流），用ISPA减少视频/文本自回归生成的KV缓存，提升吞吐。
PACE：用原子评估低成本预测 Agent 能力的代理基准
🧭 Agent 评估 · 代理基准构建
Carnegie Mellon University · Salesforce AI Research
从非 Agent 原子评估中选取少例子集构建回归代理，预测 Agent 基准得分，成本低于 1% 且 MAE < 4%
📌 工作参考价值（4 点）
- Agent 选型与模型路由的快速筛选：面对 SWE-Bench、GAIA 等高成本 Agent 评测，可在内部构建 PACE 类代理，用小批量原子任务（指令跟随、工具调用等）快速预估候选模型或变体的 Agent 能力，避免全量昂贵评测，适合电商搜索/推荐 Agent 的 A/B 前筛选。
- 实例选择策略可迁移至推荐离线评估：PACE 的“目标相关局部选择 + 全局信息选择”组合，可借鉴到推荐模型的召回/排序评估中，从海量物品中选择少量 proxy items，以低成本近似在线指标。
- 解耦 Agent 能力画像：通过分析所选代理实例，可识别特定 Agent 基准（如工具使用、长程规划）对哪些原子技能最敏感，指导电商 Agent 训练时针对性地补强薄弱环节。
- 工程落地轻量：仅需线性回归，无需复杂模型，适合在 CI/CD 中集成，作为每次模型更新的快速健康检查，成本几乎可忽略。
情感驱动自纠正：免训练提升视觉语言模型可靠性
🧭 情感信号触发VLM自纠正
University of Information Technology, Ho Chi Minh City · Carnegie Mellon University · Harvard University · Northwestern University · Mohamed bin Zayed University of Artificial Intelligence
发现情感信号可零训练激活VLM自我反思，提出外部验证+情感提示的免训练自纠框架ESC
📌 工作参考价值（4 点）
- 在对话推荐/商品问答中，当模型首次回复可能不可靠时，注入情感提示（如“再仔细想想，这个推荐似乎有问题”）触发自我纠正，提升解释质量。
- 无需微调，低成本增强多模态模型在商品图片理解、广告文案生成等场景的准确性，尤其适合资源受限的线上系统。
- 结合简单的验证器检测潜在错误响应，可作为Agent内部反思模块，在输出前自动触发二次推理，减少事实错误和幻觉。
- 情感作为控制信号的想法可迁移至用户交互设计，例如用户不满时自动触发模型重新生成更谨慎的回答，改善体验。
权重即程序：一种模糊函数的编程范式
🧭 编译器-解释器范式 · 模糊函数编译为 LoRA ★ 深度解读
University of Waterloo · Cornell University · Harvard University
用 4B 编译器将模糊任务规格编译成小 LoRA 程序，0.6B 解释器执行可超 32B 模型提示且省 50× 内存
📌 工作参考价值（4 点）
- 模糊函数本地化：将需要反复调用的模糊判断（如意图分类、文案审核、查询质量过滤）编译为 0.6B + LoRA 小程序，在本地 CPU/GPU 上以 30 tok/s 运行，摆脱对 API 的依赖，成本与延迟骤降。
- 编译器-解释器架构：借鉴其“编译一次，本地无限执行”的模式，对固定模糊任务（如搜索意图重排的打分函数）可事先用 4B 模型生成 LoRA 权重，后续调用只需加载 23MB 适配器，无需远程调用。
- 伪程序去噪：他们在规格输入阶段用 4B 编译器将噪声规格重述为清晰伪程序，再喂给小解释器，大幅提升小模型对错别字、口语化规格的鲁棒性。在用户输入的任务描述不规范时可采用类似预处理。
- 工具调用管道：论文中将多个 PAW 程序串联实现复杂的工具路由（93% 准确率），可类比推荐系统中的多步预处理或过滤管线，每个环节编译为独立 LoRA，按需组合，灵活升级。
QuasiMoTTo：准蒙特卡洛测试时扩展
🧭 QMC 相关采样 · 推理与RL 样本效率 ★ 深度解读
Stanford University
用准蒙特卡洛相关采样替代独立采样，推理与RL训练中样本效率提升25-50%
📌 工作参考价值（4 点）
- 在推荐排序/agent 推理的 beam search 或并行采样中，可用 lattice QMC 生成更均匀覆盖的候选集，减少冗余生成，维持每条候选的边缘分布不变（即仍是原策略的准确样本），从而在相同成本下提升 recall 或 pass@k。
- 在策略梯度训练（如 GRPO）中，通过 QMC 采样提高组内样本多样性，可以降低零方差组的比例，增大有效梯度样本数，加速收敛；可尝试在广告竞价策略或推荐对话策略训练中引入。
- 算术编码的逆 CDF 采样方法本身实现了低 overhead 的并行生成，可复用到任何需要高效并行生成的场景（如搜索召回时的多条 query 改写）。
- 对于已有独立采样的系统，QMC 采样是几乎零成本的 drop-in 替换，仅需在 batch 生成前生成均匀随机数并传递给解码器，不改变模型推理逻辑。
RACORN-1：低选择性过滤向量搜索的自适应保召回加速方法
🧭 过滤向量搜索 · 图索引保连通
Naver Corporation
通过自适应搜索回退和精确回退修复ACORN-1在极低选择率下的召回崩溃，延迟降低9-26倍
📌 工作参考价值（4 点）
- 可复用的自适应桥接机制：在带过滤条件的向量召回中（如电商按类目、价格区间过滤），当过滤后节点稀疏导致图断开时，可借鉴ASF思路：将未通过过滤的节点转为“临时桥梁”，通过步长采样(strided sampling)增加空间多样性，既保连通又控延迟。
- 工程实现中的召回-延迟折衷：在推荐/搜索的HNSW索引上做低选择率过滤时，可直接应用RACORN-1的本地扩展，无需重建索引；在极低选择率（<0.1%）场景下结合AEF动态切换到线性扫描，实现召回1.0且20-75倍加速。
- 对抗过滤-查询负相关：电商中常见“冷门品牌+语义相似”查询会导致图索引严重断开；RACORN-1在这种负相关评测中将召回从0.08-0.41拉升至0.80-0.98，同时延迟比HNSW低5-9倍，为长尾检索提供了鲁棒方案。
- 适用于向量库自研/选型：业务自研向量检索引擎或评估开源方案时，可参考其分阶段跌退策略（ASF先尝试桥接，再AEF保证召回），便于在召回率和延迟间设置安全边界。
如何分配你的 Tokens？带训练步数与批量大小的缩放律
🧭 训练缩放律 · 显式分离步数与批量大小
Inria, École Normale Supérieure, PSL Research University, Paris
提出三项式缩放律，显式分离训练步数和批量大小，用更少实验恢复最优批量并推导次优批量缩放律
📌 工作参考价值（4 点）
- 在推荐/搜索大模型训练中，可利用三项式缩放律预测最优批量大小，减少超参搜索成本，直接根据总 token 预算分配模型大小、步数和批量。
- 当训练数据（如用户行为序列）总量固定时，通过权衡训练步数和批量大小，可在有限资源下达到更优损失，例如在生成式推荐模型微调时，若数据稀缺，可减小批量以增加步数来提升效果。
- 该缩放律允许利用次优批量下的实验点进行拟合，工程上只需少量试跑即可估算资源最优配置，适合多业务线（广告、搜索、推荐）快速探索。
- 推导的次优批量缩放关系可用于设计动态批量策略，例如在训练前期用小批量快速收敛，后期加大批量稳定训练，提升整体效率。
如其所是：用历史用户偏好对齐LLM搜索评估
🧭 行为接地增强LLM搜索评估 ★ 深度解读
Spotify
提出行为接地（QRI卡片）LLM法官，用极简的去偏交互摘要提升搜索评估与用户偏好的一致性
📌 工作参考价值（5 点）
- 电商搜索评估可直接复用 QRI 卡片：对每个候选商品聚合历史上相似查询的点击/加购/转化率（经 IPS 去偏）与曝光量，作为 LLM 评判时附带的「行为证据卡片」。尤其对长尾查询或歧义词（如“苹果”），能有效约束语义偏差，提升评估与线上指标的一致性。
- 用简易 IPS 获得轻量级去偏信号：工程上只需一个单调的位置倾向曲线即可计算无偏相关度，无需复杂 click model，适合高时效性系统快速上线。
- Prompt 设计上强调辅助而非替换：明确要求 LLM 将 QRI 视为支持性上下文而非直接答案，仍以语义推理为主，仅在歧义或平局时才启用行为信号，防止历史偏见过度主导。
- 离线评估替代线上 A/B：论文证明行为接地法官与线上胜负方向的 alignment 提升（30.6%→36.8%），可加速模型迭代，降低实验成本。关键要保证行为证据窗口与评估窗口无时间重叠，避免数据泄露。
- 多语言场景增益显著：多语言人工标注集上，接地后相关性提升+15%，对跨境电商/多市场搜索评估尤其值得尝试。
双层神经架构搜索优化推荐系统个性化解释
🧭 可解释推荐 · 神经架构搜索
Virginia Tech · Google · Amazon
通过双层NAS同时优化注意力与特征交互，并集成LLM生成个性化推荐解释，提升准确性与解释质量
📌 工作参考价值（4 点）
- 将NAS用于搜索推荐解释模型的最优结构，自动设计特征交互与注意力机制，避免手工调参。
- 利用LLM零样本提示生成解释，结合用户特征偏好与物品属性对齐，可快速实现个性化推荐理由。
- 双层搜索空间（intra-layer和inter-layer）可迁移到电商推荐中优化多模态特征融合的解释头。
- 该方法在提升推荐准确度的同时改善解释质量，适用于商品详情页的“为什么推荐”模块，提升点击率和信任度。
SkillCoach：自演化量规评估与增强 Agent 技能使用
🧭 Agent 技能使用的过程评估与自我演化量规 ★ 深度解读
HKUST(GZ) · JD.COM
提出自演化量规框架，从技能选择、遵循、组合与反思四个维度诊断并提升 Agent 在含干扰项库中的技能使用能力
📌 工作参考价值（4 点）
- 过程与结果解耦诊断：在 Agent 系统中将外部验证器（最终结果）与过程评估分离，用轨迹级别的技能选择、步骤遵循、组合正确性和反射检查四个维度定位故障，避免仅用成功率掩盖错误的技能调用或跳步。
- 自演化量规作为数据过滤器：用自我演化的量规筛选 SFT 训练轨迹，要求轨迹同时满足过程质量分≥0.95 且通过验证，显著优于仅用结果过滤，可迁移到电商导购、广告脚本执行等技能驱动场景，提升训练数据质量。
- 干扰项压力测试实用价值：在技能库中混入语义相似但无关的干扰技能，评估 Agent 的技能选择退化边界与崩溃点；电商搜索/推荐中的意图路由、工具选择可借鉴这种方法，提前发现模型在候选集膨胀时的脆弱性。
- 维度级消融指导训练重点：实验表明去除关键步骤遵循损失最大、组成顺序次之，反射较弱，可据此调整过程监督的维度权重或设计分步训练策略，重点关注步骤遵循与技能选择。
Theoria：基于重写-可接受性验证的非形式化推理状态验证架构
🧭 结构化推理验证 · 可审计证明痕迹
Independent Researchers
将LLM推理改写为显式状态转换链，强制每一步必须有可审计的理据，暴露隐藏前提与编造引用
📌 工作参考价值（4 点）
- 推荐理由可审计：将推荐系统的解释生成建模为多步状态转换，每步必须关联可验证的理据（如商品属性、用户行为序列），避免幻觉式推荐语。
- Agent 行动序列验证：在电商 Agent 链式决策中，要求每一步环境状态变化都有明确许可依据（工具返回、规则引用），未授权变动立即报警，提升可靠性。
- 对抗鲁棒性增强：借鉴“完整性约束”思想，对搜索推荐流水线中 LLM 输出进行结构化后验，重点检测隐藏假设与编造信息，尤其适用于高可信场景如金融推荐或处方建议。
- 人机协同审查：生成可独立挑战的证明轨迹，支持人工审核员快速定位推理瑕疵，可集成至推荐系统的可解释性审核环节。
通过分布级奖励优化视觉生成模型
🧭 分布级奖励与RL微调
University of Science and Technology of China · Shanghai Innovation Institute · Hunyuan Frontier Lab, Tencent · National University of Singapore
用分布级奖励替代逐样本奖励以缓解奖励黑客和模式崩塌，并提子集替换策略与RL优化模型合并系数
📌 工作参考价值（4 点）
- 生成式推荐常因逐样本奖励导致多样性坍塌（如仅生成头部商品），可借鉴分布级奖励：在 batch 级别设计奖励，衡量生成结果与真实用户行为分布的匹配（如类目覆盖率、长尾占比），抑制奖励黑客。
- 子集替换策略：在大规模候选集评估时，可动态更新一小部分样本（如 5%）来近似真实分布奖励，降低在线计算开销，适用于推荐模型中的常驻评估集或在线 RL 的 reward normalization。
- RL 优化模型合并系数：对于多目标融合（如点击率、转化率、多样性）的推荐模型，可学习后验合并系数以平衡各奖励项，缓解训练-推理不一致，尤其适合 LoRA 合并或多专家集成。
- 分布对齐视角可迁移到推荐策略的多样性控制：将用户交互分布视为真实分布，通过分布奖励直接优化生成策略的宏观统计属性，避免微观过拟合。
WARP：从权重空间恢复训练数据组合
🧭 权重空间几何分析 · 数据配比推断
University of Wisconsin-Madison
仅凭模型权重即可恢复微调时的领域混合比例，无需训练数据或训练轨迹
📌 工作参考价值（4 点）
- 推断微调推荐模型的数据配方：拿到一个第三方发布的推荐模型（如商品表示模型），可以用 WARP 反推其微调时所用数据集的领域构成（如服饰、电子、家居比例），判断是否偏离我方场景。
- 检测数据泄露与分布漂移：将线上模型与基础模型做权重插值，观察权重空间几何足迹，可快速发现模型是否在敏感数据上做过微调，辅助合规审计。
- 指导增量训练的数据采样：当需要继续微调开源推荐模型时，先恢复其原始训练数据的领域配比，据此调整自己的数据采样策略，避免灾难性遗忘或能力坍缩。
- 简易实现：只需基础模型和微调模型权重：不用访问原始训练数据或中间检查点，仅通过模型融合生成伪检查点，再用几何特征（如权重差向量的角度、长度）和线性映射即可推断，工程成本低。