基于 IRT 的 Rubric 校准偏好：跨查询统一 LLM 评判尺度
🧭 LLM 评判校准 · IRT 跨 query 尺度统一 ★ 深度解读
Cohere
用 IRT 将 LLM 的 listwise 偏好与共享 rubric 校准为跨 query 可比的连续相关性分数
📌 工作参考价值（4 点）
- 离线评估：商品/广告 reranker 的人工 qrels 稀疏、噪声大，可对候选池一次性跑两阶段 LLM judge 产出连续 gain，作为新模型离线指标，避免每轮人工标注。
- IRT 校准可复用：任何 LLM 相对偏好（pairwise/listwise）都能通过共享 rubric 的 τ_j、α_j 映射到统一 logit 尺度，使跨 query/campaign/类目分数可比；在电商多 query 聚合排序、Agent 工具选择评估中可直接套用。
- rubric 设计：5 个递增 yes/no criteria（主题相关→信息有用→属性匹配→直接回答→深度覆盖）比单一有用性更稳；业务可自定义准则，并筛选 discrimination/difficulty 合理的准则。
- 工程实现：BT tournament 窗口 w=10，先随机后按估计质量抽窗；Stage B 多次重复取 pass share；离线 label 池固定后，新模型只需重排候选即可算 RCP-nDCG，成本集中在一次 judge 标注。需注意 LLM judge 可能与 LLM 训练的 reranker 有偏好耦合，上线前用盲评人工子集校验。
当智能体减速：通过每 token Elo 分析理解 LLM 智能体的测试时策略
🧭 Agent 测试时计算缩放分析
UC Berkeley · University of Washington · Princeton University · Bespoke Labs
提出 Elo-per-token 分析量化 LLM Agent 测试时计算缩放，发现边际收益递减且拆分并行预算更优
📌 工作参考价值（4 点）
- 对搜索/推荐 Agent 的多步推理或工具调用，可以用 Elo-per-token 曲线监控 token 投入的边际收益，而不是只看最终指标；在边际收益低于独立采样参考线时及时停止或调整策略。
- 独立采样参考线是简单有效的 baseline：如果 Agent 的规划、反思、工具调用不能稳定跑赢重复采样，说明额外复杂度没有带来 token 效率，可考虑简化 Agent 流程或增加采样并行度。
- 利用 scaling inflection point 分配长任务预算：将总 token 预算拆成多个并行 sessions 可能比一个超长 session 获得更高 Elo，对线上高并发 Agent 服务的请求拆分和成本控制有直接指导意义。
- Bradley-Terry 聚合跨任务分数排序的方法可以迁移到电商多指标评估，处理不同 reward 尺度下的成对比较，适合离线评测 Agent 生成物品文案、搜索 query 等开放任务。
多智能体编排的奖励建模
🧭 多智体编排 · 奖励建模 ★ 深度解读
Rutgers University · Salesforce AI Research
提出编排级奖励模型 Orch-RM，用自监督偏好对训练，无需人工标注和子 Agent 全量执行，显著提升测试时缩放和编排器训练的效率与效果
📌 工作参考价值（4 点）
- 编排级奖励信号直接用于推理：Orch-RM 在编排层面评分，无需执行子 Agent 即可选择最优编排方案，将 BrowseComp 验证成本从 142.8M token 降至 8.26M，准确率还提升 1.5%。电商多 Agent 场景（如客服路由、推荐流程编排）可借鉴，在低延迟要求下用轻量奖励模型筛选高质量协作图。
- 利用训练中间产物构造偏好对：从训练检查点和轨迹中自动构造“专用优于基础”和“正确优于错误”两类偏好对，无需人工标注。业务中若已有多 Agent 训练日志，可直接复用该自监督构造方法，大幅降低评估器标注成本。
- 奖励模型指导继续训练：Orch-RM 替代全轨迹 GRPO 的稀疏奖励，在 AIME 24&25 上使用约 1/10 的训练 token 取得 3% 的 majority vote 提升，BrowseComp 上更以 1/46 token 量实现 2% 提升。对于需要频繁迭代的编排策略模型，可大幅节省训练算力。
- 域特定奖励模型可迁移：论文训练了数学、Web QA 等域特定奖励模型，并在 GPQA（科学推理）上验证了跨域泛化能力。电商多域（推荐、搜索、客服）可分别训练编排评估器，或探索多域融合的统一奖励模型，降低重复训练成本。
基于LLM的分层偏好排序重新思考销售线索评分
🧭 销售漏斗转化预测 · 学习排序 · 偏好优化 ★ 深度解读
Li Auto Inc.
将稀疏转化标签转化为漏斗层级偏好对，结合LLM语义理解与边际感知Bradley-Terry目标，实现线索的精确排序与校准
📌 工作参考价值（4 点）
- 漏斗层级偏好对构建：借鉴将用户行为序列转化为偏好对（如加购>浏览>点击）的思路，在电商推荐中可利用用户行为深度构造软标签，配合边际参数表达业务知识（如高意向行为给予更大margin），缓解长周期转化中正负样本粗糙的问题。
- 三头LLM判别式架构：语义头（防止遗忘）、点估计头（校准）、排序头（相对序）的联合设计可迁移到Agent多任务场景：在LLM基础上挂接多个预测头，用不同的损失函数同时优化生成、校准和排序能力，配合差异化学习率避免过拟合。
- LLM+LoRA提取文本表示注入传统模型：将LLM编码的对话嵌入注入Wide&Deep、DeepFM等CTR模型，可无痛提升传统模型对非结构化文本的理解，适合已有CTR基建的团队快速引入LLM语义能力，无需推翻原有架构。
- 在线实验设计与评估：分层抽样+按能力层级与历史转化指标分组的A/B测试方案，以及关注前0.1%线索精准度的业务导向指标（P@0.1%），对推荐系统线上评估中如何衡量头部排序质量有直接参考意义。
OpenDeepThink：基于Bradley-Terry聚合的并行推理
🧭 Reasoning ★ 深度解读
UC San Diego · Princeton University · University of Washington · UC Berkeley
无需外部验证器的并行测试时推理框架，通过成对比较与Bradley-Terry排名实现选择与突变。