选择、压缩、再投资：长视频多模态大模型视觉Token分配的控制研究
🧭 长视频MLLM视觉Token分配优化
Independent Researcher
控制变量实验表明帧选择是长视频理解最大杠杆，经典OMP算法与专用选择器性能相当
📌 工作参考价值（4 点）
- 预算固定的优化思路可直接迁移到多模态推荐/广告素材理解：若系统只能用固定数量的视频帧或图像Token表示商品视频/广告创意，优先投资帧选择（比均匀采样提升显著），再考虑空间压缩，并把压缩节省的Token用于增加采样帧数，两步结合可带来2-3个点准确率提升。
- OMP等经典稀疏近似算法可作为轻量、无训练的特征/帧选择器：在视频理解、商品短视频标签抽取、直播切片推荐等场景，无需训练专用选择器，直接用OMP挑选最具信息量的帧或片段，能匹配甚至超过专用模型，工程实现成本极低。
- 对多模态模型评测/迭代：务必在同一统一框架内做控制变量。论文发现相同规则在不同harness间有0.07-3.74点差距，自己的AKS基线也有实现bug，说明跨论文比较或直接套用他人结果风险高；业务中应构建内部统一的视觉Token分配评测管道，逐步替换单个变量（选择、压缩、分辨率）以定位真实收益。
- 压缩必须配合再投资才有效：单独压缩帧分辨率几乎是免费的（损失≤0.44点），但如果不把节省的Token花到更多帧上，就没有精度收益；该结论可指导资源受限场景下的多模态特征预算分配策略。
因果基础模型
🧭 因果推断 · In-context Learning
Layer 6 AI, Toronto, Canada · TD Bank Group, Toronto, Canada
提出因果基础模型（CFM），在大规模合成数据上预训练，对新数据集通过 in-context learning 零样本估计因果效应
📌 工作参考价值（4 点）
- 广告/Uplift 建模：将 CFM 作为预训练因果先验，在新 campaign 上零样本估计 ATE/CATE，减少冷启动数据需求；可先在小样本上验证策略效果，再决定是否训练专用模型。
- 合成数据流水线：参照 CFM 训练方式，在业务点击/转化模拟器中大规模生成含 treatment/control 的数据，预训练因果模型，再迁移到真实小样本任务上。
- Agent 决策：营销动作选择、定价折扣、Push 文案等场景中，可内嵌 CFM 估计不同动作的因果效应，避免仅用相关模型误判 ROI。
- 工程实现：论文开源代码和 notebooks 提供可复用的 CFM 架构与合成数据生成方法，可直接作为团队因果推理 baseline。
有限库输入扭曲核的无遗憾贝叶斯优化
🧭 贝叶斯优化 · 输入扭曲核
AI Sweden
用有限库光滑输入扭曲自适应 GP-UCB 的核几何，在不牺牲收敛保证下提升黑盒优化样本效率
📌 工作参考价值（4 点）
- 在电商/广告模型的超参调优（如 learning rate、embedding size、正则系数）中，很多参数本质是对数或幂律敏感，手动 log 缩放经验性强且不完整；可构造包含 identity、log、logit、power transform 的有限扭曲库，让 BO 根据历史观测自动选择扭曲，代替人工缩放。
- 对搜索/推荐系统的在线实验或仿真实验设计，若目标函数存在局部峰值或置信陷阱，直接使用 GP-UCB 可能过早收敛；FLIWBO-UCB 的输入扭曲库可让其逃逸陷阱，且保留 no-regret 保证，适合预算极低的黑箱评估场景。
- 在多智能体系统（如智能客服、广告竞价 Agent 协作）需调节多个维度设计参数且每次评估昂贵时，该方法在 20 维噪声评估下可行，可作为 Agent 系统超参调优的实用 BO 组件。
- 工程实现上，扭曲库的选择规则可以是任何历史相关规则（如 UCB 或 EI），这给线上系统留出灵活空间；注意库大小带来的 regret 代价为 √Nε，库不宜过大，可在调优前根据参数先验缩小候选扭曲。
增量池化 LLM 评估：低成本检索模型选择
🧭 检索模型评估 · LLM 评判
JPMorganChase
增量池化 LLM 评估复用已有相关性判断，仅对新系统新增文档做 LLM 评判，大幅降低 RAG 检索模型选型成本
📌 工作参考价值（4 点）
- 在电商搜索/推荐召回模型选型中，用 LLM 做 pooled relevance judgment：维护一个已标注文档池，新召回模型上线前只标注其新增文档，复用旧 qrels 计算完整指标，适合快速迭代。
- 对于有大量召回重叠的候选系统（如不同 embedding、混合检索），池化方案能获得 65-80% 标注复用，等价于数倍评估成本节省，可工程化为自动化评估 pipeline。
- 采用 bootstrap 估计 qrels 不确定性，避免在小样本或 LLM 判断噪声下对模型排序做出错误结论；对比模型时报告置信区间而非单一数值。
- 在 Agent 检索工具选择或多路召回对比中，同样可复用增量池化思路，让 LLM 仅评判增量文档，支撑低成本、持续的多候选评估。
终端 Agent 的环境进化训练方法
🧭 终端 Agent RL · 离线环境课程
Hunyuan Team, Tencent
提出离线环境进化，沿多轮目标派生的三个难度方向逐步提升终端环境难度，并通过多 Agent 回路实现，提升终端 Agent RL 效果。
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 训练中，可将“用户任务/交互环境”当作可进化对象：把多轮任务目标显式展开，提取难度轴（如约束数量、工具噪声、状态分支），离线用 LLM 多 Agent 生成逐渐变难的任务集，不用每次等在线 rollout，降低数据成本。
- 用多 Agent 回路工程化合成环境：一个 Agent 负责提出 harder case，另一个验证可解性与难度，再一个做标注/清理，保证训练集中困难样本比例与模型能力匹配，可复用到导购、搜索、客服 Agent 的场景生成。
- 训练调度用“分代课程”：将进化后的环境按 generation 分块，训练时按模型 checkpoint 表现逐步解锁下一代，避免一次性给过难/过易环境；对应推荐 Agent 的 RL 训练可做 curriculum。
- 若做用户模拟器/环境生成，优先加入 off-policy 进化：不再依赖当前策略轨迹，能从历史或弱模型数据产生持续学习信号，适合业务环境噪声大、策略迭代快的场景。
终端宇宙：将代理轨迹转化为可扩展终端环境
🧭 代码代理环境重建与训练数据合成
Qwen Team, Alibaba Group · Tsinghua University
从终端代理轨迹重建可执行环境，并扩展单轮/跨仓库多轮任务，SFT 大幅提升代码代理基准
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，可借鉴轨迹回放恢复环境：从真实日志（点击/搜索/下单）反向重建决策前状态，再用补全模型补缺失上下文，生成可重用的训练环境，而非只存静态问答对。
- 广度扩展可用于跨业务域任务构造：挖掘不同店铺/订单/支付等子系统的依赖关系，合成跨系统串联任务，训练模型进行多步工具调用。
- 深度扩展的 user agent 模式可用于多轮交互训练：模拟用户逐步反馈和需求细化，把单轮意图改写成多轮会话，提升推荐/客服 Agent 的持续交互能力。
- 环境可重查询特性适合构建推荐/广告模拟器：通过执行反馈做可验证采样或拒绝采样，替代固定轨迹数据。
重新审视大语言模型在线策略蒸馏：单训练样本
🧭 On-Policy 蒸馏 · 数据效率 ★ 深度解读
Tsinghua University · University of Chinese Academy of Sciences · Northeastern University · University of Illinois Urbana-Champaign · Johns Hopkins University
一个 query 训练数百步即可恢复大部分 full-data OPD 增益，揭示 OPD 数据过剩、算法吸收是瓶颈
📌 工作参考价值（4 点）
- 工业 OPD 数据筛选可转向 state coverage 视角：不是收集更多 prompt，而是选语义多样、能诱导互补状态的少量 query（如 16 个/域即可匹配 full-data MOPD）。在电商 query 改写、生成式推荐、Agent 轨迹生成中，可先对 prompt/query 做语义聚类，取代表点训练，大幅降低标注与训练成本。
- 冷启动或无标注场景可借鉴 content-light 模板与离域日志：只要 teacher 能提供 token-level 监督，chat template + <think> 等空模板或历史对话也能驱动 OPD 接近真实 query 效果；可尝试用模板启动生成式推荐或 Agent 策略蒸馏。
- OPD 训练瓶颈在吸收率而非数据量：固定 states 仍需数百步收敛，说明加大 batch 或数据量未必加速；应优先优化步效率，如 batch reuse、trust region、按 token teacher signal 加权，减少训练步数。
- 多教师蒸馏可按域选少量语义代表 query，每域 16 条即可匹配全量，适合多业务线共享一个生成式推荐/Agent 模型时的数据配比与成本控制。
最后翻译基准：多模态对抗测试与可验证评估
🧭 机器翻译极限基准与可验证评估
ETH · JHU · MBZUAI · KIT · UvA
构建可持续更新的多模态对抗性翻译基准，用逐例可验证规则替代不可靠自动评分
📌 工作参考价值（4 点）
- 生成质量评估规则化：在电商文案、query 改写、Agent 回答等生成式任务中，把人工评估拆成逐条可校验规则（如商品属性不冲突、query 必须包含品牌词/类目词、回复不得泄露库存），显著降低评估噪声和 reward hacking 风险。
- 构建长尾对抗集：定期收集线上模型失败的 query/商品/多模态内容，经人工评审后加入回归集，可类比 LTB 的持续更新机制，防止推荐/搜索模型在罕见 case 上退化。
- 多模态统一基准：LTB 同时覆盖文本、图像、音频、视频，提示推荐系统在商品多模态理解（主图、视频、详情页）上也应建立跨模态的对抗性评估，而非只测文本召回。
- 众包质量控审：采用人工撰写+同行评审的投稿流程，可迁移到业务中构建高质量评估集的流程设计，减少单人标注偏差。
Cliff：从首个错误中学习过程奖励
🧭 LLM 强化学习 · 过程奖励塑形 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
提出 Cliff 奖励塑形，利用 LLM 教师定位学生 rollout 中第一个错误，将正确前缀与错误后缀赋予不同优势，平均比 GRPO 提升 7%
📌 工作参考价值（4 点）
- 在 Agent 多步决策或搜索推荐的多轮交互中，可以用 teacher LLM 定位用户不满意或决策错误的起始步骤，只对错误后缀给负反馈，正确前缀保持中性/轻微正反馈，这比全轨迹统一奖励更细粒度且易于实现。
- 引入“首个错误”信号可避免训练需要精确步级奖励，降低标注成本；实测中等能力 LLM 即可胜任判断任务，且判断比生成更 robust，可借鉴用于电商场景中由中等规模模型判断对话/推荐轨迹质量。
- λ=0 的关键设计：对正确前缀不要给额外正奖励，只将负奖励集中在错误后缀，能防止模型为了延长正确前缀而长度 hacking。在推荐/文案生成中同样可防止模型输出冗余内容。
- 当 teacher 自己的参考解不可靠时，可先用可验证结果（如成交、点击）过滤 teacher 参考，只有 teacher 正确时才使用过程监督，否则回退到原始 outcome reward，这一策略可迁移到有业务指标的推荐系统中。
从生产流量到后训练：构建覆盖企业请求的自托管 LLM
🧭 LLM 后训练 · 模块化 RL 与权重合并 ★ 深度解读
T-Tech
以模块化 GRPO 专家 + 两阶段 SLERP 融合替代联合多目标 RL，32B 模型在内部流量上超越约 7 倍参数基线并承接 50% 请求
📌 工作参考价值（4 点）
- 模块化 RL + 权重合并：在电商 Agent/工具调用/指令遵循等多目标后训练中，不要把所有 reward 联合训练；按能力轴独立 GRPO，再 SLERP 合并。新增能力只需训练一个专家、做 eval-only 融合系数搜索，避免重复调联合超参。
- 多语言 Function Calling 数据：不要直接翻译英文 FC 数据，要基于业务 API schema 原生生成（含本地语言参数值）；对 over-calling 可通过在训练数据里注入 synthetic irrelevance 抑制，而不是只改 reward。
- 面向线上真实流量构建离线 benchmark：用模板感知采样（mask 变量 token、LSH 分组、√count 预算）避免模板流量造成的伪多样性；评测按任务类型路由，分类/抽取用 reference verifier，开放生成用人工校准的 checklist judge，可显著提升评测与人工一致度。
- 自托管部署成本：32B 非 reasoning + FP8 vLLM 可覆盖大多数企业流量，较 235B 级别模型降低 2.8-3.9 倍 token 成本，适合做统一底座；但前沿 agentic 能力需保留大模型兜底。
从问题到证据：受治理数据分析的小型分析代数
🧭 受治理数据分析 · 确定性策略执行
MasterControl AI Lab
LLM只解释用户意图，由确定性策略执行预批准分析程序，110/110匹配答案与证据契约，而运行时规划0/330
📌 工作参考价值（4 点）
- 在电商/广告的指标数据问答、AB实验分析等场景，可将「意图解析」与「工具选择/SQL生成」解耦：LLM只做意图分类和参数抽取，指标口径、SQL模板、执行程序由预注册目录确定性选择，避免每次生成口径漂移。
- 返回结果同时返回 evidence（口径、时间区间、支持记录），方便审计、回放和线上事故排查；对推荐系统日报、监控告警类分析尤其有价值。
- 用小型类型化操作集（关系操作+聚合+窗口+排名+相似度）表达业务分析需求，先为有限场景证明 scoped completeness，再逐步扩展，比直接开放端到端 agent 更可控。
- 对比结果提示：8B 级模型做运行时 SQL 生成和工具规划，在完整答案+证据契约上失败率很高；若在业务 Agent 中做数据查询，必须加强验证、模板约束或策略回退，不能只靠自由规划。
从语言到行为：面向工业推荐排序的推荐原生序列 Transformer 扩展框架 ReST
🧭 序列 Transformer 推荐排序 ★ 深度解读
ByteDance
提出 ReST，用双门控注意力、RoPE+RoTE、SRN 与共享前缀编解码，把行为序列 Transformer 扩展到生产排序并获在线收益。
📌 工作参考价值（4 点）
- 训练期加 auxiliary sequence CVR head 是低成本缓解 sequence starvation 的实用 trick：只用序列表征 + 广告/商品特征做 BCE，λseq=0.1 即可让序列 encoder 梯度 norm 提升 3 倍以上，离线 AUC 在多个 backbone 上稳定 +0.07~0.22 pct；在 hybrid DLRM 排序里能直接复用。
- 时间注入别只当 side feature：RoTE 用 rotary 方式按 head 分配秒/分/时/天/周/季/年多粒度物理时间，兼容 FlashAttention；比仅加 delta-time 特征多带来约 +0.04~0.12 pct AUC，适合有强时间敏感性的电商/广告行为序列。
- 双门控注意力只需 value gate + output gate 且用 sigmoid，就能以约 7.5% FLOPs 换 +0.06% AUC；QKV 全门控更贵但收益不增。噪声大的点击/浏览序列建模可以优先试 O+V gate。
- 架构上把能力分配给候选侧轻量 decoder 而不是继续堆 sequence encoder：projection-free KV 复用 encoder memory、token-specific parameterization 保持容量；encoder 加 MoE 多 500% 参数却 0 收益。训练用 user-level shared-prefix 提 5.8x 吞吐，serving 共享 prefix 最多降 20x 序列计算，适合候选量大、user history 长的排序场景。
从重加权到重写：解锁训练数据归因中高影响样本的干预效应
🧭 训练数据归因 · 影响力函数干预
Peking University · YiXin-AI Lab · Beijing Academy of Artificial Intelligence
影响力函数选中的样本在重加权下干预有限，但对其响应进行重写可实现更强、持久且双向的行为改变
📌 工作参考价值（4 点）
- 在 LLM 微调治理中，若需修正拒答/过度生成、安全合规、商品属性表达等行为，用影响力函数（IF）选出的少量高杠杆样本，直接重写其 response（而非 instruction），比调整样本权重或随机改样本更有效且效果更持久、双向可控。
- 可把 IF 作为数据清洗/标注预算分配工具：优先重标注 IF 分数高的训练样本，用行为对齐/对抗的监督信号做定向改写，能通过极小样本集实现行为翻转，避免大量重训。
- 重加权在评估 TDA 时会低估样本干预价值，实际落地评估归因方法时应区分“局部重加权效应”与“重写干预杠杆”，不要仅用 weight-based 干预去验证归因质量。
- 针对电商/搜索场景的 LLM 应用（如商品问答、广告文案、政策拒答），可构建行为探针（如 epistemic abstention、safety refusal），用 IF 定位问题样本并重写响应来快速修复 badcase。
Debias-SparseGPT：大语言模型的偏置感知剪枝
🧭 LLM 压缩与公平性 · 偏置感知剪枝
Laboratoire Hubert Curien, UMR CNRS 5516 · Université Claude Bernard Lyon 1 · Université Lumière Lyon 2, ERIC · École Centrale de Lyon, LIRIS, CNRS UMR 5205
在 SparseGPT 剪枝中引入基于对比输入的二阶去偏正则项，显著降低剪枝引起的偏置放大，同时保持模型质量
📌 工作参考价值（3 点）
- 在电商/推荐场景部署压缩后 LLM（如生成商品文案、用户评论回复）时，SparseGPT 等剪枝可能放大对特定用户群体（性别、年龄 persona）的偏见。可借鉴 Debias-SparseGPT 的思路：在剪枝校准阶段加入对比敏感属性的输入对，并加入二阶正则项，在几乎不损失困惑度/准确率的情况下降低公平性风险。
- 校准集的选择直接影响剪枝后模型质量：在强结构化剪枝（如 2:4）下，应优先选择长上下文、内容丰富的样本，而非随机短样本。提示我们在为推荐场景 LM 做压缩时，校准数据应覆盖业务中典型的长尾、复杂情境，以提高泛化和公平性。
- 若业务中需用压缩后 LLM 做个性化推荐或广告文案生成，可在离线评估时加入 fairness 指标（如不同性别/年龄群体输出差异），并将 Debias-SparseGPT 作为模型压缩 pipeline 的一部分，避免上线后因 persona 提示产生明显偏好。
EarlyEval：通过早期结果预测降低 Agent 评估成本
🧭 Agent 评估成本优化 · 早停预测 ★ 深度解读
Shanghai Jiao Tong University · Singapore Management University · East China Normal University · Shanghai Innovation Institute
用 LightGBM 对部分轨迹预测最终成功/失败并提前终止，最高省 44% 输入 token 且几乎不改变排行榜排名
📌 工作参考价值（4 点）
- 对长链路搜索/导购/售后 Agent 的回归评测，可用历史 rollout 日志训练 LightGBM 成功/失败二分类器，在线每步提取行为+文本特征并校准阈值早停；相比 LLM-as-judge 每步推理，CPU 级推理开销可忽略。
- 特征设计不必依赖 gold 答案：行为特征（重复操作、错误类型、无编辑持续步数、测试失败趋势）和 TF-IDF+SVD 文本特征已能提供强信号；无参考解时可关闭 reference 特征，精度损失很小。
- 双阈值结构与独立 success/failure 分类器比单一联合模型更可控，可按业务需要分别调 precision/coverage，Platt 校准后阈值才可直接比较；建议在评估平台上做留一 agent/策略配置的验证。
- 适用于需要反复评测多个 prompt / scaffold / 模型版本迭代的场景：早停不会显著改变相对排名（ρ≥0.959），可作为内部快速反馈，最终对外榜单仍跑全程。