基于变分学习的 RLVR 参数探索
🧭 LLM 强化学习 · 参数空间探索
INSAIT, Sofia University "St. Kliment Ohridski" · Technical University of Darmstadt · National Research Center for Applied Cybersecurity ATHENE
提出 3PO 方法族，通过采样多个策略参数实现参数空间探索，相比 GRPO 在相近 FLOPs 下持续提升 LLM 推理性能
📌 工作参考价值（4 点）
- 在基于 GRPO 的 RLVR 流程中（如训练生成式推荐/query 改写/对话 Agent），可引入参数空间探索：对 LoRA 权重采样多个扰动副本生成 rollouts，与温度采样互补，能缓解奖励信号稀疏导致的训练停滞。
- 借鉴 3PO 的分组奖励估计：将多个参数样本生成的 rollouts 分组计算优势，可减少零优势组，提升稀疏反馈（如点击/转化）下的训练信号利用率。
- 该方法在 near-identical FLOPs 下提升性能，适合业务场景有限的训练预算；可在现有 LoRA + RL 框架中低成本实现参数扰动，无需增加推理开销。
- 需注意：论文在数学/代码任务验证，迁移到推荐/搜索时需调整扰动强度与采样频率，并验证奖励函数（如延迟转化）下是否仍稳定。
金融市场 Agent 的上下文≠权威：运行时结构化治理合约 SAGE-Fin
🧭 金融 Agent 运行时治理 · 权威边界合约 ★ 深度解读
OpenAsk · Binance · New York University · Xiamen University · Bank of Hebei
为金融 Agent 提供类型化收据与动态权威控制器，防止正确的上下文被越权执行
📌 工作参考价值（4 点）
- 将模型输出与执行授权解耦：为 Agent 输出创建类型化候选（candidate），显式声明所需证据和禁止效果；缺失证据则转化为“覆盖债务”并降级或阻止行动，防止检索到的上下文被直接当作指令。
- 引入严格收据类型（commit/execAuth/deploy）与适配器绑定：只有指定类型的收据才能通过相应的执行、响应或策略门，进度收据、临时凭证不能替代最终授权，避免类似“预算预留”变成“下单权限”的误解。
- 每次消费时重新检查状态：消费时重新编译候选类型、评估覆盖债务、检查收据绑定和当前状态，防止对话上下文漂移导致同一段文本在不同轮次被错误授权（如重复发射同一 SOP 响应）。
- 策略从自然语言到部署的硬边界：对话中松散的风险控制意图（如“放宽回撤限制”）必须经过确定性 IR 验证、影子测试和部署收据才能上线，不能直接将对话内容编译为可执行策略，这个模式可迁移到推荐系统的配置调整或风控策略上线流程。
开放大语言模型多语机器翻译的无参考后训练
🧭 LLM 多语翻译 · 强化后训练 ★ 深度解读
Xiaomi Inc.
用GRPO加语言门控无参考质量奖励与SFT-RL权重插值，46语翻译12B模型超越多个闭源系统
📌 工作参考价值（4 点）
- 无参考奖励设计：在缺乏成对标注的生成任务（商品文案、搜索query改写、Agent回复）中，可组合多个可学习质量模型打分，并用规则门控（目标语言/格式/长度）过滤无效高分，避免错误输出获得奖励。
- SFT-RL参数插值：训练完成后把SFT与RL权重按α线性混合，无需额外训练即可调节指标trade-off（如相关性 vs 多样性、BLEU vs 神经指标），推荐默认尝试α=0.5作为起点。
- RL数据筛选：对每个prompt采样一组rollout，只保留reward均值和标准差符合条件的样本，能显著提升GRPO训练信号效率，适合从线上日志或无标注语料构造后训练数据。
- 小模型继承大模型增益：用on-policy distillation可以接近RL+插值模型的性能，资源受限时可只对大模型做RL然后蒸馏到线上小模型。
列表级交叉编码器微调与代理式指令微调的LLM重排序对比研究
🧭 重排序系统 · 小模型微调 vs 大模型指令调优
Healthee
109M参数的交叉编码器微调ListNet后，NDCG@3比4B指令重排序模型高2.6点，参数仅1/37
📌 工作参考价值（4 点）
- 在电商搜索/推荐重排序中，若资源及延迟敏感，可优先考虑小参数交叉编码器+ListNet 微调，性能可能反超大模型。
- 利用 GPT-4 等大模型自动构建查询-商品/文档对的数据集管道，可低成本构建领域训练数据。
- 代理式提示优化（agentic prompt optimization）的思路可迁移至推荐系统提示工程，自动化调优 LLM 重排序器的提示词。
- 部署时权衡延迟——小模型推理成本低，适合实时重排序；大模型可留作离线评估或数据生成。
LLM 测试时增强：等量计算下输入多样性胜过输出多样性
🧭 测试时增强 · 输入多样性 vs 输出多样性 ★ 深度解读
Amazon Web Services
在固定推理预算下，语义改写聚合比自一致性更高效地将计算转化为准确率，性价比高约 1.8 倍
📌 工作参考价值（4 点）
- 改写聚合替代重采样：在电商搜索问答、推荐理由生成等需准确答案的场景，用同一 LLM 生成 k 个语义等价改写，分别回答后多数投票，比单纯多次采样自一致性成本-收益更优。
- 实施要点：改写与回答调用分离，改写提示必须保留原问题的选项、格式、图像引用；可用更强模型做改写（例如用 Sonnet 为 Haiku 生成改写）；推荐 $k=4$ 在成本与效果间平衡；仅在模型置信度中等（基线准确率 40-80%）时使用，高准确率大模型无益。
- 避免混合模态增强：若输入含图像，只增强文本，同时增强图像与文本会引入噪声导致性能下降；词汇增强（拼写错误）可能损害强模型，优先用语义增强。
- 低成本备选：若改写调用额外开销不可接受，词汇增强（字符扰动）几乎零成本，仍可获得小幅度提升，适合对延迟敏感的线上链路。
面向生成式多任务推荐的双流层次查询交互建模
🧭 生成式多任务推荐 · 任务交互层次查询 ★ 深度解读
DreamX, Alibaba Group
通过双流解耦、自适应任务交互和层次查询机制，解决生成式多任务推荐的源坍塌、关系坍塌与层次坍塌，线下指标全面最优、线上UVCTR提升1.60%
📌 工作参考价值（4 点）
- 任务token与上下文token的解耦编码：将任务专属 learnable token 组成独立序列，使用独立参数的自注意力和交叉注意力，在编码早期注入任务信号，避免任务信息在共享流中被稀释，可迁移到多目标推荐场景。
- 自适应任务交互的因果掩码自注意力：在任务token流上加入因果约束的自注意力，自动学习任务间的输入依赖强度，替代预设漏斗结构，适合电商中搜索→点击→购买等多步依赖的动态建模。
- 层次查询选多尺度特征：每个任务通过可学习的深度注意力从不同层抽取信息，让细粒度检索（如 POI 预测）用浅层局部信号，粗粒度意图（如出行方式）用深层全局模式，可为多任务推荐中不同粒度的目标提供专用特征。
- 工业部署的离线–在线分离架构：用户历史序列离线预计算并存入 KV 存储，在线仅执行推理与最近邻检索，使模型在 30k QPS 下平均延时 40ms，适合大流量推荐系统的工程化落地。
PreGress：面向图节点排序的排序原生预训练与提示框架
🧭 图节点排序 · 预训练与提示微调 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Huawei Technologies Co., Ltd.
首个排序原生的图预训练+提示微调框架，通过度中心性与属性重建预训练，配合任务特定提示，统一支持多种节点排序准则
📌 工作参考价值（4 点）
- 图构建与预训练复用：对用户-物品交互图，用度中心性作为自监督目标预训练节点表示，无需人工标注，训练一次后通过轻量提示适应不同排序准则（如 PageRank、子图计数），大幅降低下游任务训练成本。
- Ego 网络避免过平滑：抽取 k-hop ego 网络并采用子图 GNN 作为骨干，限制消息传递范围，有效避免深层堆叠带来的节点表示坍缩，适合需要精细区分的推荐排序场景。
- 提示模块设计：对无结构输入（如中心性预测）使用可学习向量；对有结构输入（如模式图匹配）使用轻量 GNN 生成提示，并通过 Soft CCA 正则对齐分布。可参照此思路在推荐系统里用提示注入多模态信息或业务规则。
- 排序导向的损失设计：预训练中结合 MSE 回归与 listwise KL 正则，显式建模排序一致性，比仅用点损失更符合 top-K 推荐目标，可直接移植到排序模型的预训练阶段。
ReRound：重构舍入解决免校准 LLM 量化中的中点歧义
🧭 LLM 低比特量化 · 校准自由 PTQ
Harvard University
用条件扩散模型重建权重作为舍入方向指导，混合 RTN 与重构舍入，提升小模型 3/4-bit 免校准量化精度
📌 工作参考价值（4 点）
- 对广告/推荐场景中部署的小模型（如轻量排序塔、CTR 特征提取器）可尝试校准自由 PTQ：ReRound 不依赖线上数据分布，奇异值匹配选择矩阵避免维护校准集，适合快速迭代压缩。
- 容忍度参数只对歧义区间权重做特殊舍入，可作为量化后处理的“局部修正”思路：在工程上对量化误差敏感的层或权重矩阵单独做扩散重建，其余层用 RTN，控制上线成本。
- 扩散模型生成重建权重这种“以生成做去噪/补全”的思路，可以迁移到 embedding 量化、低秩近似中，针对小模型权重分布做条件生成，提升量化后表示质量。
- 方案完全离线、推理零额外开销，对延迟敏感的排序/召回服务是重要优势；若现有压缩工具链中精度不够，可替换 rounding 模块而不改变推理图。
Se-DPO：自演化令牌信用用于直接偏好优化
🧭 偏好对齐 · 令牌级自适应KL正则化 ★ 深度解读
University of California, Los Angeles · Shanghai AI Laboratory
通过在线从模型自身隐式奖励与参考熵中动态学习每令牌KL预算，解决DPO均匀加权的次优问题。
📌 工作参考价值（4 点）
- 动态重要性加权思想可迁移至推荐场景：类似给用户行为序列中不同位置 token 分配不同 KL 预算，推荐系统中可对用户历史行为的不同步数或不同特征维度分配不同的正则化强度或学习权重，避免平均主义，让关键决策点有更大优化自由度。
- 在线重要性更新机制：静态重要度在训练后期会严重失配，Se-DPO 定期从模型当前状态更新信用。这启发在在线学习排序模型或生成式推荐中，可引入周期性重估每个样本/特征重要性的机制，而不是训练前一次性固定。
- 轻量校准网络的设计模式：用一个小 MLP 融合强度（\(|\hat{r}_t|\)）与不确定性（\(H_{\text{ref}}\)）两个信号，输出信用。推荐系统可类似设计一个轻量子网络，结合预估的重要度与置信度来动态调节损失权重，几乎无额外成本。
- 无需外部信号的在线信用提取：只用模型自身隐式奖励和参考熵，无需教师模型或额外标注。在缺乏外部监督的生成式推荐或 Agent 任务中，可仿照此方法利用模型内部信号进行自适应样本加权。
双谱协同过滤：免训练的符号感知图滤波推荐
🧭 训练免梯度谱方法 · 负反馈融合 ★ 深度解读
Stevens Institute of Technology · University of Maryland, College Park
两个即插即用的训练免梯度组件，将显式负反馈融入谱协同过滤，无需训练即超越多个骨干模型。
📌 工作参考价值（4 点）
- 零成本引入显式负反馈：电商平台常有1星差评、踩按钮、极低观看率等信号，可将它们作为负样本，通过两个标量超参（γ, κ）直接融入现有的谱协同过滤骨干（如GF-CF、ChebyCF），无需重新训练，总耗时仅增加16%-59%，特别适合快速迭代。
- 负信号仍视作主题信号：实验中最优γ始终为负值（如-0.5），表明差评物品仍反映用户兴趣领域，只是需要降低正向权重。电商推荐中可把踩过的品类仍然作为弱信号，避免完全忽略用户兴趣面。
- 冷启动用户显著收益：对训练行为≤5条的冷启动用户，引入负反馈后Recall@20最高提升29.2%（Epinions）。电商新用户交互少，可专门对冷启群体启用sign-aware分支。
- 工程实现极简：不改动原有模型的滤波器参数，仅替换用户交互向量和物品相似度矩阵为符号版本；多项式滤波器骨干不需要重新特征分解，复杂度保持不变。
思想级束搜索用于推理
🧭 test-time 推理算力分配 · 思想级束搜索 ★ 深度解读
Princeton University · MIT CSAIL · Meta AI
将 test-time 推理建模为硬件约束下的算力分配问题，用固定容量池的 thought-level beam search 动态剪枝并分支高质量前缀
📌 工作参考价值（4 点）
- 对 Agent 多步规划/多候选生成：把并行采样改为固定容量池的 beam search，用轻量 scorer（如 hidden-state probe）做中间过滤，周期性淘汰低分候选并从高分前缀继续展开，可显著降低 token 消耗并提高正确路径命中率。
- 长上下文生成（如商品文案、多轮推荐对话）中，利用 prefix caching 共享 KV cache，对不同分支只算增量 token，节省显存和推理成本；同时解耦逻辑搜索树与物理调度，避免内存压力下的贪心退化。
- 对 reasoning/planning 评估器：设置 warmup 阈值，延迟评分直到步骤充分展开，减少早期噪声误判；用 score-weighted majority vote 聚合答案，比等权投票更能利用置信度信号。
- 工程实现：保持活跃请求数恒定（zero-sum allocation）并让调度器与搜索逻辑解耦，在 vLLM 等 serving 引擎上可达高硬件利用率，减少排队延迟。
SKILLER：面向小语言模型可复用技能提取的语言级强化学习框架
🧭 Agent 技能生成 · 语言级强化学习 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
用自然语言强化学习为小型 LVLM 自动生成定制化 agent 技能，不更新权重，成本降低 71-167 倍
📌 工作参考价值（4 点）
- 离线用强模型（GPT-5.4）作为 actor/critic，将目标小模型（Qwen3.5-9B/4B）的 agent loop 当作环境，通过可验证 reward 迭代优化 prompt/skill，线上只部署小模型，大幅降低推理成本。在电商客服、推荐解释生成等场景可直接复用此离线优化范式。
- 将复杂多步推理流程固化到确定性脚本/工具中，skill 只负责调用和异常处理，避免小模型上下文过长、步骤遗漏或幻觉。对应推荐系统可将商品特征处理、规则过滤放在外部服务，LLM 只做轻量决策。
- 语言级 policy iteration 的 critic 定位最早因果错误并生成有界编辑（INSERT/REPLACE/CREATE/DELETE），actor 实施局部更新并保留有效内容，防止灾难性遗忘。可用于 prompt 迭代优化：从失败 case 诊断原因，局部修改 prompt 而非全量重写。
- 成本-性能权衡：SKILLER 生成技能成本约 $8.95，低于 SkillX $14.55 且性能更高；相比闭源部署成本低 71-167 倍。提示在预算有限时，针对 executor 定制 prompt 比盲目堆大模型更高效。
SkillZip：基于可重用结构发现的评估无关技能压缩
🧭 Agent 技能压缩 · 评估无关结构化精益 ★ 深度解读
Alibaba Group · Zhejiang University · Duke University
用“一次性解释，多处引用”原则，在不依赖下游评估的条件下压缩自进化Agent的冗余技能文本。
📌 工作参考价值（4 点）
- 长期维护的Agent系统可直接套用：将Agent技能视为类型化合约（接口、工作流、工具协议、规则、输出模式），通过共享规则、上提公共规则、工作流复用和异常编码实现文本压缩，减少每次调用的上下文token成本。
- 避免评估集过拟合的压缩范式：SkillZip 完全不依赖任务实例、奖励或验证器，仅从技能自身结构提取合约并强制覆盖所有要求，可杜绝因评估集偏差导致的技能退化，适合需要频繁更新的推荐/搜索Agent。
- 增量压缩模式适于在线进化系统：Zip-on-Write 在Agent每次自我进化时仅对比受影响局部，以ABSORB/REFINE/EXTEND/REFACTOR四类操作更新合约，零重放任务，可嵌入在线学习推荐Agent的实时优化流程。
- 最小描述长度( MDL )可直接指导提示精简：公式(4)定义的“最短忠实解释”目标，以及计算收益阈值（如规则提升、工作流复用）的显式条件，可迁移到对话策略、Query改写等复杂提示的自动去重与结构化重构中。
通过技能与上下文代码进化实现自进化具身智能体
🧭 Agent 自进化 · 技能与harness优化
Northeastern University · Microsoft Research
提出SHAPER框架，冻结模型参数，通过环境交互进化可复用技能与上下文代码harness，实现无需训练的具身Agent自进化
📌 工作参考价值（4 点）
- 在电商/Agent系统中可借鉴将LLM同时用作planner和optimizer：冻结模型，将成功经验沉淀为可复用技能（类似结构化RAG），通过目标环境rollouts自我进化，避免频繁微调带来的数据和算力成本。
- 将prompt模板、工具调用逻辑、上下文代码视为可优化的外部参数（harness），在线上交互中持续调整，这与推荐系统中优化召回策略、重排规则等非参数组件思路一致，可低风险快速迭代。
- 在无法标注大量数据或训练成本过高时，优先尝试基于test-time scaling的train-free方案（如verifier-free selection、voting）作为基线，可能接近SFT效果，适合初创或快速验证场景。
- 注意该工作针对具身智能体，业务落地时需抽象其核心：固定模型权重，进化外部技能库和任务编排，对电商Agent的多轮对话、工具调用、query理解等模块具备直接迁移价值。
TSPORec: 基于偏好优化的LLM序列推荐令牌选择
🧭 LLM序列推荐 · 令牌选择与偏好优化 ★ 深度解读
通过偏好优化自动选择信息令牌，在提升序列推荐准确率31%的同时推理开销降低63%
📌 工作参考价值（4 点）
- 处理商品长文本描述时，可采用类似的令牌选择策略压缩输入序列，优先保留内容词（名词、形容词、实体），滤除高频功能词，在电商推荐中减少 LLM 推理延迟。
- chunk-level 选择提供了灵活的粒度控制，工程上可通过调节 chunk size 在性能和效率间取得平衡，离线预计算 item 令牌子集后直接用于在线服务。
- 偏好优化的 proxy reward 设计简单有效：对比两次采样子序列的交叉熵，无需外部标注，该范式可迁移至搜索、广告创意排序等需要精简文本输入的场景。
- 三阶段训练（预训练→策略学习→重训练）虽然额外增加训练耗时，但模型一次训练长期部署，适合推荐系统离线优化的节奏，推理效率的提升远大于训练成本。