时间感知复购预测：面向多渠道电商的生存模型
🧭 生存分析复购预测 · 多时间面排序 ★ 深度解读
Walmart Global Tech
用单个加速失效时间模型替代多时间窗口复购预测的多个二分类器，在提升排序的同时降低约3倍算力
📌 工作参考价值（4 点）
- 多 horizon 的复购/重购买 surface，可以直接把每个 horizon 的二分类器换成一个 XGBoost survival:aft，排序用 -exp(leaf value) 或预测的 time-to-repurchase，保持原特征与推理管线不变；训练/服务成本约降 3×，离线各 horizon 不降。
- 经验 hazard 显示 shape k≈0.9（略递减），不要默认“越 overdue 越可能买”；排序面用 Log-Normal，概率消费面用 Exponential/Weibull k=1，再用 4 参数共享斜率+分段截距校准，保证跨 horizon 单调性零违例，ECE 可低至 1e-4 量级。
- 右删失样本（未复购）必须保留，尤其长周期用户；删除大 lapsed 的 censored 样本会导致长周期买家排序崩坏，正则化也救不回。
- 生存目标会重塑特征重要性：渠道节奏、最近性、缺货/部分履约信号上升，总频次类特征下跌；可据此做特征裁剪，或构造 IPI-lapse residual、interval-relative features 这类 timing gap 特征。
SymboLLM-FE：LLM 加速的符号回归自动特征工程
🧭 自动特征工程 · 符号回归+LLM
Nanjing University
符号回归生成高相关公式，再用 LLM 一次性精炼解释，实现高性能且可解释的自动特征工程
📌 工作参考价值（4 点）
- 在 CTR/CVR 等表格特征场景，可用符号回归自动挖掘高阶交互与非线性组合（如 ratio、log 交互），替代盲目数学变换，产出高预测力且具可解释性的特征。
- 用统计先验（候选公式与目标的相关性）限定候选集，再让 LLM 只做一次语义重命名/筛选，避免多轮 LLM 迭代带来的成本与幻觉风险；工程上可将 LLM 调用控制在个位数。
- 可把该方案嵌入现有特征平台：符号回归负责生成、选择大量公式特征，LLM 只负责后处理解释，适合批量生产特征并沉淀可复用特征库。
- 在电商风控、归因等对可解释性要求高的场景，符号回归天然提供公式形式，LLM 补全领域语义，能同时满足模型效果与业务审查要求。
推导 OpenEuroLLM 模型的缩放定律：学习率、批量大小与损失
🧭 LLM 预训练超参缩放定律
ELLIS Institute Tübingen · Eindhoven University of Technology · Georgia Institute of Technology · University of Freiburg · Jülich Supercomputing Center (JSC)
系统研究 LLM 预训练中学习率与 batch size 的联合最优缩放及边际演化，并刻画损失对模型容量和数据规模的依赖
📌 工作参考价值（4 点）
- 在业务微调或预训练领域大模型时，先做小规模超参扫描，再用拟合的缩放关系外推到大模型：避免在全尺寸模型上重复扫描 learning rate 和 batch size，节省算力；尤其适合电商 search/推荐语料上训练 Query 生成、意图识别或商品描述生成模型。
- 采用 Warmup-Stable-Decay 三段式 schedule 时，关注 stable 与 decay 阶段最优超参是否可迁移：如果发现最优 lr/bs 不迁移，需要在 decay 阶段单独调参；这对追求最终 loss 最优的领域模型训练有直接指导意义。
- 用显式建模模型容量与数据规模交互的 scaling forms 判断欠训练/过训练：在有限数据预算（如电商垂直域语料）和模型规模约束下，预估增加数据或参数带来的 loss 收益，辅助资源分配决策。
- 开源全部预训练 runs 可直接复用为 baseline 或 warm start：若企业计划从零预训练多语言/英语为主的电商领域 LLM，可参考其 scaling 流程与超参选择，减少摸索成本。
信息引导的选择性模态-兴趣对齐多模态推荐框架
🧭 多模态推荐 · 兴趣对齐与去噪
Shanghai Jiao Tong University
提出信息论引导的 AMUR 框架，选择性对齐与用户兴趣相关的多模态语义并抑制噪声模态
📌 工作参考价值（4 点）
- 多模态推荐里不要默认全量融合所有模态：业务上可以先利用用户行为信号筛选与兴趣更相关的模态子集，降低视觉/文本噪声对点击率、转化率建模的干扰。
- 借鉴信息论显式约束：用互信息或熵正则替代隐式 attention 加权，让模态-兴趣对齐有明确优化目标；在电商多模态商品塔中可加入兴趣相关性损失，提升冷启动和长尾商品表征。
- 图结构先 refinement 再融合：先用用户行为调整物品多模态图，剪掉弱相关边，再跨模态对齐；对应到商品关系图，能减少无关商品连接带来的 embedding 噪声。
- 保留模态特定互补信息：对齐共享语义时不要完全抹掉模态独有信号，电商场景中文本标题、主图、视频信息有互补性，可设计共享/私有特征分离结构。
序列引导的通用多模态优先级计算框架 SG-UMP
🧭 多模态序列推荐 · 动态模块路由
Imperial College London · University College London · Nanjing University of Posts and Telecommunications
即插即用插件 SG-UMP，用模块组合器与模块路由器动态调整多模态处理顺序，适配用户偏好与数据集偏差
📌 工作参考价值（4 点）
- 多模态融合从静态拼接/固定权重升级为用户级+数据集级动态路由：在电商推荐中，不同类目对模态敏感度差异大（美妆看图片、家电看参数文本），可借鉴 Module Router 根据用户最近行为序列自动调整图像/文本/属性特征的组合顺序与权重，替代全局统一方案。
- 插件式设计不改动主模型 backbone：SG-UMP 作为 drop-in 插件，能低成本接入已有精排/召回模型，在结构基本不变的情况下提升多模态信息利用效率，适合快速实验与 A/B 测试。
- 把“哪个模态先处理”建模为可学习路由问题：相比注意力加权，模块顺序路由更显式控制信息流，在搜索推荐系统里可用于决定商品标题、主图、用户评论等在特征编码中的处理次序，提升可解释性。
- 关注数据集级模态偏差：电商不同场景（首页猜你喜欢 vs 搜索）模态贡献差异大，学习 dataset-aware 路由策略可以避免一套权重打天下，方便跨场景迁移。
训练通信高效 Mixture-of-Experts 语言模型的层重配置方法
🧭 通信高效 MoE 架构训练优化 ★ 深度解读
NVIDIA
减少 MoE 层数并用 Mamba-2 和密集 FFN 补深度，在匹配参数下降低专家并行通信和训练 GPU 小时 30-35%
📌 工作参考价值（4 点）
- 如果业务里用 MoE LLM 做召回/粗排/reranker 或生成式推荐，可尝试把 MoE 层从每个 token-mixing 后都放一个改为稀疏放置，例如 52 层 hybrid 模型只保留 8 个 MoE 层，其余用 Mamba-2 和 dense FFN 补深度，理论上 all-to-all 调用从 23q 降到 8q，实际训练 GPU 小时省 30% 以上。
- 层排序不要随机，采用 phased-greedy：先把 attention 和 channel-mixing 块按虚拟块分配到 Mamba spine，避免连续 channel-mixing，attention 放在 token-mixing 尾部；实验中比 21 个受约束随机排序的验证损失低约 1.8σ。
- 连续堆叠 softmax attention 容易 rank collapse 导致训练发散；如果用 token-mixing-heavy 架构，优先用 Mamba-2/线性注意力作为主干，比 softmax attention 稳定得多。
- 评估架构改动要直接看 GPU-hours 而非理论 FLOPs/参数量；本文的模型形状搜索用 L_E*K 作为通信代价代理，在参数匹配候选中选该值最小者，可复用到自己的搜索流程。
用强化学习训练工具集成数学推理
🧭 RL 训练工具调用数学推理 ★ 深度解读
Department of Energy Science and Engineering, Stanford University
在 Countdown 任务上证明工具调用与 RLVR 互补，Tool-DAPO 把 pass@1 从 35.8% 提升到 66.0%
📌 工作参考价值（4 点）
- 在需要精确数值计算的 Agent 链路（优惠计算、折扣叠加、预算控制、运费）中引入计算器工具，用 <tool>expression</tool> 调用并注入 <obs> 环境观测，可显著减少算术/验证错误；RL 更新时只对模型生成 token 计算 loss，工具输出不参与梯度传播。
- 自动构造带工具调用的 SFT 数据：先定位推理链中的错误算术步，在该步前插入 calculator call，再由参考模型继续生成正确后续推理，能低成本生成 tool-use 训练样本，类似思路可迁移到需要计算校验的 query 理解或搜索词生成。
- 做 RLVR 训练时，若 GRPO 出现训练不稳定，可借鉴 DAPO 的动态采样过滤掉全对/全错 prompt group，或改用 RLOO++ 的 batch-level advantage 归一化，避免零方差 group 带来的噪声更新；本论文中 Tool-DAPO 过滤了 60.7% 的 group，训练效率明显更高。
- 评估 pass@k 时小测试集置信区间很宽，容易误判；建议构造大规模无重叠 held-out set，并用 bootstrap CI 比较不同策略，业务离线评测同理。
用世界模型扩展自动研究智能体训练
🧭 智能体 RL 训练效率优化
University of Illinois Urbana-Champaign · Amazon
用世界模型替代真实环境执行，消除 AutoResearch RL 训练瓶颈，并引入去偏与降噪提升稳定性
📌 工作参考价值（4 点）
- 面向 Agent 后训练 RL：当环境交互成本远高于生成成本时，可训练一个世界模型替代真实环境执行，缓解训练吞吐瓶颈；在电商场景可模拟用户点击、搜索反馈等环境动态。
- 世界模型奖励存在偏差和噪声时，可借鉴 Online Debiasing 维护偏差估计并修正奖励，结合 Inverse-Variance Denoising 对高方差样本降权，提升 RL 训练稳定性。
- 小模型智能体后训练：用世界模型蒸馏环境反馈，可在有限算力下让 4B/9B 智能体逼近甚至超过更大开源模型，适合业务侧轻量级 Agent 部署。
- 该方法在 embodied VLA 策略上也有效，说明世界模型 RL 的分离生成与执行成本的思路具有跨任务迁移潜力。
优化器综述：矩阵感知方法与严格评估协议
🧭 训练优化器设计空间与评估协议
沿时间估计、更新几何、时间线管理、表示与系统四轴综述优化器，指出矩阵感知有效但无普适AdamW替代
📌 工作参考价值（4 点）
- 微调推荐/搜索排序大模型或训练生成式推荐模型时，AdamW仍是默认基准；若Transformer权重矩阵占比高，可对attention投影层、embedding层分组试验Muon/Shampoo等矩阵感知方法，但需控制调优预算，避免一次性全量替换。
- 工程上部署低精度训练或分片训练时，优化器状态量化会直接影响收敛与最终业务指标（如CTR AUC、NDCG），需在业务验证集上确认，不能只看训练loss。
- 面对小批量在线学习或流式更新场景，可尝试schedule-free或小批量校正方法，降低对学习率调度和batch size的敏感性，减少调参成本。
- 建立优化器评估协议：固定数据量、批量大小、参数分区、训练时长和硬件环境，同时报告tokens/s或samples/s、显存占用与最终业务指标，避免单维度对比得出误导性结论。
语义头专业化指导多模态LLM混合ViT注意力设计
🧭 多模态LLM视觉编码器混合注意力设计
Peking University · The University of Hong Kong · Xiaomi Corporation
提出SHS-Index量化ViT注意力头的语义专业化，据此设计Ariadne混合注意力，以6.5倍更少注意力计算匹配全注意力性能。
📌 工作参考价值（4 点）
- 电商多模态商品理解中，若使用 ViT 编码商品图/视频，可用 SHS-Index 诊断注意力头分工是否充分，快速评估替换混合注意力后是否损失语义表达能力。
- 设计高效图像/视频编码器时，优先关注三个结构因素：window interaction（窗口间交互）、token serialization（token 序列化方式）、local softmax allocation（局部 softmax 分配），这比仅调窗口大小或层数更有效。
- Ariadne Attention 在 6.5 倍注意力 FLOPs 降低下接近全注意力，适合线上推理延迟敏感的商品理解链路，可直接作为多模态 LLM 视觉塔的轻量替代，降低推理成本约 13.5% 端到端时间。
- 整体是视觉编码器底层优化，与推荐排序/召回的直接耦合弱，但可作为多模态 embedding 服务降本增效的组件复用。
智能体式工件创建：系统、评估、原则与机会
🧭 Agent 智能体工件创建综述
The Hong Kong University of Science and Technology (Guangzhou) · Zhejiang University · University of Science and Technology of China · Tsinghua University · The University of Hong Kong
综述智能体式工件创建系统，提出有状态构建、运行时验证与反馈重定向的原则
📌 工作参考价值（4 点）
- 在广告创意/商品文案生成中，把生成结果建模为可操作状态，引入运行时验证（如自动检查品牌合规、卖点覆盖）并针对失败局部修复，避免每次全量重生成
- 任务分解需权衡局部复杂度和重组成本：对于强耦合的推荐解释或营销物料，分解过细反而增加协调开销，适合采用分层但保留共享上下文的 agent 架构
- 评估 agent 生成质量时，不要只依赖 LLM 作为评判者，因其可能与生成器共享偏好盲区；应加入业务指标、用户行为或人工抽检等独立信号
- 变更后要重新验证受影响状态，例如广告文案修改关键词后，需重新检查页面落地页一致性、合规性和转化预期
Astar：从历史迭代中学习提出 AI 系统进化方向
🧭 自进化AI系统 · 进化方向提案 ★ 深度解读
Alibaba Group · Zhejiang University
训练专用模型从历史实验日志中学习提出有效进化方向，在 Lazada 广告召回上超越人类专家与 GPT-5.5
📌 工作参考价值（4 点）
- 用历史实验日志构建“方向提案”训练语料：将任意两个实验版本配对，用 loss 曲线判定优劣，可把稀疏迭代日志扩展成密集监督信号；同时用 AST 清理、配置白名单去除无关改动，适合在广告/推荐模型迭代日志上复用。
- 训练轻量 reward model（0.6B 即可 AUC 0.8094）预测改动是否提升指标，替代真实训练验证做候选筛选和 RL 奖励，可大幅降低 AutoML/实验平台试错成本；在业务上可用来预筛离线实验参数。
- 生成式方向提案用分层约束（主方向→模块→具体动作）代替直接输出，显著压缩搜索空间；在推荐系统自动调参、召回模型结构搜索等场景可以借鉴，让 LLM 按固定层级生成，提高可控性。
- 闭环设计：把每次真实执行结果回收为训练样本，让提案模型随目标系统一同进化，避免“静态模型过时”；可集成进现有模型迭代平台，实现每周自动产生并验证多个改进方向。
BALMS：长期心理健康感知的智能体 LLM 基准测试
🧭 LLM Agent 在纵向时序健康感知的评测
Dartmouth College · University of Cambridge
首个系统性基准，评估 LLM Agent 从长期可穿戴信号预测心理健康得分并生成有理据解释的能力
📌 工作参考价值（4 点）
- 在电商/推荐场景，用户行为序列同样长且稀疏，零样本 LLM 直接预测数值型指标（如 CTR、GMV、复购率）可能不如简单均值或周期基线；上线前必须用域内基线严格对比，避免高估 LLM 能力。
- 将原始时间序列压缩为紧凑的语义化特征（如“活跃度”“睡眠质量”）能显著提升 LLM Agent 的推理效果，同时降低上下文长度；可借鉴到用户行为序列的语义摘要，再交给 LLM 做归因或策略生成。
- CoT 对推理型骨干有增益，但不保证时间定位和数值正确性；在 Agent 设计中应加入强制检索步骤、外部工具校验或硬约束，而非仅依赖模型自我解释。
- LLM-as-Judge 可用于自动评估生成式解释的质量，但需将其与数值预测准确率解耦，因为 LLM 可能对流畅但事实错误的 rationale 给出高分；建立多维评估体系可迁移到推荐解释、诊断报告等场景。
表格数据学习中 Transformer 注意力头的重要性评分
🧭 表格 Transformer 注意力头可解释性与剪枝
Tennessee State University · Enosis Solutions · North Carolina Agricultural and Technical University
首次将注意力头重要性评分用于表格 Transformer，72.5% 实验中移除最低重要性头最稳健
📌 工作参考价值（4 点）
- 若业务中正在用 Transformer 处理用户/物品/上下文特征或表格型特征，可直接对每层每个 head 计算重要性分数，按低重要性逐步剪枝；论文在 40 个 tabular 数据集上显示，先删最低重要性 head 在 72.5% 实验中性能损失最小，适合做线上模型压缩和降本。
- 重要 head 跨层分散，没有稳定层规律；因此剪枝/降载时不要固定保留最后一层或某几层，最好在目标业务数据上重新度量。
- 不同 dataset/schema 的 head 重要性差异大，意味着多域推荐或不同场景（CTR、CVR、push 文案）下不宜共用一套 head mask，可分场景/分域计算重要性，甚至做成 feature-based importance 监控。
- 该方法可以作为解释工具，排查表格型 Transformer 里哪些 head 捕捉重要交叉特征/高基数类别特征，辅助特征工程和模型调试；源码可直接复用。
BTS-AgentBench：从只读遥测日志到可复现 Agent 基准的确定性管线
🧭 Agent 基准构建与确定性重放
从工业遥测日志构建可重放、零泄漏多轮 Agent 基准，精确复现 356/87/89 划分
📌 工作参考价值（4 点）
- 用业务日志构造 agent 评估集时，先将原始日志规范化为 read-only tool store，再生成任务，保证工具视图与实际一致，避免评测数据污染。
- 采用 deterministic pipeline + replay report + construction-exclusion controller，确保 train/dev/test 可重建且无答案泄漏；这在电商/客服 agent 评测中可复用到多轮任务生成。
- 对多轮 agent 任务显式添加 clarification、goal revision、timestamp policy、quality-gated reporting、evidence attribution 等类型和边界，能在业务上定义更可操作的 agent 评估维度。
- 对 benchmark 引入 coded contract preflight 和 double build matching，提升构建质量；工程上可以用类似契约测试保障 pipeline 一致性。