超越求解器裁决：用于自动形式化的生成式奖励模型
🧭 Autoformalization · 生成式验证
Case Western Reserve University · Amazon Web Services
将离线 Z3 等价 oracle 蒸馏为生成式连续等价评分，检测 VPU，AUROC 0.961，并带来 11.3 点下游提升
📌 工作参考价值（4 点）
- 把验证器从结构化硬判定升级为连续、参考无关的 reward model：在 query 改写、商品属性约束生成、Agent 工具调用结果校验等场景，训练一个生成式等价性打分器，能捕捉“执行成功但语义偏移”的失败样本，弥补规则/校验器只查语法和返回码的盲区。
- 用离线 oracle 蒸馏低成本验证器：电商/推荐里可用大模型、人工标注或仿真环境构造等价/非等价对，蒸馏到轻量 LM 作为 reward model，再用于线上样本过滤、beam search 重排或 RLHF-style 优化。
- 将连续验证分数用于 agentic test-time compute allocation：对候选生成结果按参考等价性评分动态分配采样/回溯预算，比固定采样或仅按 solver 成功分配更稳；可直接借鉴到多步商品推荐解释、购物 Agent 路径选择。
- 机制分析 trick：通过 decision-projected logit lens / sparse autoencoders 定位 LM 生成中的错误坐标，可用于诊断商品属性约束生成中“哪个 token 维度导致不可满足或不一致”，帮助后续提示或微调。
SAEScientist-Bench：AI智能体能否自主进行SAE可解释性研究
🧭 Agent 自主可解释性研究评估
The Key Laboratory of Cognitive Intelligence, Institute of Automation, CAS · School of Artificial Intelligence, University of Chinese Academy of Sciences
提出 SAEScientist-Bench 基准，评估 AI 智能体利用稀疏自编码器进行自主机制可解释性发现的能力，揭示其与专家水平的差距
📌 工作参考价值（4 点）
- 在 LLM 用于电商/广告文案生成或搜索推荐场景中，可借鉴 SAE 做特征级可控生成：提取概念特征（如价格敏感、品牌偏好、促销意图），通过 causal steering 干预输出，实现更细粒度的生成控制。
- 自动化特征挖掘流程值得迁移：参考本 benchmark 中 agent 设计 contrastive probes 的方法，对候选语义特征进行激活排名、选择性测试和因果扰动验证，可减少推荐系统中人工审核特征重要度的成本。
- 评估体系可直接复用：使用激活排名、概念选择性和因果 steering 三个维度评估特征与目标概念的相关性，适合用于模型审计、特征归因以及内容安全检测。
- 注意 agent 在实验测量解释上存在明显错误，实际落地时需加入人工校验或强约束规则，避免因误读实验数据导致错误结论。
视觉-语言模型嵌入的稀疏解耦与概念解释
🧭 多模态嵌入的可解释性
Jagiellonian University, Kraków, Poland · Warsaw University of Technology, Warsaw, Poland
提出CEDAR，通过可逆旋转+top-k稀疏瓶颈，不扩大维度实现多模态嵌入的稀疏解耦与概念对齐
📌 工作参考价值（3 点）
- 主要学术贡献，针对视觉-语言模型可解释性，业务可直接迁移的工程方法较少。
- 可借鉴旋转+top-k稀疏瓶颈的思路，对电商多模态商品向量（如CLIP嵌入）做后处理，将语义属性轴对齐，便于运营理解与人工调控，例如将某维度对应“颜色”或“风格”概念。
- 方法保持维度不变、可逆，避免SAE的冗余与几何失真，适合线上对延迟敏感的场景，可给已部署模型附加可解释性。