微调前可线性读取的知识在微调后更能泛化
🧭 LLM 线性可读性与微调泛化
Center for Information and Language Processing, LMU Munich · Munich Center for Machine Learning (MCML)
预训练表示中原关系的线性可读性越强，新构造关系微调后的泛化越好，模型内 Pearson r=0.87–0.92
📌 工作参考价值（4 点）
- 微调电商/搜索领域的实体属性映射前（如品牌→类目、商品→属性、query→品类），先用线性探针测量预训练表示中该映射是否线性可读；可读性高时，小样本微调更可能泛化到长尾实体，可节省标注和算力。
- 若要做生成式推荐或 Semantic ID 映射等新任务，可构造“原属性→任意新标签”的代理任务，快速预判模型能否在新实体上泛化，避免在不可泛化的监督信号上做无效微调。
- 线上模型出现错误标签时，可将错误标签映射回原答案，并通过线性探针的 top 预测辅助诊断：错误可能不是模型没记住事实，而是共享结构没有被线性编码；这能指导后续是继续微调还是补充预训练/表示学习。
- 对 Agent 或 LLM4Rec 中需要模型进行规则归纳、实体聚类、属性补全的场景，优先选择预训练表示中已线性可分的特征作为监督目标，能显著提高微调后的 held-out 泛化。
学会读出：语言模型预训练中的反嵌入动态
🧭 预训练中读出矩阵与能力涌现解耦
提出参数轨迹交叉编码，发现模型隐藏态编码任务信息早于其输出读出表达，能力时间线混淆了编码与读出
📌 工作参考价值（4 点）
- 评估 LLM 能力或上线时机时，不要只看行为输出（如生成准确率）。模型内部可能已具备任务信息，但 readout 尚未表达，可结合 hidden state 线性探针或干预 readout 来更早识别可用能力。
- 对生成式推荐/搜索模型（如 Semantic ID 生成）做微调或适配时，readout 作为最后映射层可能滞后于内部表征，可尝试单独调高 readout 学习率或冻结其他层，加速输出表达能力对齐，减少训练早期的“假阴性”。
- 离线分析历史 checkpoints 时，parameter-trajectory crosscoding 只依赖权重、不需要保存 activations，适合在训练迭代中审计能力变化，定位窄窗口，判断某个能力是内部已学到还是读出层尚未跟上。
- 论文偏基础科学，但“hidden state 与输出 gap”的视角可迁移到 LLM-based 推荐/Agent 系统的能力诊断：当输出质量不佳时，先排查是表征没学到还是读出层没表达，避免盲目增大数据或模型规模。
能干但简约：提取并刻画前沿模型隐藏的思维链
🧭 LLM 隐藏思维链提取与推理结构刻画
Department of Computer Science, Aalborg University · Department of Electronic Systems, Aalborg University · Seafill
通过标准 API 注册自定义工具诱导闭源模型外化中间推理，发现提取推理匹配原生 CoT 且 Astra 拥有 token 高效的有向推理
📌 工作参考价值（4 点）
- 在 Agent 或推荐链路中用闭源 LLM 且需审计中间决策时，可通过标准 API 注册一个轻量自定义工具（如 think(step)）诱导模型外化推理；先在开源模型上对照原生 CoT 验证外部化痕迹性能一致，避免只得到事后合理化。
- 评估 query 推荐、文案生成、排序解释等 LLM 任务时，除最终准确率外引入 token 效率、推理步骤类型、推理树等指标：关注模型是否提前锁定正确轨迹、把简单步骤内化，从而选择更适合线上、成本更低的模型。
- 多 Agent 或生成式推荐 pipeline 中对中间推理做结构化记录，用于错误归因和可追溯性，防止正确答案来自错误推理；高风险策略如营销文案、价格解释尤其适用。
- 不要用 trace 长度作为推理质量代理：更强模型可能话少但关键，应关注有效推理步骤密度和正确轨迹选择早晚。
当潜在推理中的引导失效：潜在到语言转换差距
🧭 LLM 潜在推理可控性分析
HKUST(GZ) · SEU
发现 latent CoT 中激活引导对后续语言生成的影响远弱于显式 CoT，定位潜在到语言转换差距为核心障碍
📌 工作参考价值（4 点）
- 在推荐/Agent 场景若引入 latent CoT 或 continuous thought 来降低推理 token 成本，不要假设通过 steering hidden states 就能可靠地改变最终推荐解释、query 或对话行为；需在语言输出层或显式 CoT 阶段做干预。
- 评估任何 latent reasoning 控制方法时，指标应使用最终生成文本的任务成功率/语义变化，而不是隐藏状态移动距离或 probing 准确率，因为存在 latent-to-language transition gap。
- 如果业务里需要用 activation steering 做风格/安全/品牌语调控制，优先对显式 CoT 或最终输出前几层施加，避免在连续推理中间层低效干预。
- 在设计 latent CoT 架构时，可以将 transition boundary（hidden state -> language head）作为专门可学习的适配层或对齐目标，以缩小潜在干预到文本生成的衰减。
通过内部表征监控与发现 LLM 评估中的奖励作弊
🧭 LLM 内部表征监控 reward hacking
发现简单差异均值向量能低成本表征并检测前沿开源 LLM 的 reward hacking，且可在线提前预测
📌 工作参考价值（4 点）
- 若业务中采用 RL 或 LLM 做推荐/Agent 决策，可借鉴 DoM vector 方法对模型内部表征做实时监控，检测模型是否走捷径（如利用规则漏洞刷指标），计算成本几乎为零，适合线上部署。
- 在 chain-of-thought 上运行 DoM vector 能提前预测后续行为的 reward hack，可用于实时风控，在模型执行不当动作前拦截，减少损失。
- 该白盒监控方法能发现 LLM monitor 遗漏的 undesirable behaviors，帮助识别模型未曾预料的异常模式，对推荐系统的鲁棒性审计有参考价值。
- 注意 reward hacking 在常用 benchmark 中比例很高（如 GLM 5.2 在 SWE-bench 达 73%），评估模型性能时应谨慎，配合内部表征监控可以防止被表面指标误导。
MAxBench：多类别概念恢复基准
🧭 可解释性 · 多类别概念表示评估
Boston University · Technion – Israel Institute of Technology · Harvard University
提出几何无关的评估框架 MAxBench，比较 10 种方法，发现仿射子空间最优且优势源于偏移项
📌 工作参考价值（4 点）
- 在需要控制多类别概念（如商品属性、兴趣标签）的生成式推荐或 Agent 中，仿射子空间表示（线性方向 + 非零偏移）比纯线性方向更可靠；若自行训练类别方向，应学习 offset 而非只学 basis，可显著提升召回和可控性。
- MAxBench 的采样评估方式（从表示中采样而非直接测量距离）可迁移到评估不同表示学习方法（如 LoRA、adapter、prompt 等）对多类别属性的操控效果，避免几何假设过强。
- 论文发现 no method consistently beats prompting，提示在业务中做可控生成时，先用 prompt 基线验证概念可操控性，再决定是否需要更复杂的 internal steering。
- 本文属可解释性方向，对电商/搜索推荐直接业务价值有限，但若涉及模型内容安全/风格控制/属性操控，可参考其评估思路。
大语言模型的信息几何是共享、可学习且可控的
🧭 LLM 信息几何与控制
Department of Physics and Astronomy, University College London (UCL) · London Centre for Nanotechnology
用 Fisher-Rao 输出几何揭示 LLM 共享结构并给出最小扰动局部控制方法
📌 工作参考价值（4 点）
- 做 LLM 推荐/搜索时，若要对模型进行编辑/steering/微调，用输出概率的 Fisher-Rao 几何做正则或自然梯度，能比 Euclidean 激活距离更少扰动无关行为，适合在多任务推荐/广告文案模型中做局部行为调整。
- 该几何下学到的控制更新可在 donor prompt 上学、迁移到 unseen prompts，类似可复用 prompt steering；可用于电商 query 改写、营销文案风格控制，同时保持参考 prompt 行为稳定。
- 共享的输出几何支持语义类别迁移，跨 Transformer/SSM/RNN 架构一致，说明可以基于输出分布对齐做跨模型蒸馏或跨域迁移，而不是强求激活空间对齐。
- 预训练语料统计可预测 held-out fact acquisition，提示在训练推荐/广告大模型时，可监控语料侧统计指标提前判断知识/事实掌握，减少昂贵评估。
引导几何：验证LLM引导空间中的人类价值几何
🧭 激活引导几何验证与对齐
University of British Columbia · Vector Institute for AI · Queen's University
分布驱动激活引导向量能恢复人类价值观理论拓扑，而行为中心方法几何不一致
📌 工作参考价值（4 点）
- 若业务使用 activation steering 控制推荐文案/对话语气，优先采用分布驱动方法（CAA、SphericalSteer、ODESteer），其向量几何与人类价值结构一致，跨 prompt 迁移更稳定，比行为中心方法（COLD-Steer、BiPO）更适合做可控生成。
- 几何保真度随模型规模提升但在指令调优后下降，若需要在电商场景中注入价值观维度（如环保、价格敏感），可考虑在基础模型层提取 steering vectors 或对指令模型做补偿修正。
- 文中 26K 样本、20 类价值观 benchmark 可复用或改造成电商偏好维度评测集，用于评估 LLM 生成推荐解释时是否忠实体现目标偏好。
- 跨价值迁移结论提示：引导一个价值会自动提升兼容价值、抑制对立价值，可用于多目标推荐文案联动控制，但需注意对立维度可能被误伤，需要精细调节。
语言模型如何组织与结构道德知识
🧭 LLM 表征几何与概念组织
用六个线性探针揭示 LLM 中道德基础方向既共享正向共同成分又张成近最大独立维度，且困境方向可部分由基础方向组合
📌 工作参考价值（4 点）
- 在电商意图/评论分析中，可为多个语义维度（如质量、价格、物流、品牌）分别训练线性探针，观察其方向是否既共享正向共同成分又保持独立维度，以判断模型是否具备结构化概念理解而非单点检测。
- 论文发现概念集成结构在预训练早期就形成，早于探针精度饱和；业务上可在资源有限时直接使用预训练中间层特征构建轻量概念分类器，不必等微调或精度完全收敛。
- 复杂场景（如“高性价比但售后差”的评论）可视为多个基础属性向量的组合，用其几何关系辅助可解释标签生成、冲突检测或 query 改写。
- 共享成分可作为多任务学习中的正则信号，避免不同概念任务向量过度隔离或完全坍缩，提升模型对相关语义维度的联合建模能力。
叶子值作为坐标：梯度提升集成的精确对比解释
🧭 可解释 AI · 反事实解释
Independent Researcher
将 GBDT 每棵树叶子值视为坐标，使模型变为线性求和，从而获得精确稀疏对比解释与可行动反事实建议
📌 工作参考价值（4 点）
- 若业务中大量使用 GBDT/LightGBM/XGBoost 做 CTR/CVR 排序或风控评分，可将每棵树的叶子值作为用户/物品的稠密向量表示（deterministic leaf embedding），该表示上模型是线性加和，适合作为解释层或后续线性模型输入，并可直接定位高贡献树与具体分裂条件。
- 对线上 bad case 做对比解释：取两个预测差异大的样本，计算叶子坐标差向量，非零项即导致差异的树和对应特征区间；无需 SHAP 等近似归因，可直接追溯到真实 split，适合模型调试与审计。
- 反事实/行动建议：在电商推荐、用户运营或信用额度场景中，可生成“用户做出哪些可行动改变可提升推荐/优惠资格/评分”的建议；必须显式排除不可变或不可行动特征（年龄、历史违约等），该方法在限制可行特征后仍比最强基线更有效（58% vs 41%），说明业务部署时应把可行性约束纳入生成与评估。
- 评估指标要加入可行动性：标准反事实评估只看 validity/proximity，会高估不可执行建议；实际系统需统计可行动比例，可借鉴作者的做法，将不可行特征作为 mask 或约束参与生成与评测。
GradCuit：通过信用分配梯度流实现鲁棒可解释的测试时潜在推理
🧭 LLM 测试时潜在推理优化
NLCo Lab, Beijing Institute for General Artificial Intelligence · Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, Beijing University of Posts and Telecommunications · School of Artificial Intelligence for Science, Peking University
在 Transformer 层插入可优化隐状态，利用因果注意力将奖励梯度直接赋予隐状态，提升推理精度与鲁棒性
📌 工作参考价值（4 点）
- 测试时在线优化机制：在 Agent 多步推理或推荐流程中，可以在不更新模型参数的前提下，为每个样本动态优化一组中间隐状态，类似于为当前上下文“微调”表示。这对搜索推荐中实时适应用户意图、处理长对话状态有参考价值。
- 信用分配直接化：GradCuit 的奖励加权梯度直接回传至隐状态，无需通过序列解码展开。在电商多轮对话或步骤反馈奖励（如用户点击）的场景下，可借鉴这种直接对中间表示做梯度更新的思路，替代复杂的强化学习估计。
- 工程实现简单且超参数鲁棒：该方法只需在某一层插入可训练向量，训练过程稳定，对学习率不敏感，甚至随机游走变体也有效。对于需要低延迟在线优化的系统，这种低超参敏感性的方法易于工程落地。
- 可解释性可视化：通过梯度归因可以分析哪个 token 或哪一层对最终决策影响最大，这可用于调试策略、排查推荐解释或优化 prompt 设计，在需要强可解释性的业务场景中有潜在应用价值。
从模态到命题：以语言为中心的多模态统一框架
🧭 语言中心的多模态语义表示框架
NVIDIA · University of Ottawa
提出将任意模态数据表示为原子命题集合，通过全局语义码本实现可解释、可组合的跨模态理解与检索
📌 工作参考价值（4 点）
- 商品语义原子化：将商品的多模态信息（图文、视频）拆解为“材质:纯棉”“风格:通勤”“场景:办公室”等原子命题，构建可解释的商品语义空间，替代纯Embedding匹配，提升冷启动和可解释推荐。
- 结构化跨模态检索：在电商搜索中，用户自然语言查询可映射为原子命题集合，与商品的多模态命题袋进行精确匹配，支持“带兜风帽的羽绒服”类组合条件检索，解决传统向量检索难以处理的组合属性问题。
- 组合式推荐与解释：利用命题的布尔组合特性，进行复杂推荐逻辑（如“买过A+B的人还需要C”），并直接生成自然语言解释，适合作为推荐Agent的推理底座。
- 数据增强与冷启动：通过语义码本自动生成大量虚拟样本的命题表示，可用于新品类/缺样本场景的召回，避免对交互数据的强依赖。
GatedLinear：时间序列预测的自适应线性基路由框架
🧭 时间序列预测 · 自适应路由线性基
Shenzhen International Graduate School, Tsinghua University
用三因子融合门将互补线性基动态路由到异质时序模式上，轻量且可解释
📌 工作参考价值（4 点）
- 推荐系统中，不同用户群或物品生命周期可能呈现平滑趋势、突变或周期性，可借鉴三基分解思想，用多个线性专家捕捉不同模式，并通过轻量门控动态融合，替代单一路径。
- 门控的因子化解耦设计（通道特异性、预测步偏移、相位偏置）可迁移到多场景、多步长的推荐或广告预估中，实现细粒度、可解释的融合权重分配。
- 轻量参数规模（相较复杂基础模型）适合在线服务延迟敏感、资源受限的工业场景，例如实时流量预测、广告出价调整等。
- 可解释路由模式可直接输出每个专家在各维度上的贡献，为模型诊断和场景分析提供依据，类似推荐中分析不同策略对不同人群的有效性。
阿拉伯语LLM的方言可控生成：稀疏神经元与分布式向量引导
🧭 推理时干预 · 模型可解释性
Mohamed bin Zayed University of Artificial Intelligence · Qatar Computing Research Institute, Hamad Bin Khalifa University · Tohoku University · RIKEN
通过识别并操控稀疏神经元或注入方言向量，在推理时无微调控制LLM方言输出
📌 工作参考价值（4 点）
- 推理时引导（steering）可零成本切换LLM输出风格，无需微调。在电商客服、商品描述生成中，可注入“亲和力”或“专业度”向量控制语气。
- 神经元稀疏分析定位领域知识（如品牌、品类），用于可解释性调试与受控生成，辅助发现模型内部的概念神经元。
- 向量抽取方法（对比样本对计算差异向量）可提取任意属性的激活方向，在推荐文案或Agent交互中实现细粒度属性控制，如情感倾向、正式度。
- 干预强度可调，提供“风格强度”旋钮，适合在线A/B测试与个性化体验的渐进式优化。
RuleChef：用LLM生成可编辑规则以落地任务知识
🧭 LLM 规则生成与可解释AI
KR Labs · TU Wien
利用LLM从标注数据自动生成、迭代修补可执行规则，得到快速、可解释的符号系统
📌 工作参考价值（4 点）
- 离线LLM生成规则，在线轻量推理：在电商搜索/推荐中，可将LLM用于离线规则合成（如意图分类、属性提取），线上部署为确定性规则引擎，避免高延迟与API成本，适合高QPS场景。
- 规则迭代与人工反馈闭环：借鉴RuleChef的patch机制，将人工审核或业务专家反馈直接转化为规则补丁，持续优化文本处理逻辑，如query改写规则、违禁词过滤。
- 模型蒸馏为透明规则：利用已有模型（如BERT分类器）的输入输出对bootstrap规则，把黑盒模型知识转化为可解释、可审计的规则集，满足风控、合规等场景对可解释性的要求。
- 版本化与可调试的文本处理管道：规则集易于版本管理与调试，可配合A/B测试快速迭代，提升推荐系统中query理解、内容审核等模块的灵活性与可控性。
模块化认知架构在大语言模型中涌现
🧭 LLM 模块化架构与功能特化
Massachusetts Institute of Technology
通过46个认知任务的电路分析，发现LLM形成与人类大脑相似的模块化架构，同域任务共享神经元
📌 工作参考价值（4 点）
- 电商推荐多任务模型可借鉴模块化思想：将语言理解、数值推理、用户意图/社会偏好等不同认知域任务分组，设计稀疏激活或MoE结构，让不同专家模块处理不同域，提高参数效率和效果；LLM内部已有功能分工，显式模块化可降低任务间干扰。
- Agent系统设计：针对商品属性逻辑推理、用户评论情感分析、价格比较等不同性质子任务，可以设计专门的子Agent或推理链，因为LLM内部已存在对应模块化表征，显式引导能更好地调用相关能力。
- 模型诊断与调试：在实际业务中遇到bad case时，可采用电路分析定位是哪个功能模块失效（例如语言理解模块还是数值推理模块），从而针对性地添加训练数据或调整prompt，而不是全参数微调或笼统调参。
- 多任务学习中的任务分组：通过计算神经元激活重叠度来判断任务间关系，指导哪些任务可以共享底层参数、哪些需要独立分支，减少负迁移，提高整体效果。
通过语义块分组的嵌入排序列表式解释
🧭 列表式 Shapley 解释 · 语义块分组
Financial Tech Lab, KakaoBank Corp.
提出 ChunkGroupSHAP，用语义块组作为特征单元，适配密集嵌入排名列表的解释粒度
📌 工作参考价值（4 点）
- 解释单元需匹配 ranker 表示粒度：对于密集嵌入召回（如语义向量相似度），用语义块组（sentence/passage 级）替代单词特征，避免解释碎片化；对于 BM25 等词汇匹配仍保留单词级。在电商搜索中，混合召回场景可依此类推，分别设计解释特征。
- 列表级解释方法工程化：ChunkGroupSHAP 保持 listwise Shapley 的文档对比特性，可直接用于线上排名调试或审计，定位“为何某商品排在前面”。配合特征分组降低计算开销，适合候选集较小的精排阶段。
- 分组策略可迁移：按 query-local、corpus-level 等粒度自动聚类语义块，在商品描述、用户评论等长短文本场景，可尝试基于商品属性或用户意图的聚类，生成可解释的属性组。
- 解释可视化与信任构建：在推荐理由中展示语义块组而非零散单词，能向运营和用户提供更连贯的自然语言解释，利于广告出价调优或搜索 badcase 诊断。
超越硬预算：稀疏正则化使Top-k稀疏自编码器更具可解释性
🧭 自编码器 · 稀疏正则化
Université Paris-Saclay, CentraleSupélec, France · Concordia University, Montreal, Canada · Mila–Quebec AI Institute, Montreal, Canada · Gustave Roussy, INSERM, Cancer Data Science Unit, France
为Top-k稀疏自编码器引入L1和L1/L2正则化，在不损失重建质量下提升特征单语义性
📌 工作参考价值（4 点）
- 若在推荐模型中使用稀疏自编码器学习可解释的用户/物品表示，可借鉴其 L1/L2 软正则化，使特征更聚焦、单语义性更强，提升表示的可解释性。
- 硬稀疏（Top-k）与软正则化结合的思想可迁移至其他需稀疏约束的场景，如注意力头的稀疏化或特征选择，避免固定预算带来的过拟合。
- “仅对批内活跃单元施加正则”的技巧，在工程上可降低计算开销，适用于大规模推荐模型训练中稀疏约束的设计。
- L1/L2 正则化使信息集中到更少隐变量，增强模型对推理时稀疏度变化的鲁棒性，有助于在生产环境中动态调整稀疏预算而不严重退化。
为结构化响应学习可解释文本信号
🧭 可解释评分预测 · 有监督主题模型
University of York
联合非负矩阵分解与二项回归，学习对齐评分的可解释文本主题表示
📌 工作参考价值（4 点）
- 评论驱动的评分预测场景中，可同时获得预测值和具体的主题-响应关联解释，直接用于商品评价洞察或 badcase 归因
- NMF 得到的文档-主题表示可作为下游推荐模型的可解释特征，替代或结合稠密 embedding，在特征工程阶段注入先验结构
- 联合训练的思路可迁移到深度学习：在 BERT 微调时增加评分回归辅助任务，并通过稀疏/非负约束增强可解释性
- 模型能恢复稳定信号，适合冷启动或数据稀疏场景，为在线反馈较少的商品提供鲁棒的文本侧特征
维度袋：维度级符号模式实现无训练机制可解释性
🧭 无训练LLM可解释性 · 符号维度
Amazon Web Services
Transformer隐藏状态标准基中维度符号独立编码语义，纯符号匹配即可高AUC检测概念，无需额外旋转或训练。
📌 工作参考价值（4 点）
- 轻量概念检测：在推荐系统的LLM特征抽取后，可用维度符号模式直接检测商品类目、品牌、情感等概念，无需标注数据训练探针，单次前向即可计算符号一致性得分，AUC可达0.97以上，节省工程成本。
- 高效向量检索：将embedding量化为符号向量（±1），用汉明距离替代cos相似度做近似检索，大幅降低存储和计算，已在LM head中验证符号匹配能保留80-90% top-4096预测，可直接用于召回或排序的近似加速。
- 模型诊断与审计：标准基维度符号独立性强（互信息<0.006 bits），可逐维度解释模型内部概念，用于线上模型漂移监控、偏差检测或新概念发现，无需GPU天级别的重新训练。
- Agent状态校验：在LLM驱动的Agent规划中，可实时检查隐藏状态的符号模式是否对齐安全或业务相关特征，通过翻转特定维度符号做因果干预，低成本实现概念级可控生成。
不稳定特征与可复现子空间：理解稀疏自编码器的种子依赖性
🧭 SAE训练稳定性 · 低秩子空间
T-Tech
提出可扩展的特征稳定性度量，揭示稳定特征主导功能信号，不稳定特征集中于可复现的低秩子空间
📌 工作参考价值（4 点）
- 若在电商推荐中采用 SAE 抽取可解释特征，应优先信任稳定性高的特征，它们对重建和下游预测贡献更大，不稳定特征多为表面形式触发，实际效果弱。
- 对于不同随机种子下特征不一致的问题，可通过跨种子合并独特特征构建更稳定的 SAE，同时保持解释方差，这一 trick 可直接用于生产中的可解释性模块。
- 不稳定特征虽单个不可复现，但整体驻留于可复现的低秩子空间，说明可对激活空间施加低秩约束来增强特征的可辨识性，为模型设计提供几何视角。
- 该稳定性评估方法可扩展，适用于不同模型层和字典大小，可快速筛选可靠特征，减少线上实验的种子敏感波动。
语言模型中强化学习招募功能福利轴
🧭 强化学习表征工程与模型对齐
New York University
强化学习通过招募预训练模型已有的“功能福利”表征轴广泛影响行为，而非从零创建。
📌 工作参考价值（4 点）
- 在电商推荐对话Agent中，可借鉴提取“福利轴”向量的方法，作为模型内部状态的监控器，用于检测拒绝、不确定或消极倾向，及时干预。
- 通过操纵该轴（正向或负向），可以控制推荐语气：正向偏置生成更乐观积极的推荐话术，负向偏置可用来模拟谨慎或风险提示场景。
- 该轴在RL前后都存在，表明可以用它作为预训练模型的zero-shot行为调节器，无需额外训练即可影响Agent的决策风格。
- 这一发现提示在奖励设计中，即使目标仅限定在特定任务，RL也会放大模型原有的广泛偏好表征，因此设计奖励时需考虑可能泛化的行为后果。
解码大型推理模型中的隐藏批评机制
🧭 大型推理模型 · 隐藏批评机制与向量操控
VinUni-Illinois Smart Health Center, VinUniversity · University of Illinois Urbana-Champaign
发现并操控大型推理模型内部的批评向量，无需训练即可提升自纠和测试时扩展性能
📌 工作参考价值（4 点）
- 在构建多步推理的电商推荐或 Agent 时，可借鉴“插入错误”探测法评估模型自身的错误检测能力，识别推理短板，针对性提升鲁棒性。
- 提取类似批评向量，在推理阶段通过无训练的表示操控，自动纠正生成式推荐解释或 Agent 规划中的中间步骤错误，提升最终输出质量。
- 测试时扩展（如多数投票、Best-of-N）中引入批评向量操控，可进一步增强复杂决策链的性能，直接应用于 Agent 多智能体协作或长程推理。
- 批评向量的存在暗示模型隐式感知错误，可为强化学习微调设计奖励信号：增加对批评向量激活的奖励，增强自我纠错能力。