#Factuality

3 篇

Memory Is a Derivation: The Distributed-Evidence Paradox in Long-Term Agents

记忆是一种派生：长期智能体中的分布式证据悖论

🧭 Agent 长期记忆写入审计 ★ 深度解读

New York University

提出 DERIVAUDIT 审计框架，揭示记忆写入中证据分散导致有效记忆被误拒、无效组合更难检测的分布式证据悖论

📌 工作参考价值（4 点）

在电商/推荐 Agent 的用户长期记忆系统中，不要只保存单轮抽取事实，应将“写入门控”做成派生验证：对每条候选 memory 用写入前历史做 BM25 检索补充证据（如 top-12、总 budget 16），避免因 writer 附带 citations 不全而误删有效信息；该方法在论文中使 provenance-repaired 保留率从 58–86% 提升到 93–98%。
对记忆进行组合语义校验，显式拆解语义义务：区分事实、关系、时态/状态变化，例如用户历史中“计划购买某品类”和“有高消费偏好”不能组合成“已购买该品类”或“因高消费而购买”；可使用 SUPPORTED / CONTRADICTED / INSUFFICIENT / AMBIGUOUS 四路标签替代简单 yes/no。
注意验证粒度悖论：让 verifier 检查更多细粒度正确事实（增加检查项）可能显著降低有效记忆准入率（Gemma 从 93.3% 掉到 2.6%）。在线上 admission gate 中，不要盲目增加检查项或抬高 threshold，需按模型分别校准，并监控有效记忆留存率。
下游效果量化：失真记忆和缺失记忆都会大幅降低后续回答/推荐质量（失败率增加 84–100pp）。可借鉴其干预实验，对用户画像或 Agent memory 注入 distortion / 删除 valid 条目，测量下游任务失败率变化，以确定记忆质量的实际业务影响。

Agent | 2026-09-27 | HF Daily | score 8/10

When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors

当LLM粗心读表：数据引用错误的衡量与减少

🧭 表格数据引用错误检测与校正

University of Southern California · AWS AI Labs

首次系统评估LLM表格推理中的数据引用错误，通过critic模型检测并过滤错误，答案准确率提升最高12.0%

📌 工作参考价值（4 点）

在Agent工作流中引入轻量级critic模型（4B参数）检测LLM生成中的数据引用错误，尤其适用于需要精确数值的广告预算计算、商品属性提取等场景。
使用critic-based过滤或拒绝采样，对候选回答进行后验验证，无需重训主模型即可提升最终答案可靠性，类似推荐系统中的多阶段过滤。
对于表格类输入（如用户画像、商品参数表），可训练专用的引用错误检测模型，作为安全校验层，降低因数值错漏导致的决策风险。
该方法展示了小模型（4B）辅助大模型推理的有效性，可参考用于电商搜索中的查询改写、结果解释等需要精准数据引用的环节。

LLM | 2026-06-29 | HF Daily | score 7/10

Data Referencing Errors Table Reasoning Critic Model Rejection Sampling Factuality LLM Evaluation

Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement

问，勿判：二进制问题驱动的可解释 LLM 评估与自改进

🧭 可解释 LLM 评估 · 二进制问题分解 ★ 深度解读

Capital One, AI Foundations

将评估准则分解为原子化二进制问题，实现可解释、可诊断且支持迭代提示优化的 LLM 评估框架

📌 工作参考价值（4 点）

可解释的离线评估体系：在推荐/搜索场景中，生成式模型输出（如商品推荐理由、搜索摘要、对话式回应）的评估常依赖人类，或使用单一分数（如 BERTScore）难以定位问题。BINEVAL 的思路可直接复用：将业务评估维度（相关性、信息量、品牌安全、时效性）分解为一组原子化 yes/no 问题，由 LLM 逐一回答并聚合得分，每个 badcase 都能追溯到具体问题，让离线评估从黑盒变为可诊断的诊断工具。
自动化 Badcase 分类与监控：线上实验通常只能看到整体指标下跌，不知道哪类问题在增多。可以借鉴 BINEVAL 的二进制问题设计，构建一套自动化质检 pipeline，对线上采样结果用 yes/no 问题检测是否违背特定规则（如“是否包含虚假价格”“是否推荐已下架商品”），再聚合为各类问题发生率，快速定位系统退化点。
迭代式 Prompt 优化：在 Agent 或生成式推荐场景，prompt 版本迭代缺乏客观反馈信号。可用 BINEVAL 的“自我更新”或“跨模型更新”模式，对失败样例提取教训并自动改写 prompt。该 trick 尤其适用：当模型已有能力但未被正确引导时（如格式化输出、关键词包含），通过少量失败样本的二进制反馈即可稳定提升；但对需要精确计数或复杂推理的能力瓶颈，则应避免过度优化，以免 prompt 膨胀损害其他维度。
评估者模型迁移的对齐：当从一个大模型（如 GPT-4）迁到较小开源模型作为评估器时，BINEVAL 的跨模型 prompt 更新能利用强大模型的二进制问答结果作为参考，通过找出不一致的二进制问题并提取教训来对齐新模型的评估行为，降低迁移成本并保持评估一致性。

Eval | 2026-06-25 | cs.CL | score 8/10

LLM Evaluation Binary Decomposition Interpretability Prompt Optimization Factuality