开源大语言模型临床分诊偏差的反事实审计
🧭 LLM 反事实公平性审计
Virginia Tech · University of Washington and Seattle Children's Hospital · Children's National Hospital
反事实审计10个开源LLM的临床分诊偏差，发现敏感性与模型规模/医疗预训练非单调，QLoRA微调版本最低
📌 工作参考价值（4 点）
- 在生成式推荐/Agent 决策中，可复用成对反事实审计：仅改变用户画像中的性别、会员等级、设备、地区或商品价格带等单一敏感属性，固定其他上下文，统计输出列表/排序变化，低成本发现模型对敏感特征的依赖。
- 不要只看 aggregate shift 率：要按敏感属性分组，分别观察方向性（类似 overtriage/undertriage），例如是否系统性打压某类用户或过度曝光某类商品，否则聚合指标会掩盖局部严重偏差。
- QLoRA 微调可能降低总体敏感性，但不一定消除方向性偏差甚至引入新偏差；微调后必须重新跑反事实评估和分层分析，不能只测总体准确率。
- 选 LLM 做排序/决策支持时，更大模型或领域预训练不自动更公平；建议对候选模型统一跑反事实测试集，结合真实与合成样本，作为选型和上线前评估的一部分。
面向 LLM 助理的可验证社会推理评估框架
🧭 评估框架 · 多智能体模拟 · 社会推理
Google Research · Hebrew University · University of Cambridge
构建多智能体模拟框架 Fuse，用隐藏动机与用户中介生成可验证社会推理评估，揭示 LLM 对偏见框架的系统性敏感
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 客服场景中，可借鉴 Fuse 的多智能体模拟思路：让一个“用户代理”带着有偏/不完整信息咨询 LLM，同时隐藏真实意图作为 ground truth，低成本构建可验证的对话推理评估集，避免依赖昂贵人工标注。
- 论文发现 LLM 对用户偏置框架敏感，提示在电商导购/客服机器人中需警惕用户主观描述（如“我觉得这是假货”“这个商品很差”）引入的偏差，可在 prompt 中显式要求模型分离事实与用户评价，或引入多轮确认机制而非直接采信。
- “更长对话并不总是提高性能”的结论可迁移到对话策略：不要默认多轮追问一定好，应结合用户耐心和任务难度设置最大追问轮数，或训练模型只在关键信息缺失时提问。
- 评估中区分模型所需细节与人类所需细节的思路，可用于生成式推荐的评测：设计“信息效率”指标，衡量模型在最少用户输入下能否正确推理偏好，而不仅是最终准确率。
OSReward：建立跨平台计算机使用奖励模型的标准化评估基准
🧭 计算机使用Agent奖励模型评估
The University of Hong Kong · Nanjing University · National University of Singapore · University of Science and Technology of China · Xi'an Jiaotong University
揭示VLM评判器普遍存在宽松偏差，并推出低成本开源奖励模型OS-Shepherd实现可靠自动化评估
📌 工作参考价值（3 点）
- 警惕LLM-as-Judge中的宽松偏差：在电商搜索、推荐系统的离线评估或RLHF reward模型中，若直接使用商业VLM作为评判器，可能系统性地将失败案例误判为成功，需通过构建类似OSReward-Hard的对抗样本集进行可靠性校准。
- 用reasoning标注蒸馏小型评估器：借鉴OS-Shepherd的思路，收集专家推理标注的评估数据集，训练7-9B的小模型替代GPT-4o等大模型作为评估器，实现30-60倍成本下降，同时保持高一致性，适合大规模线上监控或离线评估。
- 多维度细粒度评分设计：可迁移OSReward-Multi的评分框架，在推荐业务中将评估分解为效率、对齐、多样性等子维度，便于定位Agent或推荐策略的具体短板。
QuantiBias：量化 LLM 的开放式偏见基准测试
🧭 量化偏差评测
University of Southern California
量化模型通过标准安全检测却常在开放式生成中输出刻板印象，须单独评估
📌 工作参考价值（3 点）
- 业务中部署量化 LLM（如对话推荐、广告文案生成）时，仅靠拒绝检测和选择题安全评估不够，需补充开放式生成场景的偏差抽样，否则可能放大隐性刻板印象。
- 可借鉴 QuantiBias 的控制条件设计：配对无害/有害拒绝探测、多项选择与开放式生成，构建内部审查工具，精确分离生成过程中的偏见来源。
- 尝试在 prompt 中引导模型逐步推理（CoT），可能在某些 backbone 上显著降低量化引入的开放式偏见（实验中减半），可作为无成本的缓解措施先上线验证。
大模型时代可信推荐：机遇与挑战综述
🧭 LLM增强推荐的可信性综述 ★ 深度解读
Zhejiang University · Leiden University · University of Science and Technology of China · National University of Singapore
系统梳理LLM推荐在鲁棒性、公平性、可解释性等六维度的13项机遇与18项挑战，揭示其双刃剑效应
📌 工作参考价值（4 点）
- 冷启动与数据增强：可借鉴LLM生成合成交互（如ColdLLM、LLM-search）或提取语义嵌入（MoRec）来缓解新物品/新用户冷启动，电商上新时直接调用LLM生成高质量伪样本辅助训练。
- 攻击防御策略：在Agent推荐系统中，警惕记忆污染攻击（如DrunkAgent）；可部署LLM驱动的防御模块（如LoRec）做恶意用户检测，或利用语义一致性检测伪造文本（P-Scanner）。
- 偏见缓解工程：微调推荐LLM会放大流行度偏见，可结合逆倾向加权（IPS）或DPO框架（如SPRec）做解耦训练；推理时通过随机打乱候选集多次生成并聚合结果（STELLA、RecRanker）缓解位置偏见。
- 可解释性落地：利用LLM生成个性化自然语言解释直接提升用户信任（如Chat-REC），但需用人类反馈或奖励模型对齐；在评估阶段，可直接用LLM作为可解释质量的多维度自动评测器，降低人工成本。
PolyGnosis 2.0：基于Agent工程提升LLM在预测市场与OSINT中的洞察推理
🧭 多智能体协作 · Harness 工程 ★ 深度解读
The Chinese University of Hong Kong · Evolution AI Lab
通过可控消融实验量化多智能体反射、分治等 Harness 技术对推理准确率的效用，发现分治是关键，终端反射有害。
📌 工作参考价值（4 点）
- 组件效益的消融方法论：论文对聚类、推理阶段的反射、工具调用、分治、CoT 进行了系统的 A/B 实验，并量化了准确率、延迟、成本的变化。在电商推荐场景中，也可以类似地逐层解剖多智能体流程，识别真正有效的组件，避免堆砌复杂架构却引入额外噪声。
- 分治策略防信息污染：实验证明全局上下文会导致跨主题干扰，准确率从 0.799 骤降至 0.447。对于电商场景中处理海量商品、类目、用户评论的多源信息聚合，强烈建议按类目或业务线进行物理切分，每个分片独立推理，再汇总结果。
- 警惕终端反思的过度修正：分析阶段加入反思后准确率从 0.799 降至 0.700，尤其在结构化特征（如鲸鱼质量）上误判严重。这启示我们在生成式推荐中，若上游 agent 已经取得较高准确率（~80%），引入二次反思可能因 “解释化” 偏差而覆盖原始正确判断，应严格限制反思的作用域（如仅用于聚类等结构对齐任务）。
- 可插拔的确定性验证器：大模型在“观点对齐”判断中存在严重的“共识偏差”，倾向于输出“consensus”，即使信号矛盾。在推荐解释生成或风控对齐等任务中，可借鉴此发现，在管线末端加入轻量级的规则验证模块，直接对比上游独立输出的结构化标签，强制驱逐叙事漂移。
感知还是偏见：多模态大模型能否超越人格第一印象？
🧭 多模态大模型人格推理评估
The University of Tokyo · Shanda AI Research Tokyo · Dalian University of Technology
发现MLLM人格评分准确率与证据接地率严重脱节，51%正确评分非基于证据，提出接地人格推理基准揭示偏见差距。
📌 工作参考价值（4 点）
- 借鉴接地评估范式：在推荐或Agent用户建模中，不仅要评估预测准确率，还应强制模型提供行为证据，检查预测是否基于真实线索而非表面统计相关，避免模型学到虚假关联。
- 多智能体+人工验证数据构建：本文使用多智能体管道生成带时间戳行为观察和证据分析的数据集，可复用于电商评论分析或Agent行为理解的训练数据构建，确保证据对齐。
- 失败模式诊断指标：偏见率、虚构率、整合失败率等指标可直接迁移到推荐解释或Agent决策可解释性评估中，监控模型是否在“猜对答案却用错理由”，提升系统可信度。
- 接地型推理链设计：评分→推理→接地的链条可嵌入推荐理由生成或Agent的决策解释模块，要求模型关联具体行为证据，缓解幻觉和刻板印象。