个人AI代理中的经济错位：财富推断与对抗性委托
🧭 个人AI代理经济决策中的隐性偏见
Foundation AI, Cisco · Carnegie Mellon University
研究揭示个人AI代理会从个人上下文推断财富并系统性推荐更昂贵选项，即使违背用户明确目标
📌 工作参考价值（4 点）
- 在部署代理式推荐（如自动客服选品、智能保险推荐）时，应建立经济公平性回归测试：固定用户请求，只改变画像中的财富敏感字段（收入、消费记录、邮件语气），观察推荐价格分布是否出现系统性偏移；若偏移显著，需在 prompt 中加入显式约束（如“忽略用户财富信号，严格按指定目标优化”）或后处理校准。
- 隐私保护不能只屏蔽显式金融属性；模型会利用剩余环境信号（如邮件内容、语言风格）推断财富，甚至加大偏差（对保险场景最高增加40%）。因此需要做“属性屏蔽-残余偏差”审计，并在特征层或微调时加入对抗去偏（如从嵌入中移除财富方向）。
- 不要迷信模型规模；更大模型（如 Claude Opus 4.8）可能更严重，因此选择 LLM 做决策代理时必须将其作为独立风险维度评估，不能默认更强模型更公平。
- 借鉴其大规模实验设计（325K次，3类决策，13个模型）构建内部基准，用合成用户画像自动生成测试用例，监控线上的经济偏差。
若只能买一台 Galaxy S26 Ultra：AI 生成产品推荐审计
🧭 LLM 生成式推荐系统审计
Law & Tech Lab, Maastricht University · Utrecht University · Social Computing Group, Department of Informatics, University of Zurich
审计 ChatGPT、Gemini 与 Google AI Overviews 的产品推荐，揭示第一人称偏好、重复不一致和来源差异
📌 工作参考价值（4 点）
- 评估生成式推荐时不能只看单次输出或 API，需模拟消费者端界面并多次重复请求，否则会低估产品推荐变化与来源差异；可引入第一人称偏好率、产品一致性、来源重叠等审计指标。
- 若在电商中使用 LLM 做商品推荐，注意模型会高频使用「我会选」等主观表述（ChatGPT 达 79%），可能带来偏袒或误导风险；可通过 prompt 约束或后处理抑制第一人称表达，保持中立语气。
- API 与消费者界面表现差异显著（来源重叠仅 12–15%），说明实验结论不能直接外推到生产环境；若做线上 LLM 推荐，需对实际部署界面和 API 分别做回归测试与监控。
- 来源展示不稳定且跨模型重叠极低，会增加用户信任与合规风险；建议在推荐结果中显式记录并展示证据来源，建立可追溯链路，便于审计和争议处理。
大模型模拟人类信念更新时存在显著偏差
🧭 LLM 模拟人类信念的评估
IT:U, Interdisciplinary Transformation University Austria
LLM 仅在给定真实初始立场时可匹配人群分布，自身生成初始立场与更新过程均不忠实
📌 工作参考价值（4 点）
- 在电商/推荐场景中使用 LLM 模拟用户反馈或 A/B 测试时，必须为模型提供真实的初始偏好（如历史行为标签），否则模拟结果会严重失真，尤其会将中立选项过度膨胀。
- 基于人口统计与性格画像的 persona 对提升模拟保真度无一致效果，不应依赖该类特征做生成式用户建模；模型的实际行为分布主要受 prompt 中给定的立场起点约束。
- 模型倾向于产生更频繁但幅度更小的偏好转移，且无法正确评估信息说服力的排序，用于模拟推荐解释或广告文案对用户态度影响时，需用真实用户数据做校准。
- 当前多轮社交媒体仿真中若缺少真实起始条件，LLM 模拟的信念动态并不可靠，若需模拟用户兴趣演化，应考虑从真实交互序列冷启动，而非让模型自行生成初始兴趣。
深入不公正法官：LLM评判偏差的机制可解释性分析
🧭 机制可解释性 · 评估偏差
AMAP, Alibaba Group · Mohamed bin Zayed University of Artificial Intelligence · University of Southern California · University of Michigan, Ann Arbor
从隐藏状态几何揭示LLM评判偏差的可控子空间，实现因果转向与失败预测，超越文本方法
📌 工作参考价值（4 点）
- 使用线性探针（linear projection）在隐藏态上检测评分偏差，无需修改提示，可实时监控在线评估系统的公平性，例如在电商搜索排序的LLM打分环节预警。
- 通过激活向量偏向子空间的方向进行“激活转向（activation steering）”，无需重新训练或注入few-shot示例即可校正偏见，低成本提升推荐理由生成、对话评估等场景的客观性。
- 将偏见建模为低维子空间可作为特征用于失败预测，在未见数据上大幅超越纯文本方法，可集成到推荐系统的离线评估pipeline中自动标注可疑打分。
- 方法跨评判模型、跨偏见类型通用，适合在广告创意评分、商品评论有用性评估等多场景复用，减少人工校验成本。
当裁判改变，测量随之改变：审计 LLM 裁判的可靠性
🧭 LLM-as-Judge 可靠性审计
Imperial College London · Nanchang Institute of Technology
揭示评估器更换导致的测量歧义，发现模型升级路径不可互换且偏差犹存，强调审计实践
📌 工作参考价值（4 点）
- 若用 LLM 作为推荐解释/对话质量的评判器，更换底层评估模型（如从 GPT-4 切到 GPT-4o）时，分数波动可能源于评估器本身的偏差而非系统真正变好，应配套固定响应集的 ab 测试来解耦模糊性。
- 在自动化评测链路中，即使使用更强的 judge，位置偏差和冗长偏差仍存在，建议在 prompt 中显式随机化选项顺序、引入长度惩罚机制。
- 多 judge 投票（jury）未必提升可靠性：当 judge 间错误相关性高时，重复采样增益有限；可转向异构 judge 组合或只在低相关性场景下加 jury。
- 若采用结构化辩论（debate）让多 agent 修正判断，务必记录完整的解析器和回退日志，否则决策变化无法归因于 deliberation，审计性差。
累积消息效应对LLM评判的偏见（AMEL）
🧭 LLM评估中的上下文累积偏见 ★ 深度解读
LLM在作为评估器时，多轮对话历史中的评价极性会系统性地偏移后续判断，尤其放大不确定项的偏差。
📌 工作参考价值（4 点）
- 每条评估用全新上下文：在电商内容审核、商品描述质量评分、推荐理由评估等LLM-as-judge场景中，请每次调用单独开启一个conversation，避免历史评价的累积。成本上升，但淘汰风险更高。
- 批量评估必须随机化且平衡：若因成本需批处理，务必随机打乱item顺序，并保持正负样本比例接近。禁止按预期结果排序，否则会产生自我强化的位置漂移（实验中固定顺序导致P(no)从0.07单调升至1.0）。
- 对不确定项单独处理：模型基准预测熵高的item（如 borderline 商品是否违规）是AMEL重灾区（d=-0.34）。可依据logprobs或多次采样区分这些项，优先分配新鲜上下文，或结合logprobs校正（如RBCorr）来抵消偏移。
- 监控线上评估的接受/拒绝比率漂移：若一个会话中比率持续偏离预期，很可能已受累计历史影响，触发告警或重置上下文。