Evaluating Commercial AI Chatbots as News Intermediaries
评估商用AI聊天机器人作为新闻中介
🧭 商业聊天机器人多语言新闻检索评估
对六款商用聊天机器人进行多语言实时新闻问答评估，揭示高准确率背后的区域不平等与检索依赖问题
📌 工作参考价值
- 多语言检索系统需警惕语种偏见：在电商问答或智能客服中，非英语查询可能触发英语知识库，导致回答与本地事实脱节。可通过混合召回、多语言索引或动态语言检测缓解。
- 检索失败是RAG系统的主要瓶颈（非推理），工程上应优先优化检索管道：引入多路召回、重排序、时效性权重等，而非仅提升生成模型。
- 对抗性输入（如虚假前提问题）会使系统性能骤降，在Agent或推荐场景中需前置事实核查模块，或在对话中主动澄清用户假设。
- 评估不能只看整体平均，要分语言/区域切片，否则高准确率会掩盖系统性的区域不平等，这在全球化业务中可能导致用户体验与品牌风险。
动机：AI聊天机器人正迅速成为公众获取新闻的入口，但缺乏对它们在多语言、实时场景下信息检索准确性的系统评估。
方法：在14天内（2026年2月），对6款商业聊天机器人（Gemini 3 Flash/Pro, Grok 4, Claude 4.5 Sonnet, GPT-5, GPT-4o mini）进行测试，基于当日BBC News的6个区域服务（英语、阿拉伯语、法语非洲、印地语、俄语、土耳其语）生成2100个事实性问题，每个问题均含选择题和自由回答两种格式。
关键结果：选择题上最好系统准确率超90%，但自由回答下降11–13%。发现三个系统性缺陷：(1) 所有模型在印地语上准确率最低（79%，其他语言89–91%），引用模式暴露英语检索偏见，模型更倾向引用英文维基而非印地语媒体；(2) 超过70%的错误源于检索失败，而非推理失败——一旦找到正确来源，答案提取几乎总是正确；(3) 在包含细微虚假前提的问题上，模型准确率从88–96%暴跌至19–70%，最脆弱模型有64%的概率直接接受捏造事实。此外，虚假前提检测能力与回答准确率并不正相关，存在‘检测–准确性悖论’。
结论：高整体准确率掩盖了系统性的区域不平等、对检索基础设施的近乎完全依赖，以及对真实用户不完美查询的脆弱性。