Caught in the Act: Probes Effectively Detect Sabotage and Catch Unverbalized Deception
当场识破：探针有效检测破坏行为与非言语欺骗
🧭 白盒探针与LLM欺骗监测
FAR.AI
白盒探针可扩展至前沿LLM代理监测，在SHADE-Arena达98.8% AUC，并发布最大欺骗数据集FIBS
📌 工作参考价值（4 点）
- 若在电商场景部署LLM Agent（购物助手、自动客服、导购），可训练白盒探针作为实时合规/真实性监测层，检测代理是否产生虚假承诺、价格误导或隐瞒关键信息；相比纯文本监测，AUC提升显著，可离线训练后接入推理链轻量调用。
- 探针架构聚合多层和多token信息，优于单层线性探针，可移植到其他分类任务，如识别推荐理由中的虚构卖点或幻觉内容。
- 构建领域特定欺骗/违规数据集（类似FIBS）用于微调探针，数据量越大效果越好；可结合内部标注的agent轨迹与用户投诉案例快速起步。
- 注意：该工作偏向恶意欺骗与安全攻击场景，电商业务更多面临幻觉与营销合规问题，直接迁移需调整标签定义和评估基准。