Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
激活分散度揭露模型实体熟悉度：已知与虚构可高精度分离，但熟悉度与事实可靠性分属不同扩展曲线
🧭 激活探测与幻觉检测
Prosit AS
利用 MLP 激活的逆参与率和光谱熵可在单次前向中检测实体熟悉度（AUROC 0.95-1.00），但此信号与事实可靠性行为分离
📌 工作参考价值
- 低成本线上幻觉拦截：在生成推荐文案或商品描述前，计算实体相关 MLP 激活的 IPR 或光谱熵，若分散度异常（疑似未见过实体），可阻断生成或回退到检索式结果，实战中只需单次前向，延迟极低。
- 自适应 RAG 触发：当检测到模型对某个实体激活高度集中（熟悉度低），自动触发知识库检索增强，避免对长尾商品、新入驻商家或冷门品类产生幻觉描述，提高搜索推荐信息准确率。
- 跨品类泛化监控：信号跨实体类型迁移性好，可在少量标注（已知/虚构实体对）上训练轻量线性探头，部署为通用幻觉探针，监控线上模型对所有品类实体的熟悉度，及时预警罕见实体覆盖不足。
- 注意熟悉度≠正确性：已知实体内部仍会生成幻觉（探头仅 0.93），熟悉度信号不能单独用作事实校验，需搭配事实性校验（如语义熵或外部知识比对），但其作为安全网可低成本过滤大部分因实体陌生导致的严重幻觉。
动机：大语言模型对未见过的实体会产生大量幻觉，但模型内部是否在生成答案前就已“知道”自己对某个实体不熟悉？这种熟悉度信号能否预测事实可靠性？
方法：在四个波兰语 Bielik 模型（1.5B-11B）上，构建运动员、城市、作家、音乐人四个领域的实体集，每类知名、真实冷门、虚构各 42 个，用单句提问。提取后 SwiGLU MLP 层的激活，计算两种无监督分散度指标：逆参与率（IPR）和光谱熵，并训练线性探头。设计选择感知的置换检验、跨层/跨类型泛化测试，排除模板伪影。
关键结果：
- 区分已知与虚构实体的 AUROC 达 0.95–1.00，线性探头达 0.99–1.00，信号跨实体类型迁移平均 0.92–0.99。
- 已知 vs 真实冷门实体同样可分离（0.96–1.00），说明信号不是简单检测虚构字符串。
- 该表征信号在 1.5B 已近天花板，但行为事实可靠性随规模急剧提升（知名运动员正确答案数：1.5B 为 0，11B 为 19）。
- 在已知实体内部区分正确与幻觉答案很困难（探头仅 0.93，分散度不优于首 token 熵基线）。
- 模型几乎从不拒答（2520 次回答中仅 2 次拒绝）。
实体熟悉度是一种与事实可靠性分离的内部信号，且两者的扩展曲线显著不同。