#CKA

4 篇

Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding

驾驭激活波：分析 LLM 隐藏状态信息与几何以支持推测解码

🧭 LLM 推理加速 · 推测解码层选择

Qualcomm AI Research · Stanford University

提出基于矩阵熵与 CKA 的 LLM 多隐藏层选择框架，在 EAGLE3 推测解码中优于固定层选择

📌 工作参考价值（4 点）

在 EAGLE3 类推测解码中不要盲用 [2, N//2, N-3] 等固定层，可用矩阵熵（informativeness）+ CKA（diversity）选择低冗余、高信息层，改善 draft 模型质量与加速比。
token-entropy filtering 可过滤低预测熵 token 后再计算层选择统计，避免高频简单 token（如电商搜索中的常见 query、模板化文案）污染层重要性评估。
CKA 跨层相似度分析能定位 decoder 中的几何/信息 compartment，帮助工程上决定哪些层适合共享、蒸馏或做 KV cache 优化。
对于用 LLM 做实时生成式推荐、搜索词/广告文案生成的业务，选择 hidden states 子集而非全部层，可在不显著掉质量的情况下减少 draft 模型输入维度，节省推理成本。

LLM | 2026-10-08 | HF Daily | score 7/10

多模态大语言模型中的对齐幻觉

🧭 多模态 LLM 表征几何诊断

University of Science and Technology of China

揭示 MLLM 标量视觉-文本对齐指标无法区分噪声与真实视觉流，提出主角度间隙 PA gap 作为几何诊断

📌 工作参考价值（4 点）

在多模态推荐或广告中，使用 CKA/SVCCA 等标量相似度评估视觉-文本融合质量时，务必结合下游任务指标（如点击率、相关性、A/B 结果）校准；单独看相似度曲线容易产生“对齐幻觉”，误导模型选型或层数截断。
可借鉴 PA gap 作为轻量几何诊断，监控多模态模型在微调、量化、蒸馏或视觉编码器替换后视觉 token 结构是否退化，及时发现信息丢失。
论文揭示共享 MLP 下投影会制造权重诱导对齐，若业务中将图像/文本投影到统一 LLM 空间做检索或生成，需警惕共享通路导致的虚假相似性；可考虑对投影层增加正则或采用多维几何指标评估。
在 Agent 或多模态 RAG 中，若用视觉输入辅助决策，应定期用受控任务测试（如噪声图像或无关图像）校准内部表征诊断，避免仅凭几何指标判断模型理解能力。

Multimodal | 2026-09-24 | cs.LG | score 6/10

扰动如何在大型语言模型中传播：鲁棒性的多层分析

🧭 LLM 鲁棒性多层评估

INTI International College Penang · Independent Researcher · FPT University

在六个模型上从行为、隐状态几何和注意力头三层揭示输入扰动传播异质性，证明单指标鲁棒性评估不充分

📌 工作参考价值（4 点）

在电商搜索/QueryRec 的 LLM 链路（query rewriting、产品匹配、生成式 item ID 等）中，不要只看最终准确率：对拼写错误、OCR 扰动、词序打乱等输入，建议同时监控 hidden-state CKA、intrinsic dimension 或关键 attention head 的激活漂移，否则轻微行为变化可能掩盖内部计算崩溃。
对抗性 HotFlip 扰动比同比例随机 token 替换造成更强的行为与表示破坏，且行为影响跨 GPT-2/Qwen2.5 一致；若将 LLM 用于用户输入理解或 prompt 约束较弱的 Agent 规划，应优先做梯度引导攻击的鲁棒性测试，并考虑对抗样本增强。
Copying score 与 token 替换/打乱下 activation patching 恢复高度相关，可在线上输入异常检测中把拷贝型 attention head 的响应作为鲁棒性代理指标，快速定位长尾扰动导致的失败。
模型版本升级或 prompt 修改时，用多层指标做回归比对，而不是只跑 benchmark 分数，避免“输出分数没变但表示已经漂移”的隐患。

Eval | 2026-09-03 | stat.ML | score 6/10

多模态学习的自适应层次表征联盟

🧭 多模态分层共享-私有专家框架

Fudan University · University of Southern California · Cornell University · University of New South Wales · Peking University

提出AHRA分层共享-私有专家框架，缓解跨模态语义粒度错配并提升噪音与缺失鲁棒性

📌 工作参考价值（4 点）

多模态商品理解中，不要默认各模态在最终层对齐；用 layer-wise CKA 识别语义深度差异：商品文本/标题往往需深层抽象，商品图/短视频帧的视觉证据在浅中层就可判别，可在对应层级做 shared 对齐，减少浅层视觉信息被 flatten。
共享/私有专家分解 + private decorrelation 可迁移到多通道用户/物品表示：跨场景共享专家建模共性，场景或模态专属专家保留细粒度信号，避免搜索/推荐/广告多域数据互相干扰。
sparsity-controlled soft-gating（foreground exam）适合多模态 item tower 的 token/feature 选择：对缺失或噪声模态自动降权，增强 task-relevant private token，提升线上缺图/缺描述时的鲁棒性。
层次 co-fusion 的 intra-level coordination + inter-level semantic selection 可用于多尺度融合商品图文与用户行为序列，动态选择最有利的语义层级，而非固定 concat/attention。

Multimodal | 2026-08-24 | cs.MM | score 6/10