Learning to Read Out: Unembedding Dynamics in Language Model Pretraining
学会读出：语言模型预训练中的反嵌入动态
🧭 预训练中读出矩阵与能力涌现解耦
提出参数轨迹交叉编码，发现模型隐藏态编码任务信息早于其输出读出表达，能力时间线混淆了编码与读出
📌 工作参考价值（4 点）
- 评估 LLM 能力或上线时机时，不要只看行为输出（如生成准确率）。模型内部可能已具备任务信息，但 readout 尚未表达，可结合 hidden state 线性探针或干预 readout 来更早识别可用能力。
- 对生成式推荐/搜索模型（如 Semantic ID 生成）做微调或适配时，readout 作为最后映射层可能滞后于内部表征，可尝试单独调高 readout 学习率或冻结其他层，加速输出表达能力对齐，减少训练早期的“假阴性”。
- 离线分析历史 checkpoints 时，parameter-trajectory crosscoding 只依赖权重、不需要保存 activations，适合在训练迭代中审计能力变化，定位窄窗口，判断某个能力是内部已学到还是读出层尚未跟上。
- 论文偏基础科学，但“hidden state 与输出 gap”的视角可迁移到 LLM-based 推荐/Agent 系统的能力诊断：当输出质量不佳时，先排查是表征没学到还是读出层没表达，避免盲目增大数据或模型规模。