Foundations of Large Language Models
大型语言模型基础：预训练、生成、提示、对齐与推理
🧭 LLM 基础理论与技术体系
Northeastern University · NiuTrans Research
系统梳理LLM预训练、生成建模、提示、对齐、推断与推理六大基础主题的技术参考书
📌 工作参考价值（4 点）
- 对齐章节可指导生成式推荐中的偏好优化：将点击/转化作为偏好信号，用 RLHF/DPO 类方法微调 LLM，避免纯 SFT 导致推荐结果多样性差。
- 推理章节中 CoT/self-consistency 可迁移到电商 Agent 的查询理解与任务规划：对复杂购物意图引入结构化推理轨迹，提升 query 拆解与商品召回准确率。
- 预训练与生成模型基础解释了 Semantic ID 建模本质：把 item 表示成 token 序列并用 LLM 生成 next token，可复用书中的解码策略（温度、top-k/top-p）和训练技巧。
- 工程部署时可参考推理章节的 KV cache、批处理与量化基础，对线上低延迟生成式推荐与导购 Agent 有直接帮助。