#profiling - AI Papers Daily

Where Position Matters: Profiling-Guided Layer-Wise RoPE Allocation in Transformers

位置至关重要：基于剖析指导的逐层 RoPE 分配

🧭 高效 Transformer 位置编码设计

用逐层剖析剖面在固定预算下分配 RoPE 维度，提升语言模型验证损失并支持 MLA 高效部署

📌 工作参考价值（4 点）

在电商/广告场景中训练或微调 LLM 赋能的召回、query 改写、语义 ID 生成模型时，先用小规模代理模型对每一层做“移除/偏移 RoPE”的 Coverage/Phase-off 探查，提前得到各层位置信息需求剖面；然后按预算给高层/低层分配不同 rotary dimension，减少 RoPE 计算和缓存，不损失效果。
利用 normalized-depth mapping 把小型模型的逐层 RoPE 配置迁移到大模型，可在大模型正式预训练/继续训练前完成结构搜索，降低试错成本；对需要从零预训练轻量级领域 LLM 做推荐任务时尤其实用。
若采用 MLA / 多头潜在注意力做高效推理，可按层物理分配 rotary 维度，而不是所有层全维度旋转；按剖析结果把 rotary 集中在少数关键层，可获得质量、存储、计算之间的更好 trade-off，适合边端或高 QPS 推荐服务。
将 phase-off / coverage intervention 作为诊断工具纳入模型迭代流程，用于判断模型是否过度依赖某些层的位置信息，指导领域适配时冻结/裁剪/蒸馏策略。

Training | 2026-10-29 | stat.ML | score 6/10

剖析 Nvidia Hopper 上 LLM 推理的 GPU 利用率

🧭 LLM 推理 GPU 性能剖析

KTH Royal Institute of Technology, Stockholm, Sweden

用八个 NCU 计数器视图替代单一 SM 利用率，分解 Hopper 上 LLM 推理 decode 阶段利用率低的机制

📌 工作参考价值（4 点）

部署 LLM 服务（如搜索推荐中的对话/Agent）时，不要只依赖 SM utilization 判断 GPU 是否饱和，应结合 fragment fill、occupancy、stall cycles 等多个 NCU counter 做性能归因，避免误导性扩容决策。
decode 阶段小 batch 是主要瓶颈：Hopper GMMA 固定 64 行片段，实际 batch 远小于 64 时有效计算占比极低。可尝试 continuous batching 或 sequence packing 提高 fragment 填充率，但需与延迟约束权衡。
论文提出的 counter-validated 视图方法可复用：从 Nsight Compute 原始报告定义 8 个视图，把性能问题映射到具体 kernel 角色（QKV 投影、attention、MoE expert 等），适用于自建推理引擎或调优 vLLM。
生成式推荐/Agent 场景常混合长序列与多请求，需区分 cold prefill 与 warm prefill 的 kernel 选择差异，分场景建立性能基准以指导 batch size 和序列长度配置。

LLM | 2026-09-11 | cs.LG | score 7/10