新 LoRA 技能应只读不写
🧭 LoRA 技能组合与参数高效训练
Shanghai Jiao Tong University · Xi'an Jiaotong University · The Hong Kong University of Science and Technology (Guangzhou) · Jinan University
提出 READ 只读扩展机制，冻结旧 LoRA 输出子空间并折叠组合更新，实现多任务 LoRA 增量组合且无推理开销
📌 工作参考价值（4 点）
- 线上同时挂多个 LoRA（query 改写、类目预测、广告文案生成等）时，避免直接 weight-space merge；用 READ 式只读耦合追加新技能，旧技能输出子空间不被写入，能减少跨任务干扰，适合增量上线。
- 将每个 LoRA 先重写为 balanced canonical form，保持 ΔW 精确不变但对齐因子坐标，可作为 adapter 入库/发布前的规范化步骤，利于后续组合与版本管理。
- 组合更新可折叠进 base weights，无额外推理开销、无 routing 规则，适合推荐/搜索高 QPS 在线服务，不需要为多任务维护多个前向路径。
- 业务方管理大量 task adapters 时，可借鉴每次仅训练耦合矩阵中一行来追加新技能，训练成本极低，避免对历史任务数据全量重训。
LoRA生成超网络用于高效设备端LLM生成式个性化
🧭 设备端LLM个性化 · 超网络生成LoRA
训练超网络将用户上下文映射为个性化LoRA，兼顾ICL计算可行性与PEFT权重修改优势
📌 工作参考价值（3 点）
- 将 hypernetwork 生成个性化 LoRA 的思路用于用户级文案生成（如 push 消息、推荐理由），可避免对每个用户做云端微调或扩展 prompt；设备端只需一次前向计算，延迟低且不增加输入长度。
- 该架构共享基础 LLM 权重并仅需额外存储一个超网络，适合移动端/边缘设备部署；业务中若需为大量用户提供个性化生成能力，可考虑训练一个通用的用户编码器+超网络，而非保存大量微调模型。
- 用户上下文 token 作为输入，可类比在推荐系统中将用户行为序列编码后生成适配参数；此方法可作为生成式推荐中轻量用户表征的一种实现，用于生成个性化语义 ID 或推荐文案的 LoRA 适配。
CARD：聚类适配与奖励引导解码实现个性化文本生成
🧭 LLM 个性化文本生成 · 聚类 LoRA 与解码注入
University of California, Irvine · University of Amsterdam · TikTok
提出分层个性化框架 CARD：用户聚类学习组级 LoRA，簇内对比隐式学习个体偏好，推理仅解码注入实现高效个性化生成
📌 工作参考价值（4 点）
- 电商/广告文案生成可借鉴“先用户聚类 + 组级 LoRA”的两级适配：用行为或风格特征对用户分簇，每簇训练一个 LoRA，避免 per-user 全量微调，兼顾个性化与规模化部署。
- 簇内个体差异无需人工标注：用用户历史真实文本（如历史点击商品标题、评价、搜索词）作为正样本，簇级通用生成文本作为负样本，做对比学习得到轻量 user preference vector，可直接迁移到个性化 push 文案、商品描述生成。
- 推理时个性化只注入 decoding：base model 冻结，仅加载 lightweight user preference vectors 和 low-rank logit corrections；工程上线上可按用户簇切换对应 LoRA 和向量，存储与推理开销低，适合需要高频 A/B 和千人千面文案的推荐场景。
- 冷启动用户可先归入簇使用组级 LoRA + 默认偏好向量，后续积累数据再学习个体向量，平滑过渡成本低，可复用到新客或低活用户个性化激活。
MetroLLM-Bench：评估语言模型作为交通售票机运行时的基准
🧭 LLM 工具调用与策略决策基准评估
Continker
955 例交通售票机工具调用基准，4B PEFT 模型在 Tier1 上超越 GPT-5.6 且部署成本极低
📌 工作参考价值（4 点）
- 规则引擎 + LLM 补充：先用确定性规则覆盖标准场景，仅将政策调整、复合场景、无障碍等边界 case 交给 LLM，可降低延迟与成本，同时利用 LLM 灵活适应业务规则变化。
- 小模型 PEFT 已够用：在特定领域工具调用任务上，4B 模型经 PEFT 可匹配甚至超越大模型，且 PEFT 增益随模型尺寸增大而递减；业务中可优先微调小模型而非追求大参数量，显著降低硬件与部署成本。
- 分层评估体系：将任务分为确定性 Tier1（自动评分）和语义 Tier2（LLM judge），并发布标准化 harness；在电商 Agent、推荐解释生成等场景可借鉴，先保证结构化动作正确，再评估语义质量。
- 机器可渲染终端状态：要求模型输出结构化、可直接执行的状态（如 action、quote），避免自由文本；这对生成式推荐（如直接生成 Semantic ID 或排序指令）有直接参考价值。
归一化低秩适配
🧭 训练优化 · LoRA 归一化
Yuanshi Intelligence · Microsoft Research · The Chinese University of Hong Kong · Shenzhen Loop Area Institute
NoRA 通过归一化 LoRA 下投影矩阵改善训练动态，无需额外参数或推理开销，加速收敛并缓解遗忘
📌 工作参考价值（4 点）
- 在电商/广告场景用 LoRA 微调 LLM 做排序、召回或 query 改写时，可直接采用 NoRA 或仅初始归一化版本，几乎零成本提升训练稳定性和收敛速度，不增加推理延迟。
- 对 RL 微调或持续预训练中的灾难性遗忘问题，归一化下投影矩阵可作为轻量正则手段，适合多任务/多领域顺序微调的推荐 Agent 底座模型。
- 若使用 LoRA 微调生成式推荐模型或 Semantic ID 解码器，可尝试对下投影矩阵做初始化缩放或范数约束，改善低秩子空间的早期优化，进而影响 ID 嵌入质量。
- 工程实现上只需在 LoRA 插入点对 A 矩阵加一行归一化或初始化缩放，改动极小，适合快速在现有 PEFT 管线中 A/B 验证。
YOLO-PEFT：目标检测器结构感知的参数高效微调框架
🧭 检测器微调 · 结构化放置规划
Tencent · Xiamen University
将适配器放置形式化为可审计的约束规划问题，在实时检测器上实现结构化 PEFT，避免手动试错
📌 工作参考价值（4 点）
- 该方法将适配器插入点选择从人工试错转变为基于显式约束（算子类型、语义角色、图接口）的自动化规划，可借鉴到推荐系统的大模型微调中，例如在 Transformer 推荐模型的不同层或位置上自动选择 LoRA/Adapter 模块，避免盲目尝试。
- 规划时引入“可审计性”和“拒绝提议”机制，对于不合理的微调请求直接拒绝并给出原因，这一安全设计可推广至线上服务中模型的增量更新场景，防止灾难性遗忘或性能断崖。
- 资源预算约束下的模块选择策略对于电商搜索模型的多变体部署（如不同类目、不同延迟要求）有帮助，可以生成满足 GPU 内存或延迟预算的一组适配器配置，降低管理成本。
- 整个流程保持训练-保存-合并-导出路径，确保与标准推理部署兼容，这对实际业务中快速试验和上线至关重要，可参考其工程化流水线设计。
自动任务排序实现多策略 LLM 高效训练
🧭 参数高效微调 · 任务分组与排序
The Alan Turing Institute · University of Southampton · King’s College London
提出自动化任务分组与排序框架，用独立 QLoRA 解耦优化路径，在固定参数预算下提升异构任务微调性能
📌 工作参考价值（4 点）
- 多任务微调的任务组织：面对电商搜索、推荐等异构任务（如语义相关性、点击率预估、不良内容检测），可借鉴任务分组与排序策略，将相容任务归入同一适配路径，减少梯度干扰和灾难性遗忘。
- 多 LoRA 替代单一大适配器：使用多个小型 QLoRA 替代一个共享适配器，每个策略只服务一组相容任务，既控制总参数量又提升表达能力，适合需同时维护多个小模型的业务场景（如多国、多站点推荐）。
- 自动化任务路径组织：在固定参数预算下，通过自动分组和排序决定适配器分配，避免人工经验试错，该流程可直接迁移到 Agent 工具调用或意图识别等多能力微调中。
- 工程实现简洁：每个任务组对应一个 QLoRA 模块，推理时按路由加载，与 LoRA 生态兼容，便于在已有 PEFT 框架上扩展，适合快速实验和部署。
MoE²-LoRA：为MoE模型设计的MoE风格低秩适配
🧭 MoE模型参数高效微调
Shanghai Artificial Intelligence Laboratory · KTH Royal Institute of Technology · University of Science and Technology of China · Fudan University · The Chinese University of Hong Kong
首次用MoE路由思想做LoRA微调，复用预训练路由器激活动态选择全局共享的LoRA专家
📌 工作参考价值（4 点）
- 若内部用MoE架构LLM做推荐/对话任务（如query改写、商品描述生成），MoE²-LoRA提供了一种高效微调方案：引入全局共享LoRA专家池，既减少参数量又保持多任务适配能力。
- 路由条件投影（RCP）复用预训练路由器激活，可借鉴到多兴趣推荐模型中，用已有用户意图路由为不同兴趣头动态选择低秩适配器，避免静态分配。
- 全局专家池的层间共享机制简化了部署：只需维护一套适配器权重，节省存储和推理时IO；适合边缘设备或需要频繁更新的推荐模型。
- 实验显示该方法在多种MoE骨干上稳健提升，说明即使推荐系统的底层LLM结构变化，该方法也能迁移复用，减少适配成本。
测量参数高效微调的容量：适配器到底写了多少比特？
🧭 PEFT 记忆容量与隐私泄露 ★ 深度解读
Carnegie Mellon University · Columbia University
通过压缩方法直接测量 LoRA 适配器的记忆容量，揭示容量取决于插入位置和基座结构，SFT 会记忆秘密而 RL 不会。
📌 工作参考价值（4 点）
- 适配器放置位置的选择：同一参数预算下，插入 MLP 的适配器存储的比特数约为注意力的两倍。在需要保护隐私的场景（如联邦学习、模型市场），将有泄露风险的适配器放在注意力模块可主动降低其存储容量。
- 隐私风险评估工具：论文提供了可复用的测量方法，能在训练前估算适配器的容量，并与待训练数据集的比特信息量对比，提前判断是否落入“全量记忆”区间，无需事后攻击。
- 强化学习优于监督微调：在必须共享模型但训练数据敏感时，用 GRPO 等可验证奖励的强化学习方法替代 SFT，几乎不记忆训练数据，特别适合 Agent 或推荐系统的用户交互训练。
- 参数数量 ≠ 隐私风险：适配器的泄露风险更多与写入的比特数相关，而非参数总量，因此监控模型存储的比特数比单纯限制秩更有效。
基于统计推断的LoRA秩分配方法
🧭 参数高效微调 · 统计推断
将秩分配视为假设检验问题，利用p值驱动剪枝，实现更稳定的参数预算分配
📌 工作参考价值（4 点）
- 在推荐或对话模型用LoRA微调时，可用统计检验代替基于梯度的启发式重要性分数，自动决定各层/模块的秩分配，避免人工调参与欠佳分配。
- 该方法为每个可学习的低秩组件提供明确的p值，可直接设定显著性阈值进行剪枝，适合在资源受限的在线服务中动态调节模型容量。
- 基于优化器轨迹的渐近正态理论（覆盖AdamW等常用优化器）为下游应用中的梯度统计量提供了可靠分布假设，可用于构建更准确的早期停止或在线不确定性估计。
- 统计检验驱动的分配规则对超参数不敏感，经验诊断表明其稳定性优于AdaLoRA等灵敏度方法，在电商搜索/推荐模型的持续微调场景中能减少重复调参成本。
通过注意力头重加权实现数据高效的LLM适配
🧭 注意力头重加权小样本适配
UC San Diego · Microsoft Research · Microsoft Security AI
提出注意力头重加权(AHR)，每个头学一个标量权重，参数减少200-1000倍，小样本分类超越LoRA
📌 工作参考价值（4 点）
- 小样本意图分类冷启动：AHR用极少量样本（如10-shot）即可适应新类别，适合电商搜索中的新型query意图识别、商品类目打标或安全审核任务，无需大量标注。
- 极低资源部署：可训练参数仅为头数×层数（Llama-3-8B约1000个），内存和计算开销远低于LoRA，适合在端侧或频繁更新场景下快速切换任务。
- 可解释性辅助特征工程：学习到的头权重直接指示哪些注意力头对任务关键，可逆向分析模型已有的语义模式，为特征设计、模型裁剪提供依据，如发现某些头专门处理价格数字、品牌词等。
- 抗过拟合的推荐文案过滤：在安全风控、垃圾评论检测等训练数据极不平衡的场景，AHR通过强行约束参数空间有效抑制过拟合，提高召回率。
超级调优：激活感知剪枝引导的稀疏微调
🧭 稀疏参数高效微调 · 激活感知
KAUST
复用剪枝中的激活感知重要性分数来固定稀疏可训练参数，提出Super和Supra实现高效微调
📌 工作参考价值（4 点）
- 在电商搜索/推荐中微调LLM（如查询理解、文案生成）时，可用Super根据少量校准数据确定关键权重子集，降低80%以上可训练参数仍保持性能。
- Supra混合LoRA与稀疏更新，通过预算分割规则灵活平衡低秩与稀疏分量，适合在资源受限的线上服务中部署。
- 使用Wanda-style激活加权重要性（权重与输入激活乘积）作为稀疏选择标准，比纯幅值更关注任务相关特征，可用于快速适配新品类或活动。
- 该方法的支持集固定性使得不同任务可共享相同的稀疏mask，只需切换可训练值，实现多任务间存储高效切换。
LLM 中 Super Weight 的发现与选择性训练之败
🧭 参数高效微调 · Super Weight 分析 ★ 深度解读
Amazon Web Services
证明重要性不等于可孤立训练性：微调 Super Weight 完全失效，而全层低秩更新（LoRA）成功且对位置限制鲁棒
📌 工作参考价值（4 点）
- 微调策略选择：不要试图仅训练少量重要参数（基于幅度或剪枝后的子集），即使它们对模型质量至关重要；实验显示训练100–8192个 Super Weight 准确率跌至随机，同样大小的随机稀疏训练（避开 Super Weight）却能超过基线。在电商/推荐场景微调 LLM 做 query 理解、商品描述生成时，直接使用 LoRA 等全层低秩更新，无需特意挑选重要参数。
- LoRA 位置冻结的冗余性：在 attention 层中冻结与 down_proj Super Weight 坐标对应的位置（占 LoRA 参数的 0.5–6.8%）对性能统计无影响（10 seeds p>0.05），且 LoRA 自身更新中最高幅值位置也不是瓶颈。这意味着部署 LoRA 时，不需要针对下游关键权重的位置做 mask 或缩放，低秩结构本身已提供协调性。
- 结构化分解的指导意义：理论证明稀疏更新只捕获微调子空间的 k/N，而低秩分解的覆盖维度是稀疏的 256×。在设计参数高效微调方案时，应优先选择具有层级别协调的结构（如低秩、SVD 基冻结），避免坐标对齐的稀疏选择，无论那些坐标看起来多重要。
- 异常权重的处理：若模型通过激活尖峰识别出 Super Weight 存在，标准 LoRA 微调足以成功，且 Super Weight 在微调期间几乎不变（幅度变化仅 0.03%），LoRA 通过重新路由表征来利用固定的高增益放大器。在需要持续适配推荐模型时，可信任 LoRA 的隐式正则，无需额外冻结或特殊约束 Super Weight 参数。
ScAle：注意力头缩放作为最小适配器增强VLM空间推理
🧭 轻量级激活缩放适配视觉语言模型
Northeastern University · EmbodyX Inc. · Zhejiang University
仅用1K可训练标量系数缩放冻结VLM层激活，空间推理准确率相对提升最高134.1%
📌 工作参考价值（4 点）
- 极低资源任务适配：冻结整个VLM，只训练少量标量系数（~1K参数量）即可注入空间推理能力，适合快速部署到电商多模态场景（如商品图片方位判断、广告布局合理性校验）。
- 激活重标定策略：针对最后token的注意力输出和MLP激活做缩放，无需改动模型结构，可直接套用于现有推荐系统中的视觉理解模块（如对商品详情图进行空间关系抽取）。
- 原始能力无损：缩放系数被有界约束，避免灾难性遗忘，在非空间VQA上保持原有性能，这对线上多任务系统（如同时做商品质量评估和空间描述）很关键。
- 架构无关的即插即用：该方法不依赖特定注意力实现，可作为轻量级适配层嵌入任一Transformer，适合探索在图文匹配、虚拟试穿对齐等推荐链路环节快速实验。
基于艺术强化训练的冻结多模态大模型微调方法 ART
🧭 参数高效微调 · 视觉软提示 · 强化训练
University of Stavanger · NORCE Research
仅优化视觉像素输入实现软提示微调，无需修改计算图，兼容vLLM等高性能引擎
📌 工作参考价值（4 点）
- 多租户微调部署：若业务中部署多模态 LLM（如商品图文理解、交互式 Agent），ART 允许在不修改模型计算图的情况下注入任务知识，每个任务只需维护一个可学习图像，避免反复编译。这对 vLLM 等高性能推理引擎极其友好，可大幅降低多下游任务切换的成本。
- 快速实验与迭代：改变优化目标或任务时，只需重新训练输入像素，无需动模型权重。强化学习优化（GRPO）使奖励设计更灵活，适合需要不断调整策略的应用场景，如对话式推荐中的响应优化。
- 视觉软提示的可解释性与风格化：优化的视觉输入可以呈现为任务相关的艺术图像，让调试更直观，也可作为一种隐式正则，提升模型对分布外输入的鲁棒性。在推荐系统中，可尝试为不同品类或人群生成专属“视觉提示”，辅助文本决策。
- 兼容纯文本任务：实验在数学和工具调用等纯文本基准上取得与 LoRA 相当的效果，证明即便下游任务无真实图像输入，ART 仍能有效注入信息，因此也适用于以文本为主的推荐或 Agent 模型，前提是底层模型为多模态架构。
揭示 LoRA 中缩放因子的隐藏优化力量
🧭 LoRA 缩放因子优化
JD · UCAS · NKU
发现 LoRA 缩放因子 α 主导优化，与学习率作用不同，提出平方根法则及 LoRA-α 框架
📌 工作参考价值（4 点）
- 微调 LLM（如用于推荐解释生成、Agent 工具调用）时，放弃秩绑定的 α=2r 传统，采用平方根律 α = c√r（c 可由少量实验确定，如 c≈4~8），用标准小学习率即可高效收敛，简化调参。
- 若微调效果受限于收敛速度，优先放大 α 而非学习率：α 放大任务信号却不增加参数漂移（drift ratio），可避免过拟合与遗忘，特别适合在线持续微调场景。
- LoRA-α 的发现直接支持在电商多任务微调中固定 α，使用统一的小学习率（如 1e-4），无需为不同任务反复调整学习率，降低超参搜索成本。
- 频谱抑制平滑优化地形的洞察可用于诊断微调困难：若训练初期梯度方向杂乱，可增大 α 或降低秩以强化主成分信号，加速收敛。
TailLoR：保护主成分的参数高效持续学习
🧭 参数高效持续学习 · 谱分解
Bitdefender, Romania
通过软谱惩罚将低秩适应引导至长尾奇异方向，缓解持续学习中的干扰与遗忘
📌 工作参考价值（4 点）
- 在电商推荐模型的持续更新中，用TailLoR替代标准LoRA，可将新任务对历史知识的干扰从主成分转移到长尾维度，有效缓解灾难性遗忘。
- 可直接将预训练权重的奇异基冻结为参考系，仅学习对奇异值矩阵的低秩更新，参数效率极高，适合部署于频繁迭代的推荐Agent。
- 软谱惩罚项可单独作为正则化技巧，融入现有LoRA微调流水线，强制模型利用未充分优化的长尾表示，提升多任务顺序学习能力。
- 该方法天然适配多域推荐场景（如不同商品类目），允许逐个域顺序学习而无需重训练所有数据，降低工程成本。
Code2LoRA：面向软件演化的超网络生成代码适配器
🧭 参数高效微调 · 超网络生成 LoRA
University of Waterloo
用超网络为代码仓库动态生成 LoRA 适配器，零推理 token 开销注入库级知识，支持静态与演化场景。
📌 工作参考价值（4 点）
- 为不同场景动态生成 LoRA：超网络可推广到电商推荐中，为不同用户群、商家或商品类目生成专属 LoRA，避免为每个实体独立微调，节省存储与训练成本。
- 零推理 token 开销注入知识：生成的适配器直接融合到基座模型，推理时无额外上下文拼接，适合延迟敏感的推荐重排或 Agent 调用。
- 进化机制应对分布漂移：GRU 隐藏状态按 commit 更新适配器，类似可用于在线学习场景，持续跟踪用户兴趣变化或商品趋势，低成本保持模型新鲜度。
- 基准与评估框架：RepoPeftBench 的构建思路可借鉴到电商领域，构建包含不同商家、不同时期的 PEFT 评估基准，量化个性化与迁移能力。
PEFT 的三轴缩放：万亿参数基础模型支撑百万持久个性化模型
🧭 PEFT 缩放 · 个性化模型 · LoRA RL ★ 深度解读
Mind Lab
通过 Scale Up（强先验）、Scale Down（小型稳定适配器）与 Scale Out（适配器种群）三轴协同，让 LoRA 在万亿 MoE 上实现低成本、可持续的个性化 RL 更新与集体智能。
📌 工作参考价值（4 点）
- 用户级 LoRA 适配器：电商推荐或 Agent 系统可对每个用户或 Agent 实例维护一个 LoRA adapter，仅更新 <1% 参数即可捕获长期偏好、技能或工具使用习惯，成本远低于完整模型微调。
- RL 训练的稳定初始化：在 RLHF 或 RLVR 场景中，极低秩 adapter (rank=1) 的初始化不能简单复用 SFT 下的 SVD 初始化，应使用控制初始更新幅度的 RL-native 方法（如 OLoRA-tail），避免策略漂移导致 KL 崩溃。
- 多 Adapter 投票提升决策质量：当存在多个来自不同用户或 Agent 的 adapter 时，可借鉴论文中基于多样性的大数投票机制，聚合多个适配策略输出，在推理阶段获得集体智能收益（AIME24 准确率从单模型 36.4% 提升到 198 模型的 48.7%）。
- 训练–推理一致性：大规模 MoE 部署个性化模型时，路由差异会导致训练策略与线上策略不一致，采用 Router Replay R3 等技术记录并回放路由决策，可保证 RL 更新的有效性。
平衡 LoRA：消除参数不变性加速收敛
🧭 LoRA 优化 · 平衡投影 ★ 深度解读
École Normale Supérieure PSL · CNRS · Apple
提出 BaLoRA，通过投影到平衡流形改善 LoRA 条件数，实现更快收敛且几乎无额外开销。
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 微调中，用 BaLoRA 替代标准 LoRA：每步优化后加一次极分解+SVD 投影（复杂度 O((a+b)r²)），收敛更快且不增加显存。
- 高秩微调场景（如复杂多模态推荐、大规模 Agent 模型）下，BaLoRA 在高 rank（64、128）优势显著，可避免条件数恶化。
- BaLoRA 对学习率和初始化缩放更鲁棒，降低超参搜索成本，适合业务中快速迭代。
- 投影保持乘积 AB 不变，无伤融入现有 LoRA 流水线，可即插即用。
PEFT-Arena：从稳定性-可塑性视角评估参数高效微调
🧭 参数高效微调的稳定性-可塑性权衡与几何分析 ★ 深度解读
The Chinese University of Hong Kong · Westlake University · MPI for Intelligent Systems
提出 PEFT-Arena 基准，揭示 PEFT 方法的稳定性-可塑性权衡，正交微调 (OFT) 展现最佳前沿。
📌 工作参考价值（4 点）
- 评估 LLM 微调时需同时监控通用能力遗忘：业务中仅看下游指标会高估微调收益，建议加入指令遵循、知识问答等通用 benchmark 作为稳定性指标，避免模型被破坏。
- 优先选择结构化参数化方式：在同等参数量下，正交微调 (OFT) 比 LoRA 变体更有利于保留预训练能力。若需要做领域适配（如电商商品知识、客服话术），可考虑 OFT 或 Cayley 参数化，其谱保持性质能减少对通用能力表示几何的扭曲。
- 用插值路径诊断过冲并后验修正：SFT 末期常出现过冲，最佳权衡点早于最终 checkpoint。可用沿更新路径（加法方法缩放 ΔW，OFT 缩放 Cayley 生成元）插值，找到更优的稳定性-塑性点；也可对 OFT 按层重缩放生成元，校正层间更新不平衡，在不额外训练的情况下恢复部分遗忘的通用能力。
- 用激活空间几何指标监控遗忘：Procrustes 残差、线性 CKA 等可用于检测微调对通用数据表示结构的扭曲程度，可作为离线评估的一部分，指导早停或超参选择。
GPart：通过全局参数分区的端到端等距微调
🧭 Training ★ 深度解读
Samsung AI Center, Warsaw · University of Warsaw
提出 GPart，用单一随机分区矩阵将可训练向量直接映射至全权重空间，消除 LoRA 的低秩瓶颈并实现端到端等距