From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix
从生产流量到后训练：构建覆盖企业请求的自托管 LLM
🧭 LLM 后训练 · 模块化 RL 与权重合并 ★ 深度解读
T-Tech
以模块化 GRPO 专家 + 两阶段 SLERP 融合替代联合多目标 RL，32B 模型在内部流量上超越约 7 倍参数基线并承接 50% 请求
📌 工作参考价值（4 点）
- 模块化 RL + 权重合并：在电商 Agent/工具调用/指令遵循等多目标后训练中，不要把所有 reward 联合训练；按能力轴独立 GRPO，再 SLERP 合并。新增能力只需训练一个专家、做 eval-only 融合系数搜索，避免重复调联合超参。
- 多语言 Function Calling 数据：不要直接翻译英文 FC 数据，要基于业务 API schema 原生生成（含本地语言参数值）；对 over-calling 可通过在训练数据里注入 synthetic irrelevance 抑制，而不是只改 reward。
- 面向线上真实流量构建离线 benchmark：用模板感知采样（mask 变量 token、LSH 分组、√count 预算）避免模板流量造成的伪多样性；评测按任务类型路由，分类/抽取用 reference verifier，开放生成用人工校准的 checklist judge，可显著提升评测与人工一致度。
- 自托管部署成本：32B 非 reasoning + FP8 vLLM 可覆盖大多数企业流量，较 235B 级别模型降低 2.8-3.9 倍 token 成本，适合做统一底座；但前沿 agentic 能力需保留大模型兜底。