合成数据何时有害：LLM Agent技能检索中的灾难性遗忘
🧭 LLM Agent 技能检索 · LoRA 遗忘缓解 ★ 深度解读
Manulife
在34,396技能规模上，朴素LoRA合成数据微调会遗忘真实/OOD任务；保守正则可保持OOD并提升分布内召回13.98%。
📌 工作参考价值（4 点）
- 在电商/广告召回或相关性模型微调中，真实点击/转化标注通常远少于曝光；若用LLM合成训练样本，优先选择低秩保守LoRA（如r=8、attn-only、lr=5e-6）并加LwF/EWC/anchor/L2-init正则，可降低真实流量OOD掉点风险。
- 上线评估必须拆OOD真实query：不能只看合成集指标。论文中激进LoRA在合成Ring提升，但真实Ring 3 Recall@10从0.850跌至0.650；因此要单独监控自然流量、长尾类目、未参与训练的场景。
- 轻量0.6B bi-encoder在技能检索上可匹配4B+BM25 hybrid（HIT@10=0.907），搜索/推荐召回侧可用小模型+FAISS降低成本；微调稳定性主要由LoRA rank控制，anchor weight影响较小，优先调rank。
- retriever与reranker分数融合可采用per-query min-max归一化后线性加权α；BM25等稀疏召回用RRF融合，避免不同分数尺度校准问题。
教Nemotron希腊语：专业领域现代希腊语RAG全流程构建
🧭 低资源语言RAG全栈适配 · 领域检索增强生成
Sophea AI, KIEFER SA, Athens, Greece
为低资源语言从头搭建检索增强生成系统，合成监督、微调嵌入与重排、适配生成，并发布基准HERA。
📌 工作参考价值（4 点）
- 不要迷信多语言密集检索：在特定领域（如电商商品描述、客服文档），先跑一个BM25作为基线，很可能强过通用多语言嵌入模型，尤其在低资源语言场景。
- 小规模领域检索对微调有大收益：仅用6.5万合成希腊语检索对微调1B嵌入模型，nDCG@10从0.362涨到0.835。在电商垂直领域，可以自动构建（query, 商品/文档）对来微调嵌入模型，成本低但效果显著。
- 重排器也需要领域适配：现成跨编码器重排器在不同领域表现不一致，用领域数据微调后能变成稳定增益。构建RAG系统时，别忽略重排环节的定制训练。
- LoRA微调MoE阅读器大幅提升答案质量：仅LoRA调优30B-A3B的MoE模型，答案正确率从29.4%升至66.9%，且忠实性和引用质量显著改善。对于需要从长文档中提取证据的场景（如电商说明书、政策文档），用LoRA高效地让大模型接地气。
Querit-Reranker：无标注分布适配的高效多语言重排序器训练
🧭 多语言重排序器训练与分布适配 ★ 深度解读
Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Baidu Inc.
通过合成query mining与teacher软标签实现无标注目标适配，结合SLERP合并checkpoint，产出紧凑且强劲的多语言重排序模型
📌 工作参考价值（4 点）
- 无标注分布适配：用目标语料库中的文档通过LLM生成合成query，并由teacher模型（如Llama-Embed-Nemotron-8B）打分作为连续软标签，代替昂贵的人工标注，可迁移用于电商搜索中的新行业/小语种适配。
- SLERP单模型合并：将多个针对不同任务/数据分布训练的checkpoint用球面线性插值融合为一个模型，避免多模型部署的推理开销，适合线上低延迟重排序。
- 紧凑MoE架构：Querit-Reranker-A0.4B使用0.4B激活参数的MoE骨干，在保证效果的同时大幅降低推理成本，适合搜索重排序等高性能要求场景。
- 多阶段数据配比：一阶段用大规模开源+业务数据构建通用相关性，二阶段用少量目标分布合成数据精调；可迁移到电商多国家站点/多品类的重排序模型训练。