Strategy-Aware Parameter-Efficient Adaptation for LLM-based Auto-Bidding
策略感知参数高效适配的LLM自动出价框架
🧭 LLM自动出价 · 策略感知参数高效微调 ★ 深度解读
Hainan University · Taobao & Tmall Group of Alibaba
SAGE通过位置增强、文本对齐与约束门控LoRA，仅用不到10%参数实现策略感知的LLM自动出价最优决策。
📌 工作参考价值（4 点）
- 位置增强模块可迁移到用户行为序列建模：将序列中不同语义类型的token（如点击/购买/曝光）赋予独立语义嵌入，结合正弦时间编码，取代统一的绝对位置编码，提升序列区分度和长度扩展性，适用于推荐系统的会话理解。
- 门控交叉注意力对齐多模态信息并压缩输入：在处理用户行为轨迹与自然语言指令（如搜索query、广告文案）融合时，用轨迹作为Query、文本作为Key/Value进行交叉注意力，替代直接拼接，既实现有效跨模态对齐，又大幅缩短LLM输入长度，适合对话式推荐Agent或指令跟随出价。
- 约束门控MoE LoRA实现低成本策略个性化：将业务约束（如预算、CPA目标）编码为门控信号，驱动混合专家LoRA动态选择适配器，每个广告主或场景只需额外极少参数即可定制策略，工程上可冻结LLM主干，只训练轻量适配模块，显著降低训练和部署成本。
- 整体框架可复用于多约束实时决策场景：SAGE的冻结骨干、低秩适配、条件路由设计可直接应用于电商搜索排序中的动态出价、预算分配或Push消息的个性化约束优化，用10%的参数实现超越全量微调的效果。