Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
无需模型修改的并发:面向LLM的基于Future的异步函数调用
🧭 Agent ★ 深度解读
University of California, Berkeley
提出AsyncFC,通过Future占位符解耦LLM解码与函数执行,实现无模型修改的异步工具调用并显著降低延迟
每日 AI / 电商 / 推荐系统 / Agent 论文精选
1 篇
无需模型修改的并发:面向LLM的基于Future的异步函数调用
University of California, Berkeley
提出AsyncFC,通过Future占位符解耦LLM解码与函数执行,实现无模型修改的异步工具调用并显著降低延迟