小型推理模型在函数调用中充当指令跟随者

arXiv AI 发表论文，提出指令跟随式函数调用（IFFC）框架，将函数调用逻辑从主 LLM 中解耦，交由专门的较小模型在指令跟随范式下执行。实验显示，IFFC 在函数调用准确率上优于原生函数调用和基于提示的函数调用，尤其在推理型 LLM 上提升明显，并在激进量化下保持稳健性能，支持设备端部署。

此前研究多聚焦于通过微调、强化学习或多智能体框架提升 LLM 的函数调用能力，通常将工具调用作为独立上下文。该论文发现函数调用在标准用户-助手交互指令跟随场景下准确率更高，并提出解耦式架构，为资源受限的边缘计算场景提供了新的高效函数调用方案。

IFFC 框架将函数调用任务从主模型剥离，交给专门的较小模型处理，该模型在指令跟随范式下训练，可能更擅长理解用户意图并生成符合约定的调用。解耦减少了主模型的负担，同时小模型量化后性能损失小，使得在设备端部署成为可能，兼顾准确性与效率。

对依赖函数调用的智能助手和 Agent 产品，可采用 IFFC 架构降低推理成本，提升边缘设备上的响应速度。量化后性能稳健，有利于在手机、IoT 等资源受限环境部署，减少对云端算力的依赖，但需额外开发和维护专用小模型。

• 在边缘设备上集成 IFFC 小模型，实现离线函数调用，降低延迟和隐私风险。
• 针对内部高频函数调用场景，训练专用小型推理模型，替代通用大型模型以减少 API 成本。
• 开发量化工具链，进一步压缩小模型体积，扩大可部署设备范围。
• 在智能助手产品中采用 IFFC 模式，提升复杂指令下的函数调用准确率，优化用户体验。

• 论文中使用的具体数据集和评估基准是什么，是否存在偏差？
• IFFC 框架在非英语或特定领域函数调用中的表现如何？
• 小模型的训练数据来源和构造方法尚未披露，是否依赖特定格式的指令数据？
• IFFC 与主模型之间的交互延迟是否会对端到端体验产生显著影响？