Model Update2026-07-03
VentureBeat
阿里新框架让AI Agent token用量狂降99%,成本砍到脚踝
阿里巴巴的研究人员最近搞出了一个让人眼前一亮的AI框架,它通过跳过加载所有可用工具的方式,把token消耗砍掉了惊人的99%。这解决的是企业AI最头疼的问题之一:随着系统规模扩大,处理复杂工作流时,往往需要跟几十甚至上百个工具、API和数据源打交道。传统做法是把所有工具信息都加载进来,结果token消耗巨大,成本蹭蹭往上涨。
阿里这个新框架的思路很聪明:它不一股脑加载所有工具描述,而是动态判断当前任务真正需要哪些工具,只加载那些必要的。这种选择性加载机制不仅大幅减少了token消耗,任务完成准确率甚至还提升了。
这对企业AI部署的影响可不小。Token成本是组织大规模运行AI系统时最大的运营支出之一。99%的token用量削减直接意味着巨额成本节省,让AI部署在更多应用场景下变得经济可行。
除了省钱,这个框架还提升了效率。通过消除不必要的工具加载,AI Agent可以更快处理请求,同时处理更多并发任务。这对那些对响应时间要求很高的实时应用来说特别有价值,比如客服聊天机器人或自动交易系统。
框架还解决了子任务路由到正确工具的难题。在复杂工作流中,判断哪个工具该处理哪个子任务往往是最大的瓶颈。阿里的方案包含智能路由机制,确保每个子任务都能被导向最合适的工具,同时不浪费token在无关选项上。
这项创新可能会加速企业AI的普及——毕竟它搬走了成本这座大山。当组织发现AI可以高效经济地部署时,他们可能更愿意在业务各环节大规模投入AI了。