企业为简单的人工智能查询付费过高——雪花的网关现在自动路由,可以将成本削减至3x.

企业为简单的人工智能查询付费过高——雪花的网关现在自动路由,可以将成本削减至3x.。

规模化运行AI代理的企业团队发现,一个单一的模型处理每个任务都做得很差——要么该模型对于简单的问题来说过于昂贵,要么对于困难的问题来说不够能力. 模式路由(Model routing),它自动为每项任务选择正确的模式,正在成为固定. Snowflake的Cortex AI Gateway现在提供了动态的模型路由,以解决以下问题:企业可以选择“自动”而不是固定模式,系统将每项任务导向提供最佳质量和成本组合的哪个模式。 Snowflake说,这一能力在某些工作量上可以减少多达3x的象征性成本——这是公司内部测试中得出的数字——之后发现,简单的问题往往由其最能干的模型处理,使得答复比必要的更昂贵更慢. 移动在更广泛的产业转向自动化模式路线的过程中着陆。 Databricks,AWS,Google Cloud和Nvidia都宣布了某种形式的模型路由技术. Snowflake认为,模型路由比仅仅价格和性能更复杂,它也涉及到治理和上下文. "为了高品质,企业级代理人要被建设,关键是要让背景和治理正确","雪花的AI副总裁巴里斯·古尔特金(Baris Gultekin)告诉了VentureBeat. “背景、信任和模式选择都相辅相成。” 两个机制决定任务的方向 该能力以Cortex AI Gateway为基础,Snowflake于2026年7月作为代理和模式交通的治理层推出. Gultekin说,在动态路由之前,模型选择从每个任务中跳出一个静态列表而不是一个真正的倒置系统. 动态路由本身运行在两种机制上,根据古尔特金的说法. 一个小模特先试一试 在雪花所谓的顾问模式下,一个更小的模型首先尝试任务. 如果它不能完成任务,它就称更大的模型为工具,从那里继续. 按任务历史分类的分类器 。 一个单独的分类器, 接受过过去查询培训, 自动化。

（编译自 VentureBeat；原文 https://venturebeat.com/orchestration/enterprises-are-overpaying-for-simple-ai-queries-snowflakes-gateway-now-auto-routes-to-cut-costs-up-to-3x，编译转述，非原文转载）