本期编译精选。
【导语】LLM API是强大的——和昂贵的。利用模式取道,语义取道,即时取道取道取道取道,再排位取道,并响应制约,以控制支出。功劳:Shutterstock Gen AI
LLM API是强大的——和昂贵的。利用模式取道,语义取道,即时取道取道取道取道,再排位取道,并响应制约,以控制支出。
功劳:Shutterstock Gen AI
过去10年里,我们建造了整个Finops部门,以破解云帐上所说的。就在我们想出如何停止让闲置的计算程序运行的时候,生成式AI引入了无限的更不透明,更快速地移动的消费层。
AI法案冲击像缓慢移动的飓风横行全行业。除了大语言模型(LLM)成本的飙升外,更深层次的建筑问题在于归属:钱具体流向何处,它给企业带来什么价值?
当API的电话被层层自动代理和即时模板包裹时,你的应用程序会变成一个黑匣子,消耗资本来产出令牌。如果一个特性引擎每月燃烧上千美元,仅仅为了有LLM输出快感或处理低值数据,建筑成熟意味着像对待其他受约束的资源一样对待活物。
幸运的是,有几把很好的杠杆 我们可以控制AI的开支。这是驯服野兽的五个关键工具
模式路线
如果缩图足够的话,
像最新的Claude Opus这样的最强大的模型是一些有史以来所建造的最先进的软件系统。他们能够处理极其复杂和微妙的使用案件。在计算消费(因此也是美元)时,它们也是贪婪的野兽。因此,他们往往过度杀戮
我们自然从最强大的模型开始,当我们建立和勾画API和要求时。因此,因为我们处于“工作”模式,但对于生产来说,拨打我们所能使用的最不强大的模型是绝对必要的
(原文共 8 张图片。因此,此处展示前 3 张,更多图片请前往原文查看)
(编译自 InfoWorld;原文



本文系本站对该英文资讯的编译与转述,非全文翻译;版权归原作者所有。
每天 5 分钟,看懂世界在发生什么
订阅「牛金金天天译站」,每日精选海外科技/AI/文化资讯编译送到你邮箱。非经营性、无广告、可随时退订。
评论