AI的推论越来越便宜了 但你的探员越来越贵了

AI的推论越来越便宜了 但你的探员越来越贵了。

好消息是大型语言模型(LLM)代币成本正在下降. 相会道: 人工智能工作量的总成本正在上升。 Gartner的研究预测,尽管到2030年象征性成本将下降95%,但代理工作流程的推论成本在未来两年内将增加五倍多. 这是因为由于LLMS越来越复杂,AI应用程序的构建者正在使用更多,而且往往更昂贵的代币. 这就是加特纳所说的“推论悖论 ” 。 换句话说,“创新速度超过了成本曲线”,Gartner分析师Will Sommer和Sabine Zimmerhansl在其报告中指出。 “市场被象征性的虚幻所笼罩。” 买家们危险地假设,随着AI供应商改善象征性经济学,这些节省将反映在他们的行进图中. 但简言之,“他们不会”。 " 一群人 " 吃着信物 分析家们指出,毫无疑问,AI具有巨大的价值,而且往往比从事许多日常工作的人更好、更快。 代理商还可以更快地发现 各个井中系统的规律 例如,Gartner已经看到客户成功代理将反应时间减少99%。 但随着AI的进化,象征用法增加,而象征价值是可变的,Sommer和Zimmerhansl指出. 高级AI代理,可以说明原因的单项任务已经比基本的AI聊天器花费多出多达150x. 一个简单的聊天员必须读取和解释一个请求,并迅速给出一个“可能合理的”答案,但代理商随着他们变得更加精密,必须思考,质疑,并在出错时适应,他们越来越多地在背景中连续地运行,而且往往是隐蔽地运行. 分析人士写道, “他们必须能够验证其结果的准确性, “他们需要与其他代理人交谈。” 所有这些都需要更多的资源,象征性的消费随着日益自主的代理人的“群”来触发并相互呼唤而急剧增加。 线。

（编译自 Computerworld；原文 https://www.computerworld.com/article/4210786/ai-inference-is-getting-cheaper-but-your-agents-are-getting-more-expensive.html，编译转述，非原文转载）