我用我小小的GPU操作了小邦赛模型 以下是它的表现:

我用我小小的GPU操作了小邦赛模型 以下是它的表现:。

来自PrismML的Bonsai 27B模型是众多将大量参数(270亿)挤入足迹紧凑到足够适合智能手机上的最新一种. 最初的型号在54 GB的重量。 然而,PrismML声称其1位量化版本——仅仅是3.9 GB——可以提供“跨多步骤的推理、结构化的工具调用、视觉任务和计算机使用的代理循环,这些循环在许多步骤之间保持一致”,同时仍然保留较大版本的大部分准确性,因为“为其混合式思维结构建造的习惯低位内核。” Bonsai 27B的1位量化版本允许262K个符上下文,并支持投机解码和闪光关注. 根据Apache 2.0 开源许可证,所有这一切都可以公开使用。 测试 Bonsai 27B 我让1位 Bonsai 27B 型号在自己的硬件上旋转,在Windows 11上使用 LM Studio 0.4.20. 我的PC有AMD Ryzen 5 3600 6个核心CPU(32GB RAM)和NVIDIA GeForce RTX 5060 (8GB VRAM). 我将Bonsai跑过现在的标准测试床, 两个版本的视觉功能提示:“为所附图像创建标题,不超过三句”和“为所附图像创建标题,不超过三句,没有编辑”。 (此提示所附带的图像,一所燃烧的汽车,见下方的第一截图. 有两个提示旨在引发网络搜索工具的使用,一个要求详细答复,一个要求简单答复:"Franz Kafka的作品的版权状况如何? 详细解释”和“威廉·吉布森对"刀锋跑者"(Blade Runner)的看法如何?” 一个代码生成和问题解决的提示:“Python的活页工具有一个函数ScriptMaker(从pip. vendor.distlib.scripts导入了ScriptMaker). 在Microsoft Windows上,这个用于为Python软件包安装了pip后,为它的入口创建一个.exe stub启动器. 然而,为。

（编译自 InfoWorld；原文 https://www.infoworld.com/article/4206771/i-ran-the-tiny-bonsai-model-on-my-tiny-gpu-heres-how-it-performed.html，编译转述，非原文转载）