字号
本期编译精选。
【导语】人工智能(AI)的近期进步主要由大型语言模型所驱动,由operate所超越的离散单位称为符的深神经网络所驱动。为了代表文本,大多数大语言模型都以单词或单词片段为符号,被称作子词符号化1. 子词符号化掩盖了精细的纹理信息。## 摘要
人工智能(AI)的近期进步主要由大型语言模型所驱动。由operate所超越的离散单位称为符的深神经网络所驱动。为了代表文本,大多数大语言模型都以单词或单词片段为符号,被称作子词符号化1. 子词符号化掩盖了精细的纹理信息。这很成问题,特别是对于科学数据——如计算机代码或生物序列——的意义取决于单个字符或字节2。相反,在文字的字节编码上直接使用operate的模型避免了这些限制,但直到现在,它们在性能上一直落后于以子词为基础的模型。在这里,我们引入了一种一般的方法,通过字节化来创建字节级大语言模型,这种方法接近以子词为基础的系统的能力。我们采用两相转换程序,将现有的以子词为基础的模型改造为字节级模型,并进行最低限度的额外训练。由此产生的模型超越了更早的字节级方法,并出色地完成了字符级推理任务,通过高效地处理字节级信息和回用源大语言模型周围的现有生态系统来达到实用的推理速度。我们的结果消除了对端到端字节语言建模的长期性能障碍,表明原始文本编码上的operating模型可以在需要精细的文本理解的领域提供优势的同时进行竞争规模化。
主要
(原文共 9 张图片,此处展示前 3 张,更多图片请前往原文查看)
(编译自 Nature;原文


来源:Nature(原文)
本文系本站对该英文资讯的编译与转述,非全文翻译;版权归原作者所有。
本文系本站对该英文资讯的编译与转述,非全文翻译;版权归原作者所有。
免费订阅
每天 5 分钟,看懂世界在发生什么
订阅「牛金金天天译站」,每日精选海外科技/AI/文化资讯编译送到你邮箱。非经营性、无广告、可随时退订。
评论