Bolmo架构实现高效字节级语言模型训练，且不牺牲模型质量

10小时前7 min read1 comments

免分词器、多语言AI模型的推进势头正劲，艾伦人工智能研究所（AI2）刚刚推出了一个引人注目的新竞争者——Bolmo。这个包含70亿和10亿参数版本的新模型系列，被AI2称为首个完全开源的字节级语言模型，其方法体现了一种巧妙的工程实用主义。AI2的研究人员没有从零开始训练一个字节级模型（这是一项艰巨且昂贵的任务），而是进行了一种外科手术式的改造。他们采用了其现有Olmo 3 7B模型（本身就是一个强大的模型）经过验证的主干，并对其进行了“字节化”。这个过程涉及一个两阶段的训练方案：首先冻结核心Transformer，以低成本在98亿个标记上训练新组件（如局部编码器和解码器），然后解冻整个模型进行进一步精炼。其成果是一个直接处理原始UTF-8字节的模型，完全绕过了对预定义分词器词汇表的需求，而后者可能在处理拼写错误、稀有语言或非常规文本格式时遇到困难。对于着眼于全球部署、内容审核系统或边缘计算（这些场景中的文本输入可能非常嘈杂）的企业而言，这种内在的鲁棒性是一个主要卖点。像Bolmo这样的字节级模型在研究领域并非全新概念；Meta的BLT架构、Google的ByT5、斯坦福的MrT5以及Canine等模型都探索过这一领域，旨在构建能够处理原始数据且不受固定词汇表限制的系统。Bolmo寻求的差异化在于其实用且对生态友好的理念。AI2不仅发布了模型权重，还发布了完整的蓝图——检查点、代码和详细的论文——将Bolmo定位为一个社区可以在此基础上构建的可复现模板，本质上论证了无需从零开始即可获得字节级优势。根据AI2自身涵盖数学、STEM推理、问答和代码的评估套件，性能指标表明该策略是有效的。据报道，Bolmo 7B在CUTE和EXECUTE等专注于字符的基准测试中表现优异，并且相较于其基础模型Olmo 3有所改进，尤其在其规模级别上的编码、数学和多项选择问答任务中表现出色。这一性能桥梁至关重要。它表明字节级处理的鲁棒性不必以能力下降为代价，而这是过去脱离优化分词器时的一个历史性担忧。对于一个已经投资于异构模型栈（可能正在使用Olmo或类似架构）的组织而言，Bolmo的价值主张在于降低风险和易于集成。AI2强调，其动态分层设置使压缩成为“一个可切换的旋钮”，提供了灵活性。这里更广泛的含义是，字节级方法正在从纯粹的学术实践成熟为一种可行的工程选项。随着AI部署扩展到更多样化、更混乱的现实世界环境——从处理全球俚语的社交媒体平台到处理碎片化用户查询的客服机器人——能够优雅处理模糊性而不崩溃的模型变得越来越重要。Bolmo通过改造一个强大的子词模型来提供一条低摩擦的采用路径，这表明高性能、企业级AI的未来可能不会被单一的架构范式所主导，而是由一个灵活的工具体系构成，其中字节级模型凭借其鲁棒性和全球覆盖能力占据着不可或缺的生态位。.

#Bolmo

#byte-level language models

#Allen Institute for AI

#Olmo

#tokenizer-free

#multilingual AI

#research & breakthroughs

#featured