智谱AI发布开源GLM-4.6V视觉模型

2天前7 min read

在一项显著升级开源AI军备竞赛的举措中，中国初创公司智谱AI（通常被称为Z. ai）发布了其GLM-4.6V系列，这是一代直接挑战OpenAI和谷歌等闭源巨头主导地位的新视觉语言模型。此次发布包含一个庞大的1060亿参数模型和一个轻巧的90亿参数变体，这不仅仅是一次渐进式更新；它代表了向业界所称的“智能体”AI——即能够自主感知、推理并对视觉世界采取行动的系统——的战略性推进。核心创新在于引入了原生多模态函数调用，这一技术飞跃使得模型能够直接操作视觉输入，例如将屏幕截图传递给裁剪工具或将图表传递给数据提取器，而无需经历将所有内容转换为文本的繁琐中间步骤。这种看似简单的能力是一个深刻的转变，它以许多先前VLM所未能实现的方式，在感知与行动之间形成了闭环，这些VLM往往擅长描述但在执行上却步履蹒跚。在架构上，这些模型建立在熟悉的编码器-解码器框架之上，但融入了复杂的适配，例如基于AIMv2-Huge的视觉Transformer编码器，并支持任意图像分辨率，包括高达200:1宽高比的极端全景格式。至关重要的是，它们拥有128,000个标记的上下文窗口，使其能够一次性消化并推理相当于一本300页的小说、200页的幻灯片或一小时视频的内容，这一特性让较大模型在长上下文任务中比某些物理上更大的竞争对手更具优势。智谱对开源原则的承诺通过模型在宽松的MIT许可证下发布得到强调，该许可证授予企业完全的商业使用、修改和本地部署自由，而无需开源衍生品的义务，这对于具有严格数据治理或物理隔离环境的行业而言是一个关键考量。性能基准测试讲述了一个引人注目的故事：在涵盖视觉问答、图表理解、OCR和STEM推理等超过20项评估中，GLM-4. 6V（106B）在同等规模的开源模型中取得了最先进或接近最先进的结果，而较小的GLM-4.6V-Flash（9B）则持续超越其他轻量级竞争者。这种性能，结合具有竞争力的API定价结构——旗舰模型每百万标记1. 20美元，Flash变体免费——使该系列成为一个强大且经济高效的替代选择。其影响远不止于学术排行榜。智谱已明确瞄准前端自动化，展示了模型从UI屏幕截图生成像素级精确的HTML/CSS/JS，并根据自然语言命令迭代设计的能力，这种能力可能重塑低代码开发。此外，其训练方法采用多阶段流程，结合使用可验证奖励的强化学习和课程采样，反映了复杂多模态系统构建方式的成熟，优先考虑可扩展的、目标驱动的改进，而非纯粹的人类反馈。对于企业领导者和开发者而言，此次发布是一个分水岭时刻。它提供了一个可用于生产的开源基础，用于构建复杂的多模态智能体，能够执行从混合格式文档自动生成财务报告到用于安全或广播摘要的实时视频分析等任务。通过普及此类先进的视觉推理和工具使用能力，智谱AI不仅仅是在发布一个模型；它正在积极加速整个生态系统向更自主、更强大、更集成的AI系统迈进，迫使人们重新评估在大型科技集团围墙花园之外的可能性。.

#GLM-4.6V

#Zhipu AI

#vision-language model

#open source

#native tool calling

#computer vision

#featured