SAIL-VL2 – 字节抖音联合国立大学开源的视觉语言模型

SAIL-VL2是什么

SAIL-VL2 是抖音团队和新加坡国立大学联合开发的开源视觉语言基础模型，专注于多模态理解和推理。由视觉编码器 SAIL-ViT、视觉-语言适配器和大语言模型组成，采用渐进式训练框架，从视觉预训练到多模态融合，最终通过 SFT-RL 混合范式提升性能。SAIL-VL2 在架构上引入了混合专家（MoE）架构，突破了传统密集型模型的限制，显著提升了效率和性能。

SAIL-VL2的主要功能

• 多模态理解：能处理图像和文本的结合任务，例如图像描述生成、视觉问答等，准确理解视觉内容并生成相应的语言描述。