MobileCLIP2 – 苹果开源的端侧多模态模型

MobileCLIP2是什么

MobileCLIP2是苹果公司研究人员推出的高效端侧多模态模型，是MobileCLIP的升级版本。在多模态强化训练方面进行了优化，通过在DFN数据集上训练性能更优的CLIP教师模型集成和改进的图文生成器教师模型，进一步提升了模型性能。MobileCLIP2在零样本分类任务上表现出色，例如在ImageNet-1k零样本分类任务中，准确率较MobileCLIP-B提升了2.2%。MobileCLIP2-S4在保持与SigLIP-SO400M/14相当的性能的同时，模型规模更小，推理延迟更低。在多种下游任务中也展现了良好的性能，包括视觉语言模型评估和密集预测任务等。MobileCLIP2适用于图像检索、内容审核和智能相册等多种应用场景，能基于文本描述检索相关图像、进行图文一致性检查以及自动图像分类等。

MobileCLIP2的主要功能

• 零样本图像分类：利用预训练的多模态特征，直接对图像进行分类，无需额外训练数据，可快速适应新任务。