Ling-V2 – 蚂蚁百灵推出的大型语言模型系列

Ling-V2是什么

Ling-V2 是蚂蚁百灵团队推出的基于 MoE 架构的大型语言模型家族，首个版本 Ling-mini-2.0 拥有 160 亿总参数，每个输入标记仅激活 14 亿参数。模型在 20 万亿高质量数据标记上训练，经多阶段监督微调和强化学习增强，在复杂推理和指令遵循方面表现出色。Ling-mini-2.0 用 1/32 激活比率的 MoE 架构，实现 7 倍等效密集性能杠杆，生成速度快，训练和推理效率高，开源了 FP8 高效训练解决方案，提供多种预训练检查点，支持持续训练，是 MoE 研究的理想起点。

Ling-V2的主要功能

• 强大的推理能力：在编码、数学以及跨领域知识密集型推理任务中表现出色，与10亿以下的密集模型和更大规模的MoE模型相比，展现出卓越的推理能力。