AngelSlim – 腾讯混元开源的全模态大模型压缩工具包

AngelSlim是什么

AngelSlim 是腾讯混元团队自研并开源的全模态大模型压缩工具包，通过量化、投机采样、稀疏化和蒸馏等技术，为大语言模型（LLM）、视觉语言模型（VLM）及语音模型提供高效、易用的压缩与加速解决方案。工具集成了 FP8/INT8/INT4 量化、GPTQ、AWQ 等主流压缩策略，支持一键式调用和端到端部署，训练产出模型可无缝衔接 vLLM、Sglang 等推理框架。AngelSlim 重磅升级投机采样训练框架，首创 Eagle3 架构，首次将投机采样技术拓展至全模态场景，让小模型学会为大模型起草多步候选 token 并由大模型并行验证，实测推理速度最高可提升 1.4-1.9 倍。目前已支持混元、DeepSeek、Qwen 系列等主流模型的压缩优化，开发者可通过 pip install angelslim 快速安装使用。

AngelSlim的主要功能

• 多精度量化压缩：支持 FP8、INT8、INT4 等多种精度量化，集成 GPTQ、AWQ 等主流量化算法，大幅降低模型存储与计算开销。