FastMTP – 腾讯开源的大语言模型推理加速技术

FastMTP是什么

FastMTP 是腾讯自研的大语言模型（LLM）推理加速技术，通过优化多标记预测（MTP）技术，用共享权重的单 MTP 头替代传统多独立模块，结合语言感知词汇压缩和自蒸馏训练，显著提升 LLM 的推理速度，平均提速可达 2.03 倍，且输出质量无损。FastMTP 不改变主模型结构，易于集成到现有框架中，适用数学推理、代码生成等结构化任务，为 LLM 的高效部署提供实用方案。

FastMTP的主要功能

• 显著加速LLM推理：通过优化多标记预测（MTP）技术，FastMTP能在不损失输出质量的前提下，将大语言模型（LLM）的推理速度平均提升2.03倍，大幅缩短模型生成内容的时间，提高应用响应速度。