FS-DFM – 苹果联合俄亥俄州立大学推出的扩散语言模型

FS-DFM是什么

FS-DFM（Few-Step Discrete Flow-Matching）是苹果联合俄亥俄州立大学推出的用在快速生成长文本的扩散语言模型。模型通过将采样步数作为显式参数进行训练，使模型能在较少的步骤内生成高质量的文本。FS-DFM结合可靠的更新规则和强大的教师指导，确保概率更新准确且不会过度调整。在语言建模基准测试中，FS-DFM用8步采样达到1024步离散流基线的困惑度水平，同时将采样速度提升至128倍，显著提高效率和吞吐量。

FS-DFM的主要功能

• 高效采样：用8步采样达到传统1024步扩散模型的效果，速度提升128倍。