REFRAG – Meta推出的高效解码框架

REFRAG是什么

REFRAG是Meta超级智能实验室推出的针对检索增强生成（RAG）任务的高效解码框架，通过“压缩（Compress）、感知（Sense）、扩展（Expand）”的流程优化大型语言模型（LLM）处理外部知识的方式。REFRAG将检索到的长文本切分为多个“块”，为每个“块”生成紧凑的向量表示，缩短输入序列长度，降低计算量。模型用强化学习策略网络智能判断关键信息，保留重要文本块的原始文本。框架在显著提高首字生成延迟（最高加速30倍）的同时，保持与完整上下文模型相当的性能，有效解决大模型处理长上下文时的效率问题。

REFRAG的主要功能

• 显著降低首字生成延迟（TTFT）：通过优化解码过程，REFRAG将首字生成延迟最高加速30倍，显著提升系统的实时交互性能。
• 保持或提升生成内容质量：在加速的同时，REFRAG在困惑度和多种下游任务的准确率上与使用完整上下文的基线模型相比没有性能损失，且在某些任务上表现更好。
• 扩展上下文窗口：REFRAG通过压缩技术，使模型能在同等计算预算下处理更多的上下文信息，上下文窗口等效扩大16倍，有助于提升模型在需要长上下文信息的任务中的表现。
• 适应多种应用场景：REFRAG适用于RAG任务，能应用在多轮对话、长文档摘要等其他需要处理长上下文信息的任务，具有广泛的适用性。

REFRAG的技术原理

• 压缩（Compress）：将检索到的长篇参考资料切分为多个“块”（chunks），为每个“块”生成一个紧凑的向量表示“块嵌入”（chunk embedding），缩短输入序列长度，降低后续计算量，避免了重复的编码计算。