LSP（Language Self-Play） – Meta推出的强化学习方法

LSP是什么

LSP（Language Self-Play）是Meta提出的一种强化学习方法，解决大型语言模型对大量高质量训练数据的依赖问题。LSP的核心思想是利用自我博弈的方式，让同一模型在挑战者和解题者两种角色之间切换。挑战者负责生成难题，目标是“难住”解题者；解题者则负责回答问题，目标是给出高质量的答案。这种对抗过程遵循极小极大博弈规则，通过动态对抗实现模型的自我改进。LSP通过特定的提示词来切换模型角色，避免了训练独立对抗模型的复杂性。在训练过程中，LSP使用KL散度正则化，防止挑战者生成无意义的对抗序列，并引入“自我质量奖励”引导高质量交互。实验表明，LSP在没有额外数据的情况下，能显著提升基础模型性能，尤其在对话任务上表现突出。

LSP的主要功能

• 角色切换与自我博弈：LSP通过让同一模型在挑战者和解题者两种角色之间切换，形成动态对抗关系，挑战者生成难题，解题者回答问题，通过这种对抗实现模型的自我改进。