近日，科技巨头苹果公司低调发布了一款名为DiffuCode-7B-cpGRPO的开源AI模型，该模型在代码生成领域实现了突破性进展。
传统的大语言模型（LLM）在处理代码生成时，采用的是从左到右、自上而下的线性思维方式。这种生成方式源于其自回归的工作机制：当用户提出问题后，模型首先预测答案的第一个词元（token），然后基于这个结果重新处理整个问题，以此类推逐一生成后续内容。
值得注意的是，LLM还引入了”温度”这一关键参数来控制输出的随机性。具体而言，较低的温度设置会使模型倾向于选择概率最高的词元，而较高的温度则赋予模型更多创作自由度。
与传统自回归方法不同，扩散（Diffusion）模型常用于图像生成领域。其基本思路是：从一个模糊、带有噪声的初始图像开始，逐步迭代去除噪声，并在每一步都考虑用户的具体需求，最终引导生成符合预期的高质量图像。
此次苹果发布的DiffuCode-7B-cpGRPO模型，基于学术界最新研究成果《DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation》构建而成。
该论文提出了一种创新的扩散优先策略代码生成方法。研究发现，当将采样温度从默认的0.2提升至1.2时，DiffuCoder能够显著增强token生成顺序的灵活性，从而突破传统自回归模型严格的线性生成限制。
更为独特的是，该模型基于阿里巴巴开源的Qwen2.5-7B模型进行深度优化。研究团队将其改造为一个基于扩散机制的解码器，并通过强化学习技术提升其对用户指令的遵循能力。随后，他们还利用超过2万个精选编码示例对该模型进行了针对性训练。
在权威编程测试基准上，DiffuCode-7B-cpGRPO展现出显著优势：在不依赖严格线性生成顺序的前提下，其性能较主流扩散模型提升了4.4%，充分证明了该技术方案的有效性和创新性。
相关文章
