JoyAI-LLM-Flash – 京东开源的混合专家架构大模型

JoyAI-LLM-Flash是什么

JoyAI-LLM-Flash 是京东开源的中型指令大模型，采用混合专家（MoE）架构，总参数量 48B，激活参数量仅 3B，支持 128K 超长上下文。模型创新性地引入 FiberPO 优化框架——首次将纤维丛理论应用于强化学习，结合 Muon 优化器进行 SFT、DPO 及 RL 训练；同时采用稠密多 Token 预测（MTP）技术，相较非 MTP 版本吞吐量提升 1.3-1.7 倍。基于 20 万亿 Token 预训练数据，JoyAI-LLM-Flash 在前沿知识理解、逻辑推理、代码生成及智能体交互等任务上表现出色，适用于端侧高效推理、企业级 Agent 开发及长文本处理等场景。

JoyAI-LLM-Flash的主要功能

• 超长上下文处理：支持 128K Token 上下文长度，可处理长文档、长对话及复杂多轮交互任务。