JoyAI-LLM-Flash
互联网
2026-02-19 06:07:45
JoyAI-LLM-Flash 是京东开源的中型指令大模型，采用混合专家（MoE）架构，总参数量 48B，激活参数量仅 3B，支持 128K 超长上下文。模型创新性地引入 FiberPO 优化框架——首次将纤维丛理论应用于强化学习，结合 Muon 优化器进行 SFT、DPO 及 RL 训练；同时采用稠密多 Token 预测（MTP）技术，相较非 MTP 版本吞吐量提升 1.3-1.7 倍。基于 20 万亿 Token 预训练数据，JoyAI-LLM-Flash 在前沿知识理解、逻辑推理、代码生成及智能体交互等任务上表现出色，适用于端侧高效推理、企业级 Agent 开发及长文本处理等场景。
