VeOmni

VeOmni 是字节跳动 Seed 团队开源的全模态分布式训练框架，基于 PyTorch 设计。VeOmni 以模型为中心，将分布式并行逻辑与模型计算解耦，支持灵活组合多种并行策略（如 FSDP、SP、EP），能高效扩展至超长序列和大规模 MoE 模型。VeOmni 提供轻量级全模态接口，简化多模态编解码器接入，集成动态批处理、高效算子等优化技术，大幅提升训练效率和稳定性，VeOmni 已在多个前沿项目中应用，助力全模态大模型研究与开发。