DeepSpeed-MII

DeepSpeed-MII 是 DeepSpeed 团队开源的 Python 库，提供高效模型推理。DeepSpeed-MII用阻塞 KV 缓存、连续批处理和动态 SplitFuse 等创新手段，显著提高推理吞吐量并降低延迟，在处理大型语言模型时表现出色。DeepSpeed-MII 支持广泛的模型架构，包括 Llama、Falcon 和 Phi-2 等，通过高性能 CUDA 内核实现 GPU 加速。DeepSpeed-MII支持多 GPU 并行和 RESTful API，方便与其他系统集成，是高性能推理场景下的理想选择。