vLLM

• 用于在线上部署模型
• 适合服务器部署、高并发 API 服务、多用户服务