serving-llms-vllm

用 vLLM 做高吞吐 LLM 服务：OpenAI 兼容 API、量化优化。适合部署生产环境模型服务、多用户并发、推理性能优化。

技能 · mlops