跳转到文档内容

1 篇文档带有标签[alibaba-cloud]

查看全部标签

实验 6: 在 HAMi GPU 分片上运行 vLLM 推理

在已有 GPU 集群上安装 HAMi，并用 GPU 切分能力调度 vLLM 推理服务。

CNCF

HAMi 是 CNCF 孵化项目