Dynamo 開源數據中心級分散式 AI 推理編排框架

內容摘要

Dynamo 是開源的數據中心級推理編排層，可在 GPU 叢集上協調 SGLang、TensorRT-LLM 及 vLLM。它提供預填充與解碼解耦、KV 感知路由、多層 KV 快取、權重串流傳輸、基於 SLA 的自動擴縮、拓撲感知調度及故障容錯。1.0 版本亦加入零配置部署測試版、Agent 推理控制、多模態服務、影片生成支援及 Kubernetes Gateway API 整合。