在 DigitalOcean GPU Droplets 上部署 NVIDIA Dynamo，打造高效能 LLM 推論服務

這篇教學會帶你一步步在 DigitalOcean GPU Droplets 上部署 NVIDIA Dynamo，解決高效能 LLM 推論的挑戰並驗證其效能。就算你沒有深厚的 AI 或雲端背景，也能輕鬆上手。這篇教學非常適合想快速體驗分散式 LLM 推論的開發者與團隊。

⏱️ 預估部署時間：70-90 分鐘

📋 教學範圍：本教學聚焦於單節點部署。NVIDIA Dynamo 同時支援多節點配置與 Kubernetes 部署選項，這些會在另外的進階教學中說明。

總覽

NVIDIA Dynamo 是一套為大規模生成式 AI 與推論模型設計的高效能、低延遲推論服務框架。在 DigitalOcean 上，你可以透過 GPU Droplets 部署 Dynamo，達成：

1. 分散式 LLM 推論服務
   運用解耦式（disaggregated）服務架構，將 prefill 與 decode 階段分配到不同 GPU 上，把資源利用率拉到最高。

2. 智慧資源排程
   透過 KV Cache 智慧路由與動態 GPU 排程，提升吞吐量並降低延遲。

3. 高效能驗證
   運用實際範例與測試工具，觀察平行推論的效能差異。

什麼是 vLLM？我們又為什麼需要 Dynamo？

vLLM 是一套快速且易用的 LLM 推論與服務函式庫，最初由 UC Berkeley 的 Sky Computing Lab 開發。vLLM 的強項在於：

• PagedAttention：高效管理注意力機制的 key 與 value 記憶體
• Continuous Batching：動態批次處理進來的請求，換取更高的吞吐量
• 優化過的 CUDA Kernels：整合 FlashAttention 與 FlashInfer，加速模型執行
• 相容 OpenAI 的 API：可與現有應用程式順暢整合

不過，vLLM 單獨使用時，在分散式場景與智慧請求路由上有其侷限，而這正是 NVIDIA Dynamo 提供編排與擴展能力之處。

認識 KV Cache：高效 LLM 推論的基礎

KV Cache（Key-Value Cache） 是一項關鍵優化，它會儲存先前 token 已算好的 key-value 對，避免在文字生成過程中重複運算。

主要好處：

• 大幅加速：把運算複雜度從 O(n²) 降到 O(n)
• 記憶體與運算的取捨：用 GPU 記憶體來快取數值，省下運算週期
• 更好的擴展性：即使序列長度增加，也能維持效能

實際影響：

• 基準測試結果：較長序列的推論加速達 5.2 倍（61 秒 → 11.7 秒）
• 正式環境應用：對聊天機器人、程式碼生成與長篇內容創作不可或缺
• 成本效益：顯著降低 GPU 使用量與營運成本

技術細節請參考官方 KV caching 指南。

什麼是 NVIDIA Dynamo？用米其林餐廳的比喻來理解 LLM 推論框架

想像你走進一家米其林星級餐廳。重點不只是擁有頂級主廚（就像 vLLM，一個高效能的推論引擎），還在於有一套完整的專業服務系統、點餐系統、客製化菜單設計，甚至能依據每位客人的口味偏好、過敏狀況與用餐時機，安排出最佳的上菜順序與體驗。

• vLLM 就像餐廳裡頂級的廚房引擎，能快速又高效地備好各式菜餚，確保每道菜都美味。
• NVIDIA Dynamo 則像整間米其林餐廳的營運系統。它不只包含像 vLLM 這樣的廚房，還涵蓋前台點餐、客人偏好管理、菜餚路由與上菜協調等功能。Dynamo 能依據每位客人的需求安排最適合的主廚、調整菜單細節，並確保多道菜能同時且準時上桌。

在 LLM 推論的世界裡，這代表什麼？

• Pre-fill（理解上下文）就像餐廳依據客人過去的用餐紀錄與口味偏好，準備合適的食材與調味。
• Decode（生成回應）就像主廚根據這些資訊，專門為你烹調菜餚。
• Dynamo 協調整個流程，讓每一顆 GPU（主廚）都能發揮最大效率，並依據不同請求自動分配資源，確保每位客人都能在最佳時機享用餐點。

總結：
Dynamo 並不是要取代 vLLM，而是把像 vLLM 這樣高效的廚房，納入一套更聰明、更靈活的營運系統之中。如此一來，AI 服務就能同時服務更多使用者、支援更大的模型，並提供更高品質的體驗。

Dynamo 與其他推論框架的定位與比較

NVIDIA Dynamo 是 Triton 在 LLM 工作負載上的後繼者，帶來了幾項創新：

• 解耦式服務（Disaggregated Serving）：將 prefill（上下文）與 decode（生成）階段分配到不同 GPU 上，把資源利用率與吞吐量拉到最高。
• KV Cache 智慧路由：智慧路由器會把請求導向 KV cache 命中率最高的 worker，減少重複運算。
• 動態 GPU 排程：即時分配資源，避免瓶頸與閒置時間。
• 分散式 KV Cache 管理：支援多層記憶體（GPU、CPU、NVMe、遠端），能服務超出單卡容量的大型模型。
• NIXL 通訊函式庫：加速異質硬體之間的資料傳輸。

教學步驟

步驟 1：選擇 Droplet 規格並初始化環境

• 建議選擇 AI/ML Ready Image
• GPU 型號：L40s、RTX 6000 Ada、RTX 4000 Ada
• 記憶體建議 32GB 以上

步驟 2：環境設定與前置需求

系統更新與必要套件

sudo apt-get update && sudo apt-get upgrade -y
sudo apt-get install -y python3-dev python3-pip python3-venv libucx0 git ca-certificates curl snapd jq
bash

安裝支援 GPU 的 Docker

# Install Docker
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER

# Install NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker

# Reboot system to ensure all changes take effect
sudo reboot
bash

⚠️ 重要：重新開機後，重新連線到你的 Droplet 並驗證 GPU 存取：

# Test GPU access in containers
docker run --rm --gpus all nvidia/cuda:12.3.0-base-ubuntu22.04 nvidia-smi
bash

安裝 Docker Compose 與 DigitalOcean CLI

# Install Docker Compose
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

# Install doctl for DOCR access
sudo snap install doctl
doctl auth init  # Enter your DO API token
doctl registry login
bash

步驟 3：設定 Python 虛擬環境並安裝 Dynamo

apt-get update
DEBIAN_FRONTEND=noninteractive apt-get install -yq python3-dev python3-pip python3-venv libucx0
python3 -m venv venv
source venv/bin/activate

pip install "ai-dynamo[all]"
bash

步驟 4：下載 Dynamo 原始碼

git clone https://github.com/ai-dynamo/dynamo.git
cd dynamo
git fetch --tags
git checkout v0.3.0
bash

步驟 5：建置 Dynamo 基礎映像檔並推送到 DOCR

💡 效能優化提示：為了獲得最佳效能，建議把 DigitalOcean Container Registry 設在 NYC 區域（與你的 GPU Droplet 位置相同）。這能在部署與更新時大幅縮短映像檔的傳輸時間。

📚 Registry 設定指南：如果你還沒設定 DOCR，請依循完整的 DigitalOcean Private Docker Registry Tutorial，在 NYC 區域建立你的 registry。

建置與推送流程

./container/build.sh
# Wait 20-30 minutes

export DOCKER_REGISTRY=<your-registry>
docker tag dynamo:v0.3.0-vllm $DOCKER_REGISTRY/dynamo-base:v0.3.0-vllm
docker login $DOCKER_REGISTRY
docker push $DOCKER_REGISTRY/dynamo-base:v0.3.0-vllm
# Wait 20-30 minutes
bash

步驟 6：啟動 Dynamo 分散式執行環境服務

docker compose -f deploy/metrics/docker-compose.yml up -d
bash

步驟 7：進入容器並掛載工作區

./container/run.sh -it --mount-workspace --image dynamo:v0.3.0-vllm
bash

步驟 8：建置 Rust 元件並準備 Python 環境

# Build Rust components
cargo build --release

# Wait 10-15 minutes for build completion

mkdir -p /workspace/deploy/dynamo/sdk/src/dynamo/sdk/cli/bin
cp /workspace/target/release/http /workspace/deploy/dynamo/sdk/src/dynamo/sdk/cli/bin
cp /workspace/target/release/llmctl /workspace/deploy/dynamo/sdk/src/dynamo/sdk/cli/bin
cp /workspace/target/release/dynamo-run /workspace/deploy/dynamo/sdk/src/dynamo/sdk/cli/bin

# Install Python packages
uv pip install -e .
export PYTHONPATH=$PYTHONPATH:/workspace/deploy/sdk/src:/workspace/components/planner/src


bash

步驟 9：啟動 Dynamo 測試服務

cd examples/llm
dynamo serve graphs.agg_router:Frontend -f configs/agg_router.yaml
bash

• 若在模型下載期間遇到 429（Too many requests），請等待五分鐘後再重試。

步驟 10：發送測試請求

curl localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-R1-Distill-Llama-8B",
    "messages": [
      {"role": "user", "content": "How to travel from Munich to Berlin?"}
    ],
    "stream": false,
    "max_tokens": 300
  }' | jq
bash

🎉 恭喜！ 你已經成功部署 NVIDIA Dynamo，並收到第一個 LLM 回應。你的高效能推論服務現在正運行於 DigitalOcean GPU Droplets 上！

DigitalOcean 實務補充

• 在 Droplet 防火牆中開放 8000 埠（或你設定的 API 連接埠）
• 建議定期檢查磁碟空間與 GPU 狀態
• 若遇到容器啟動、權限、連接埠等問題，請參考本教學的「常見問題與疑難排解」章節

常見問題與疑難排解

在將 NVIDIA Dynamo 部署到 DigitalOcean GPU Droplets 時，你可能會遇到以下常見問題，這些能協助你快速定位並解決問題。

結語

你已經學會如何在 DigitalOcean GPU Droplets 上部署並驗證 NVIDIA Dynamo，完成了高效能 LLM 推論服務的完整流程。這能幫助你快速打造可擴展的 AI 應用，並可依需求擴展到多節點、前端整合等進階應用。

下一步

既然你已經成功在單一 GPU Droplet 上部署了 NVIDIA Dynamo，下一個關鍵步驟就是理解並優化它的效能：

效能基準測試與監控

在下一篇教學中，你將學會如何打造一套完整的監控儀表板，並進行系統性的效能測試，以優化你的 NVIDIA Dynamo 部署。內容包括理解關鍵指標、找出瓶頸，以及做出以資料為依據的擴展決策。

敬請期待即將推出的指南 「為 NVIDIA Dynamo 打造效能監控儀表板」！

相關資源

• 查看 GPU Droplet Pricing 進行成本規劃
• 探索 DigitalOcean Community，取得更多關於 Droplet 管理、Docker 使用或其他進階 pipeline 的教學
• 參考 NVIDIA Dynamo Official Documentation 了解更多進階功能

祝你部署順利、推論高效！