6 月 25 2025

再測 GPU : AMD MI300X 與 Apple M3 Ultra (8E+24P+80GPU)

DigitalOean 在亞特蘭大提供 AMD MI300X 的方案可選 (價格是 US$ 1.99/GPU/hr)，就再用 LLM:Benchmark 作測試，順便補上之前 Apple M3 Ultra (8E+24P+80GPU) 的測試數據。

測試結果如下表 (數值單位是 tokens/s)，細節內詳…

	phi4:14b	deepseek-r1:14b	deepseek-r1:32b
Apple M3 Ultra	45.39	42.69	23.66
1 x AMD MI300X 方案	106.61	88.04	52.19

對比前一次測試的數據，Apple M3 Ultra (8E+24P+80GPU) 與 Akamai Cloud (原 Linode) 的 NVIDIA Quadro RTX 6000 x4 差不多，但它的性價高於自組機器 (配 NVIDIA Quadro RTX 6000 顯卡)。

DigitalOean 的 AMD MI300X 方案較為麻煩。
先參照 AMD ROCm documentation 搞定 ROCm 與 GPU driver，重新開機後用其內附的 rocminfo 確認 ROCm 是否有被載入 (執行 ollama serve 也能觀察其是否偵測到 GPU)。
不過… LLM:Benchmark 似乎抓不到…