輝達 (NVDA-US) 最新 GB200 AI 伺服器正開始陸續出貨,下一代 GB300 預計在 2025 年年中問世,根據投行最新報告,供應鏈調查顯示銅纜連接器問題已透過機櫃重新設計解決,首批 GB200 已在最終測試階段,12 月正常發貨,兩者的切換會在明年上半年設計完成後進行。此外,過去幾個月漏水問題迄今已大部分獲得解決。
GB200 NVL36 伺服器機櫃平均售價約為 180 萬美元,而 NVL72 的造價則大約 300 萬美元,一旦漏水,整台要價不菲的伺服器機櫃很可能因此報銷。
專家指出,上述組裝環節的「小問題」不會讓量產時間延後太多,但有個問題值得注意,就是 GB200 和 GB300 的量產時間相差也就半年,兩者有 6 大主要區別,一是 HBM 從 8Hi 到 12Hi,因此每 GPU 的 HBM 容量從 192GB 提升到 288GB,第二個差別則是單卡功耗從 1.2kW 提升到 1.4kW,最神奇的是靠所謂的「power steering」,整個機櫃的能耗仍保持在 132kW 不變。
其次,透過新的 ultra 架構,帶來單卡 1.5 倍的 FP4 性能提升,另外網卡從 CX7 升級 CX8,意味著能耗成本降低,另外還增加記憶體模組和 GPU socket,讓組裝替換更靈活,超級電容和 BBU 則是第六大區別。
相較於 GB200,GB300 看似成本項目變化不大,但綜合性能、可維護性、客制靈活性等方面都有明顯改善。
但專家認為,GB200 顯得有點短命,且 GB300 可能只是 GB200 ultra,或叫 GB200 升級版,過去看 GB200 的機櫃數量,現在可以將 GB200+GB300 合二為一看待,整體去算機櫃數量。
對原來訂單就很多、產能交付就排到明年下半年的客戶,完全可以等 GB300,這種可稱為「切換」,但其實總需求沒變。
諸多「小問題」解決後,GB300 將是一個更為成熟的完整版本,而 GB300 的成功量產,才是真正的里程碑時刻。
專家指出,GB300 量產意味著 NVL 機櫃這種跨時代產品真的被輝達「完全工程化」實現,向上可繼續衝擊 288 卡的 1MW「怪獸」,向下可隨意模組化組裝 GB300A 以及閹割版 GB30。