輝達 (Nvidia)(NVDA-US) 周一 (13 日) 推出最新晶片組 H200，這是一款用以訓練和建立推動生成式 AI 熱潮的各種 AI 模型的圖形處理單元 (GPU)。
這款最新的 GPU 是 H100 的升級版。H100 是 OpenAI 用於訓練其最先進的大型語言模型 (LLM) GPT-4 的晶片。大型企業、新創公司和政府機構都在爭奪有限的晶片。
根據 Raymond James 估計，H100 晶片成本在 25000 美元到 40000 美元之間，需要數千個晶片一起工作才能在稱為「訓練」的過程中創建最大的模型。
對輝達 AI GPU 的需求推動該公司股價上漲，2023 年至今已上漲超過 230%。輝達預計第 3 財季營收約為 160 億美元，較去年同期成長 170%。
H200 的關鍵改進在於它包含 141GB 的下一代「HBM3」記憶體，這將幫助晶片執行「推理」，也就是在經過訓練後使用大型模型來生成文字、圖像或預測。
輝達表示，H200 的輸出速度幾乎是 H100 的兩倍。這是根據使用 Meta (META-US) 的 Llama 2 LLM 測試後的數據。
H200 預計於 2024 年第 2 季出貨，將與 AMD (AMD-US) 的 MI300X GPU 競爭。AMD 的晶片與 H200 類似，比其前一代晶片具有額外的記憶體，有助於在硬體上安裝大型模型來運行推理。
輝達表示，H200 將與 H100 相容，這意味著已經使用先前模型進行訓練的 AI 公司將無需更改其伺服器系統或軟體即可使用新版本。
輝達表示，將在該公司的 HGX 完整系統上提供 4 顆 GPU 或 8 顆 GPU 伺服器配置，也就是名為 GH200 的晶片。該晶片組將 H200 GPU 與 Arm 架構處理器配對。
然而，H200 可能不會長期保持輝達最快 AI 晶片的桂冠。
雖然像輝達這樣的公司提供許多不同的晶片配置，但當製造商轉向不同架構時，最新的半導體通常會每兩年向前邁出一大步，這種架構比添加記憶體或其他較小的優化能帶來更顯著的效能提升。H100 和 H200 皆基於輝達的 Hopper 架構。
輝達於 10 月告訴投資人，由於對其 GPU 的需求旺盛，該公司將從 2 年架構升級轉向一年。該公司展示了一張幻燈片，暗示其將於 2024 年宣布並發布基於即將推出的 Blackwell 架構的 B100 晶片。