新創、獨角獸爭食AI晶片大餅 誰能成為輝達「平替版」?

鉅亨網編輯林羿君 綜合報導
新創、獨角獸爭食AI晶片大餅 誰能成為輝達「平替版」?(圖:shutterstock)
Tag

AI 半導體需求強勁成長,然而霸主輝達 (NVDA-US) 的產品價格高昂,因此明星新創公司、獨角獸紛紛湧現,想要「虎口奪食」成為輝達的「平替版」。

在資料中心 GPU 領域,2023 年輝達出貨量達到 376 萬片,全球市佔率高達 98%,可以說無人匹敵。

據悉,輝達用於資料中心的 AI 晶片每片售價為 2.5 萬至 4 萬美元,是傳統產品的 7-8 倍。研究公司 Omdia 顧問總監 Kazuhiro Sugiyama 表示,輝達產品價格高昂,對想投資 AI 的公司來說是個負擔。

高昂的售價也讓不少大客戶開始尋找替代方案,例如,蘋果 7 月宣布其 AI 模型以 8,000 片 GoogleTPU 來訓練;OpenAI 首顆晶片也曝光,將採用台積電最先進的 A16 奈米技術,專為 Sora 視訊應用打造。

除了國際大廠,AI 明星新創公司、獨角獸也紛紛竄出頭,希望以好的技術,但價格比輝達親民的高性價比,吸引業者目光,包括:

1. 史丹佛系華人獨角獸 SambaNova

美國 AI 晶片新創公司 SambaNova 的 SN40L 的 8 晶片系統,可以為 5 兆參數模型提供支持,單一系統節點上的序列長度可達 256k+。

對比輝達的 H100 晶片,SN40L 不僅推理性能達到了 H100 的 3.1 倍,訓練性能也達到了 H100 的 2 倍,總擁有成本更是僅有其 1/10。

SambaNova 不僅在晶片上要挑戰輝達,業務模式上也要比輝達走得更遠:直接參與幫助企業訓練私有大模型。而且晶片不單賣,而是出售其定制的技術堆疊,從晶片到伺服器系統,甚至包括部署大模型。

2. 哈佛輟學生創立 Etched

Etched 在今年 6 月推出自家首款 AI 晶片 Sohu,成為了世界第一款專用於 Transformer 運算的晶片。

Sohu 運行大模型的速度比輝達 H100 快 20 倍,比今年 3 月才推出的頂級晶片 B200 還要快上超過 10 倍。一台搭載八片 Sohu 晶片的伺服器,可以取代整整 160 個輝達 H100 GPU。大幅降低成本的同時,也不會有效能損失。

3. 奧特曼投資獨角獸 Cerebras Systems

Cerebras Systems 最獨特的地方在於,他們的晶片與輝偉 GPU 大相逕庭。過去,晶片在摩爾定律的牽引下越做越小,以輝達 H100 為例,814 平方毫米的核心面積上擁有 800 億電晶體。

而 Cerebras 的 AI 晶片,則選擇將一整張晶片越做越大,號稱「造出了全世界最大面積晶片」,據悉,Cerebras 開發的 WSE 3 晶片由整張晶圓切割,比盤子還大,需要人用雙手捧起來。

此外,Cerebras Systems 今年 8 月宣布推出 AI 推理服務 Cerebras Inference,號稱「全球最快」,並稱此推理服務在保證精度的同時,速度比輝達的服務快 20 倍;其處理器記憶體頻寬是輝達的 7000 倍,而價格僅為 GPU 的 1/5,性價比提高了 100 倍。 

4. 晶片傳奇大神 Jim Keller 加盟 Tenstorrent

被譽為「矽仙人」的半導體產業大神級人物吉姆・凱勒(Jim Keller)宣布加擔任首席技術長兼總裁,讓 Tenstorrent 聲名大噪。

Jim Keller 加入 Tenstorrent 時表示,希望為輝達昂貴的 GPU 提供「平替」。他認為,輝達並沒有很好地服務某些市場,而這些市場恰恰是 Tenstorrent 所要奪取的。

Tenstorrent 稱其 Galaxy 系統的效率是輝達 DGX 的三倍,成本低 33%,後者是世界上最受歡迎的 AI 伺服器。

5. 前 Google 工程師成立 Groq

Groq 由前 Google 工程師 Jonathan Ross 於 2016 年創立,聲稱其語言處理單元硬體 LPU 可以運行現有的 GenAI 模型,如 GPT-4,速度將提升十倍,而能耗僅為十分之一。

相對於 GPU 的多功能性,LPU 雖然在語言處理方面表現出色,但其應用範圍較窄。這限制了它們在更廣泛的 AI 任務範圍內的通用性。Groq 計劃在 2025 年第一季末部署超過 10.8 萬個​​LPU,這是除主要科技巨頭之外最大的人工智慧推理部署。