晶片新創公司 Cerebras Systems 周三 (13 日) 發表 Wafer Scale Engine 3(WSE-3) 處理器,效能為前一代 WSE-2 的兩倍,專為訓練業界最大人工智慧 (AI) 模型而設計。
Cerebras Systems 表示,WSE-3 處理器是採用台積電 5 奈米製程技術所打造,包含 4 兆個電晶體,90 萬個 AI 核心,44 GB 片上 SRAM。外部記憶體有 1.5 TB、12 TB 或 1.2 PB 三種容量。峰值性能為 125 FP16 PetaFLOPS。
Cerebras 的 WSE 處理器首次亮相是在 2019 年,當時採用台積電 16 奈米製程技術生產,2021 年推出的 WSE-2,則轉為採用台積電 7 奈米工藝製程。
Cerebras 指出,在相同功耗與價格下,WSE-3 性能是前一代 WSE-2 的兩倍,能訓練多達 24 兆個參數的 AI 模型,其打造的集群規模更高達 2048 個 CS-3 系統。
Cerebras 表示,由於每個零件都針對 AI 功能進行優化,與其他系統相比,CS-3 系統能以更小的空間和更低的功耗,提供更高的運算性能。GPU 功耗會隨著每一代推出而翻倍,相較之下,CS-3 性能翻倍,功耗卻能夠保持不變。
此外,CS-3 具有卓越的易用性,與使用於大模型的 GPU 相比,能夠以更少的代碼進行訓練,舉例來說,只需要 565 行代碼,就可以完成 GPT-3 大小的模型。
Cerebras 不僅專注於 AI 推論訓練,還宣布和高通建立合作夥伴關係,使用高通的傳統 AI 推論加速器,目標是將推論成本降低 10 倍。該公司表示,經 Cerebras 訓練的網絡將在高通的新款推論晶片 AI 100 Ultra 上運行。
Cerebras 執行長兼共同創辦人 Andrew Feldman 表示:「WSE-3 是全球最快的 AI 晶片,專為最新的尖端 AI 工作而設計。我們很開心能將 WSE-3 和 CS-3 推向市場,以幫助解決當今最大的 AI 挑戰。」
與輝達、超微和英特爾等公司將晶圓切割為小晶片的做法不同,Cerebras 利用整片晶圓製成一個巨型晶片,按尺寸來看,WSE-3 是輝達 H100 的 57 倍。H100 被視為目前市場上最強的 AI 晶片,擁有 16,896 個 AI 核心和 528 個張量核心,但與 WSE-3 的 90 萬個 AI 核心相比,可謂相形見絀。