科技巨頭微軟 (MSFT-US) 週二 (12 日) 發布「Phi-2:小語言模型的驚人力量」一文指出, 旗下 AI 語言模型 Phi-2 在各種測試中取得卓越的效能,優於 Llama 2、Gemini Nano 2。
微軟新的 AI 語言模型 Phi-2 有 27 億個參數,是微軟最小的語言模型,該公司表示,與 Phi-1.5 相比,該模型在邏輯推理和安全性方面顯示出顯著改進。
微軟宣稱,Phi-2 具備出色的推理和語言理解能力,展示了參數少於 130 億的基礎語言模型中最先進的性能。透過正確的微調和定制,小語言模型是雲端和邊緣應用程式的強大工具。
微軟測試結果顯示,Phi-2 效能擊敗 Meta (META-US) 的 Llama 2,以及法國新創公司 Mistral AI 的 Mistral 7B。
同時,與 Google Gemini 家族最小的語言模型相比,微軟表示,Phi-2 在所有基準測試中都表現出更佳效能。
微軟表示,Phi-2 模型將在 Azure Studio 中推出,足見微軟持續發展生成式人工智慧 (AI) 的野心。
Meta 語言模型 Llama 2 經過持續預訓練,能夠有效處理長文本,並在長、短上下文任務優於當前的開源模型,而且不需要人工註釋資料,整體長上下文表現。
Mistral 7B 是 Mistral AI 公司推出的一款具有 73 億參數的 AI 模型,採用了 Grouped-query attention (GQA) 和 Sliding Window Attention (SWA) 技術,不僅能快速進行推斷,還能以較低的成本處理長序列,該模型能夠在諸如常識推理、世界知識、閱讀理解數學等多個領域與其他大型模型相媲美。
Google (GOOGL-US) 全新的 Gemini Nano 2 模型,是 Google 特別針對在裝置上處理與執行任務所打造出的高效模型,主要是被設計來處理邊緣裝置的 AI 需求。