AI開源來真的！馬斯克Grok模型正式開源，參數規模全球最頂！

AI競爭白熱化的當下，特斯拉CEO馬斯克的開源承諾說到做到，OpenAI的「Open」儼然成為了科技圈和投資圈的笑話。

美東時間週日（3月17日），馬斯克旗下AI初創公司xAI正式發佈了大模型Grok-1的基礎權重和網絡架構，這是一個由xAI從頭開始訓練的、參數量高達3140億的混合專家模型。

同時，這也是當前全球參數規模最大的開源大語言模型，遙遙領先Open AI的GPT-3.5的1750億參數。

【來源：xAI】

據官方介紹，Grok-1模型有三大要點：其一，基礎模型是基於大量文字資料進行訓練，沒有針對任何特定任務進行微調；其二，3140億參數的MoE模型，在給定Token的激活權重達25%；其三，xAI於2023年10月使用基於JAX庫和Rust語言構成的自定義訓練堆棧從頭進行訓練。

OpenAI的ChatGPT是當下最火熱的人工智慧模型，但該模型並不對外公佈程式碼。馬斯克曾表示，「Open AI的open這個詞應該意味著開放原始碼，它是作為一個非營利性開源專案而創建的。然而，它現在是一個為了最大利潤而封閉的源代碼。」

xAI宣佈開源Grok後，馬斯克便發文「內涵」OpenAI的不「Open」做法，稱「我們想了解更多OpenAI的Open部分。」

【來源：X@ Elon Musk】

此外，支持開源的還有Facebook和Instagram的母公司Meta，該公司開源了LLaMa的AI技術，谷歌和法國Mistral也進行了一些開源工作。