AI开源来真的！马斯克Grok模型正式开源，参数规模全球最顶！

AI竞争白热化的当下，特斯拉CEO马斯克的开源承诺说到做到，OpenAI的「Open」俨然成为了科技圈和投资圈的笑话。

美东时间周日（3月17日），马斯克旗下AI初创公司xAI正式发布了大模型Grok-1的基础权重和网络架构，这是一个由xAI从头开始训练的、参数量高达3140亿的混合专家模型。

同时，这也是当前全球参数规模最大的开源大语言模型，遥遥领先Open AI的GPT-3.5的1750亿参数。

【来源：xAI】

据官方介绍，Grok-1模型有三大要点：其一，基础模型是基于大量文字资料进行训练，没有针对任何特定任务进行微调；其二，3140亿参数的MoE模型，在给定Token的激活权重达25%；其三，xAI于2023年10月使用基于JAX库和Rust语言构成的自定义训练堆栈从头进行训练。

OpenAI的ChatGPT是当下最火热的人工智能模型，但该模型并不对外公布程式码。马斯克曾表示，「Open AI的open这个词应该意味着开放原始码，它是作为一个非营利性开源项目而创建的。然而，它现在是一个为了最大利润而封闭的源代码。」

xAI宣布开源Grok后，马斯克便发文「内涵」OpenAI的不「Open」做法，称「我们想了解更多OpenAI的Open部分。」

【来源：X@ Elon Musk】

此外，支持开源的还有Facebook和Instagram的母公司Meta，该公司开源了LLaMa的AI技术，谷歌和法国Mistral也进行了一些开源工作。