马斯克突然开源Grok，xAI成了更“open”的AI：3140亿参数巨无霸迄今最大，免费可商用，权重架构全开放磁力下载，
马斯克说到做到： 旗下大模型Grok现已开源！
马斯克此举可谓说到做到。3月11日，马斯克就曾在社交平台表示xAI将开放聊天机器人Grok的源代码，这意味着公众将可免费使用该公司大模型技术背后的代码，Meta的CEO扎克伯格也在社交平台上发表评论表示支持。
在社交媒体上，网友开玩笑称，xAI才是真正的“Openai”。
马斯克向来支持开源技术，在开源的情况下，创造者向用户提供免费使用许可，有时还允许用户修改他们创造的成果。特斯拉已经开放了其汽车部件的源代码，马斯克的社交媒体平台X则公布了一些其用来对内容进行排序的算法。
其实，马斯克与CEO山姆·奥特曼带领下的OpenAI在人工智能军备竞赛中积怨已久。
马斯克曾是OpenAI的早期资助者和联合创始人，由于与奥特曼就AI安全意见不一，2018年马斯克已经离开OpenAI，他也成了OpenAI最高调的批评者之一。
当地时间2月29日，马斯克刚对OpenAI、奥特曼，以及另一位创始人Greg Brockman提起诉讼，称该公司违背了最初对开源、非营利AI的承诺。在诉讼中，马斯克要求OpenAI恢复开源。
OpenAI也马上对此做出回应。据外媒报道，OpenAI在向旧金山法院提交的法庭文件中表示，与马斯克从未就非营利和不公开源代码达成过创始协议，马斯克捏造所谓的创始协议，作为旨在“促进自己的商业利益”的诉讼的基础。
xAI正式宣布开源大模型Grok-1的当天，马斯克还与ChatGPT在X平台上过招称“告诉我们OpenAI到底open（开源）在哪里了” 。
据第一财经报道，Grok-1参数量远超OpenAI GPT-3.5的1750亿，是迄今参数量最大的开源大语言模型。
Grok-1的诞生并非一蹴而就，经历了长达四个月的研发历程，承受过多次改变和进化。从xAI成立之初，我们对拥有330亿参数的LLM原型（Grok-0）进行了深度训练。这个早期原型在标准LM测试基准上展示出类似LLaMA 2（70B）的实力，只动用了一半的训练资源。经过过去两个月的推理和编码能力的持续突破，最终Grok-1终于问世。
这款SOTA语言模型动力十足，在HumanEval编码任务中达到了惊人的63.2%的成绩，在MMLU测试中更是高达73%。
为了评估Grok-1的性能提升，xAI采用一系列标准的机器学习基准，旨在测试其数学和推理能力。在这些测试中，Grok-1展现出强劲实力，超越了同类模型，包括ChatGPT-3.5和Inflection-1。只有像GPT-4这样经过大量训练和资源支持的模型才能超越Grok-1。这彰显了我们在高效训练LLM方面取得的飞速进步。
同时，为保证公平评价，xAI使用了去年5月末公布的2023年匈牙利全国高中数学期末考试题对其模型进行评估。结果显示，Grok以59%的C级顺利通过考验，Claude-2也取得相似成绩（55%），而GPT-4获得68%的B级高分。我们并未对模型进行特别调整，这些成绩真实体现了模型的实力。在这片神秘宇宙中，Grok将继续前行，探寻更深层次的奥秘。
代码和模型权重已上线GitHub。官方信息显示，此次开源的Grok-1是一个3140亿参数的混合专家模型—— 就是说，这是当前开源模型中参数量最大的一个。
消息一出，Grok-1的GitHub仓库已揽获4.5k标星，并且还在刷刷猛涨。
https://github.com/xai-org/grok-1
不过，在GitHub页面中，官方也提示，由于模型规模较大（314B参数），需要有足够GPU和内存的机器才能运行Grok。
这里MoE层的实现效率并不高，选择这种实现方式是为了避免验证模型的正确性时需要自定义内核。
模型的权重文件则是以磁力链接的形式提供，文件大小接近300GB。
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
果粉生活 » 马斯克突然开源Grok，xAI成了更“open”的AI：3140亿参数巨无霸迄今最大，免费可商用，权重架构全开放磁力下载，
