源码 | 马斯克的Grok-1正式开源 | 世界上最大的AI大模型

源码介绍

Grok 开放版本

Grok-1是当前世界上参数最大的、开源大语言模型。296GB的大小，3140亿参数，远超OpenAI GPT-3.5的1750亿。基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调;3140亿参数的MoE模型，在给定token上的激活权重为25%;2023年10月，xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。