xAI开源3140亿参数大模型Grok-1 科技界掀起新热潮

   发布时间:2024-03-18 16:54

【智快网】3月18日消息,近日,科技界掀起了一股新的热潮。马斯克旗下的人工智能公司xAI在周日的官方声明中,震撼宣布其大语言模型Grok-1正式开源。此举意味着,公众可以访问github.com/xai-org/grok,按照指引获取并使用该模型的权重和网络架构。

据悉,Grok-1是一款混合专家模型,拥有惊人的3140亿参数,这一数字在目前所有已开源的大语言模型中独占鳌头。如此庞大的参数规模,无疑将为大语言模型领域带来前所未有的变革与突破。

据智快网了解,Grok-1是xAI团队从头开始训练的模型,其预训练阶段已于去年10月圆满完成。此次开源的是预训练结束时的原始基础模型检查点,尚未针对任何具体应用进行微调。这意味着,开发者们可以根据自身需求,对Grok-1进行进一步的定制和优化。

xAI在官网上透露,Grok-1是在海量文本数据上训练的基础模型,其训练过程采用了JAX和Rust编程语言,并借助了团队自定义的训练栈。如今,该模型的权重和架构已按照Apache 2.0开源许可协议公开发布,为全球范围内的研究者和开发者提供了宝贵的资源。

尽管Grok-1的开源时间相较于马斯克在社交媒体上公布的时间有所延迟,但这并未影响其在科技界的热度。事实上,这一开源行动标志着人工智能领域的一大进步,为整个行业注入了新的活力。

关于开源时间的定义,不同国家和地区可能存在差异。然而,按照国际标准化组织ISO 8601的规定,Grok-1的开源时间仍在马斯克所提及的那一周范围内。这一细节虽然引发了部分讨论,但并未影响Grok-1作为一款重要开源大语言模型的地位和影响力。

 
 
更多>同类内容
全站最新
热门内容
本栏最新
 
智快科技微信账号
ITBear微信账号

微信扫一扫
加微信拉群
电动汽车群
科技数码群