马斯克旗下xAI揭晓Grok-1.5:长上下文理解再进化

   发布时间:2024-03-29 13:50

【智快网】3月29日消息,马斯克旗下的人工智能企业xAI今日在官方博客上揭晓了全新升级的Grok-1.5大语言模型。

这款新模型Grok-1.5,以其增强的推理能力和高达128k的上下文长度脱颖而出。特别在编码和数学相关任务上,Grok-1.5展现出了显著的进步。据智快网了解,该模型将在近日通过X平台向早期测试人员及现有Grok用户开放。

在官方进行的测试中,Grok-1.5在MATH基准上斩获了50.6%的佳绩,同时在GSM8K基准上也取得了高达90%的得分。这两个数学基准测试覆盖了从小学到高中阶段的各类竞赛题目。此外,Grok-1.5还在评估代码生成与问题解决能力的Humaneval基准测试中,获得了74.1%的分数。

在长上下文理解方面,Grok-1.5同样表现出色,其能够在上下文窗口内处理多达128k tokens的信息。这意味着Grok的内存容量已提升至先前版本的16倍,从而能够更深入地理解长篇文档中的信息内容。

据介绍,Grok-1.5是基于JAX、Rust和Kubernetes构建的自定义分布式训练框架上打造而成。这一自定义训练协调器具备自动检测并剔除问题节点的功能,从而确保训练作业的稳定进行。同时,xAI还对检查点、数据加载及训练作业重启等环节进行了优化,以在发生故障时最大程度地减少停机时间。

 
 
更多>同类内容
全站最新
热门内容
本栏最新
 
智快科技微信账号
ITBear微信账号

微信扫一扫
加微信拉群
电动汽车群
科技数码群