Grok-1

2年前发布 458 0 0

Grok-1 的开放版本 我们正在发布 3140 亿参数的专家混合模型 Grok-1 的权重和架构。

收录时间:
2024-04-30
其他站点:

Grok-1 的开放版本 我们正在发布 3140 亿参数的专家混合模型 Grok-1 的权重和架构。

Grok-1是当前世界上参数最大的、开源大语言模型。296GB的大小,3140亿参数,远超OpenAI GPT-3.5的1750亿。基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;3140亿参数的MoE模型,在给定token上的激活权重为25%;2023年10月,xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。

数据统计

关于(Grok-1)特别声明

本站商娱网提供的Grok-1都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由商娱网实际控制,在2024-04-30 13:28收录和巡查时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,商娱网不承担任何责任。

相关导航

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...