就在刚刚,马斯克一手开源动作,引发了大伙儿的高度关注——
xAI现在正式开源Grok2.5,Grok3将在半年后开源。
其实早在本月初的时候,马斯克就公开表示过:
是时候开源Grok了,将会在下周。
虽然开源的时间已经超过了他说的节点,但也正如网友所说:
迟到总比没有的好。
目前,Grok已经可以在HuggingFace中下载(链接附文末):
xAI官方建议用SGLang来运行Grok2,具体步骤如下。
第一步,下载权重文件。
你可以把/local/grok-2换成任何你喜欢的文件夹名字:
hf downloadxai-org/grok-2 —local-dir/local/grok-2官方表示,这个下载过程中可能会遇到一些错误,如果出错了,可以多试几次直到下载成功。
下载成功后,文件夹里应该有42个文件,大小约为500GB。
第二步,启动服务器。
xAI官方建议安装最新版的SGLang推理引擎(版本号>=v0.5.1,地址为:https://github.com/sgl-project/sglang/)。
然后用下面的命令来启动推理服务器:
python3 -msglang.launch_server—model/local/grok-2 —tokenizer-path/local/grok-2/tokenizer.tok.json—tp 8 —quantizationfp8—attention-backendtriton值得一提的是,这个模型需要8个GPU(每个都得有超过40GB的显存)才能运行。
最后一步,就是发送请求。
这是一个经过预训练的模型,所以我们需要确保使用的是正确的聊天模板:
python3-msglang.test.send_one—prompt“Human:What is yourname?nnAssistant:”发送请求后,我们就应该能看到模型会回复它的名字了,即Grok。
那么xAI最新开源的Grok2,到底是什么水平?
虽然其能力定然是不及当下的各种最先进的主流模型,但我们可以从去年xAI发布的Grok2相关模型的技术博客中略知一二。
当时,它在LMSYS排行榜上,总体Elo分数已经超越了Claude和GPT-4。
并且在一系列学术基准测试中,Grok2系列在研究生级别科学知识(GPQA)、一般知识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域达到了与其他前沿模型相竞争的性能水平。
不过有一说一,网友们虽然觉得马斯克开源的动作还挺好的,但也有不少诟病的言论。
例如在HuggingFace中,我们并没有看到xAI明确指出开源模型的参数权重。
因此网友们就只能根据以往的信息,猜测它是2690亿个参数的MoE模型。
其次,就是开源协议的问题,因为xAI在HuggingFace中的表述是这样的:
用网友的话来说,这基本上就是一个非商业许可的:
Mistral、Qwen、DeepSeek、微软,甚至是OpenAI都在用MIT或Apache2.0许可来开源模型。
以及,也是最重要的一点,就是运行这个开源模型的条件:
谢谢,我现在只需要8块显存超40GB的GPU……
除了开源动作之外,马斯克还发布了GrokAPP上的一些新功能。
这次的更新(v1.1.58)主要是聚焦在了AI视频生成,具体效果如下:
感兴趣的小伙伴可以在APP上体验喽。
以及马斯克还发了一段有趣的言论:
xAI很快就会超越除谷歌外的任何公司(然后也将超越谷歌),但中国公司才是最大对手。
参考链接:[1]https://x.com/elonmusk/status/1959379349322313920[2]https://x.com/HuggingPapers/status/1959345658361475564[3]https://x.com/elonmusk/status/1959384678768447976[4]https://x.com/elonmusk/status/1959388879888302363
最新发现
相关资讯
科大讯飞总裁吴晓如:大模型协同大过竞争
科大讯飞总裁吴晓如:大模型协同大过竞争产业端特别是传统产业,尚不能感受大模型发展带来的变革?吴晓如表示,接受大模型较快的是数字化程度较高的领域,它们有丰富的数据;其次是应用价值较大的领域,它们对数
2025-10-14 11:11:47
清华系前腾讯Robotics X核心成员创业,业内首款能“单手玩手机”的灵巧手来了|涌现新项目
一款能把脉、操作鼠标的“六边形”产品。
2025-09-17 11:00:00
华为全新小艺拟人化实时音视频对话功能适配机型公布,含MateXTs三折叠等
华为小艺智慧助手已在今年8月底推送了1137300版本升级,部分机型在更新该版本的小艺智慧助手后,新增支持“小艺看世界”功能。目前华为官网已公布该功能适配机型,包含MateXTs三
2025-09-17 10:30:00
通义千问系列最强大的语言模型:Qwen3-Max-Preview上线
阿里通义千问今日在官网和OpenRouter上线了最新的Qwen-3-Max-Preview模型。根据官网描述,该模型是通义千问系列中最强大的语言模型。
2025-09-17 10:00:00
AMD谈AI显卡:没有性能就没有人买推理一直有优势
9月5日消息,GPU显卡不仅决定了游戏性能,也是AI领域各大厂商竞争的焦点,NVIDIA一家占了90%以上的份额,AMD也紧追不舍。AMDCFO首席财务官JeanHu日前在花旗TMT大会上也谈到了
2025-09-17 09:30:00
支持百万卡扩展,中科曙光发布国内首个开放架构AI超集群系统
该系统以GPU为核心,实现了“算、存、网、电、冷、管、软”一体化紧耦合设计,可为万亿参数大模型训练推理、行业大模型微调、多模态大模型开发、AI4S等场景提供算力底座。
2025-09-17 09:00:00
今日热榜
当AI制药不再讲故事
2025-03-12 17:29:46ZCOOLxCanva可画:Canva可画创作者大赛“变飞为宝计划”,4/3截止征集
2025-06-21 13:01:44“AI+养老”,晚年更美好
2025-01-15 18:30:24东信集团发布首个AIGC营销大模型,赋能智能营销
2025-04-30 11:31:48美国人工智能政策与中国应对策略
2025-05-06 11:25:29男子用AI造谣“女儿被抱走”:内容是编的图是网上找的
2025-08-07 09:20:35AI体育训练场“常驻”京张遗址公园
2025-02-11 14:50:36深圳人工智能先锋城市建设加速推进
2025-05-04 19:56:38“国内AIApp产品TOP100”榜单揭晓美图秀秀斩获第三名
2025-02-24 16:54:27爱奇艺融入AI搜索,首次将生成式AI(AIGC)应用于剧情搜索等三大场景
2025-07-06 13:00:48热门推荐