就在刚刚,马斯克一手开源动作,引发了大伙儿的高度关注——
xAI现在正式开源Grok2.5,Grok3将在半年后开源。
其实早在本月初的时候,马斯克就公开表示过:
是时候开源Grok了,将会在下周。
虽然开源的时间已经超过了他说的节点,但也正如网友所说:
迟到总比没有的好。
目前,Grok已经可以在HuggingFace中下载(链接附文末):
xAI官方建议用SGLang来运行Grok2,具体步骤如下。
第一步,下载权重文件。
你可以把/local/grok-2换成任何你喜欢的文件夹名字:
hf downloadxai-org/grok-2 —local-dir/local/grok-2官方表示,这个下载过程中可能会遇到一些错误,如果出错了,可以多试几次直到下载成功。
下载成功后,文件夹里应该有42个文件,大小约为500GB。
第二步,启动服务器。
xAI官方建议安装最新版的SGLang推理引擎(版本号>=v0.5.1,地址为:https://github.com/sgl-project/sglang/)。
然后用下面的命令来启动推理服务器:
python3 -msglang.launch_server—model/local/grok-2 —tokenizer-path/local/grok-2/tokenizer.tok.json—tp 8 —quantizationfp8—attention-backendtriton值得一提的是,这个模型需要8个GPU(每个都得有超过40GB的显存)才能运行。
最后一步,就是发送请求。
这是一个经过预训练的模型,所以我们需要确保使用的是正确的聊天模板:
python3-msglang.test.send_one—prompt“Human:What is yourname?nnAssistant:”发送请求后,我们就应该能看到模型会回复它的名字了,即Grok。
那么xAI最新开源的Grok2,到底是什么水平?
虽然其能力定然是不及当下的各种最先进的主流模型,但我们可以从去年xAI发布的Grok2相关模型的技术博客中略知一二。
当时,它在LMSYS排行榜上,总体Elo分数已经超越了Claude和GPT-4。
并且在一系列学术基准测试中,Grok2系列在研究生级别科学知识(GPQA)、一般知识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域达到了与其他前沿模型相竞争的性能水平。
不过有一说一,网友们虽然觉得马斯克开源的动作还挺好的,但也有不少诟病的言论。
例如在HuggingFace中,我们并没有看到xAI明确指出开源模型的参数权重。
因此网友们就只能根据以往的信息,猜测它是2690亿个参数的MoE模型。
其次,就是开源协议的问题,因为xAI在HuggingFace中的表述是这样的:
用网友的话来说,这基本上就是一个非商业许可的:
Mistral、Qwen、DeepSeek、微软,甚至是OpenAI都在用MIT或Apache2.0许可来开源模型。
以及,也是最重要的一点,就是运行这个开源模型的条件:
谢谢,我现在只需要8块显存超40GB的GPU……
除了开源动作之外,马斯克还发布了GrokAPP上的一些新功能。
这次的更新(v1.1.58)主要是聚焦在了AI视频生成,具体效果如下:
感兴趣的小伙伴可以在APP上体验喽。
以及马斯克还发了一段有趣的言论:
xAI很快就会超越除谷歌外的任何公司(然后也将超越谷歌),但中国公司才是最大对手。
参考链接:[1]https://x.com/elonmusk/status/1959379349322313920[2]https://x.com/HuggingPapers/status/1959345658361475564[3]https://x.com/elonmusk/status/1959384678768447976[4]https://x.com/elonmusk/status/1959388879888302363
最新发现
相关资讯
刚刚,马斯克开源Grok 2.5:中国公司才是xAI最大对手
就在刚刚,马斯克一手开源动作,引发了大伙儿的高度关注——xAI现在正式开源Grok25,Grok3将在半年后开源。其实早在本月初的时候,马斯克就公开表示过:是
2025-09-04 09:42:10
刚刚,大模型棋王诞生,40轮血战,OpenAI o3豪夺第一,人类大师地位不保?
GameArena首次积分赛排行榜
2025-09-04 09:12:10
苹果新AI模型长视频理解夺冠,小至1B版本也领先对手
科技媒体9to5Mac今天发布博文,报道称苹果研究团队开源SlowFast-LLaVA-15长视频多模态大语言模型,在1B、3B、7B参数规模下,均刷新LongVideoBench、M
2025-09-03 09:08:23
科学界论文高引第一人易主!AI站上历史巅峰
图灵奖得主YoshuaBengio,论文总引95万+魔镜魔镜,谁是有史以来被引用次数最多的科学家?答案:深度学习三巨头之一、图灵奖得主YoshuaBengio。
2025-09-03 09:08:20
钉钉发布8.0版本:推出下一代AI办公应用形态钉钉ONE
8月25日消息,今日,钉钉发布80版本,推出了下一代AI办公应用形态:钉钉ONE。钉钉ONE被设计为人与AI通过自然语言对话的统一入口,致力于打造全球首个以Agent驱动的工作信息流,让工作处
2025-09-03 09:08:17
马斯克成立新公司「巨硬」:用AI把微软产品重做一遍
论搞事情,还得是你马斯克。这不,为了硬刚微软,老马直接成立了一家新公司——巨硬(Macrohard)。就冲这个名字哈,那可真叫一个贴脸开大。不论是中文还是英文角
2025-09-03 09:08:14
今日热榜
“保守1000亿”,这个赛道正在批量制造90后富豪
2025-07-30 09:13:12WAIC UP!之夜:一场关于AI与人类未来的星空思辨
2025-07-31 09:08:13消息称微软与OpenAI正进行深入谈判:确保AGI时代技术合作
2025-07-31 09:08:16赋能医疗健康等领域北京亦庄发布全域人工智能之城建设首批成果
2025-02-06 09:55:372024年中国人工智能之自然语言处理(NLP)技术洞察
2025-03-28 09:29:09广州互联网法院参加人工智能发展与侵权法国际论坛
2025-05-02 21:54:13成都人工智能行业薪资第三2024年招聘月薪9813元
2025-05-14 17:37:24从“炼丹”到“开店”:大模型应用商店,能否解开国产AI的“商业化焦虑”?
2025-07-29 09:11:26第六届国际青年人工智能大赛总决赛在雄安举办
2024-12-20 13:54:23当蔡国强“指导”AI创作:灵魂扫描,灵性交集
2025-01-08 15:35:58热门推荐