马斯克豪掷40亿购10万张H100训Grok 3!自曝Grok 2下月上线,巨额博弈剑指OpenAI
创始人
2024-07-03 14:51:02
0次

新智元报道

编辑:耳朵 乔杨

【新智元导读】马斯克连回两条推文为xAI造势,宣布8月发布Grok 2,年底将推出在10万张H100上训练的Grok 3,芯片加持创新数据训练,打造对标GPT的新一代大语言模型。

一边造火箭,一边造新能源车,一边在推特评论区到处冒泡的马斯克继Grok 1.5发布后继续为自己的AI初创公司造势。

在回帖中,马斯克宣布xAI的大语言模型Grok 2将于8月推出。

并且马斯克为大家划重点:在数据训练方面将有大跨步。

Grok是马斯克正式进入生成式AI这条赛道推出的AI聊天机器人,来自一个与OpenAI、谷歌、Meta等巨头同时扳手腕的初创公司xAI,不仅开源还造超算中心,可谓野心勃勃。

自今年3月以来,xAI陆续推出了Grok 1.5大语言模型和首个多模态模型Grok1.5 Vision。

xAI曾表示,Grok 1.5V在多学科推理、文档理解、科学图表、表格处理等多领域「都能媲美现有的前沿多模态模型」。

今年5月,马斯克表示,xAI是一家新公司,因此Grok仍有大量准备工作要做,才能与谷歌Deepmind和OpenAI相抗衡。

后来者要居上,xAI一直在暗暗发力,直指模型性能,期望能给大公司上压力。

Grok 2:数据训练飞跃或有效解决「人体蜈蚣效应」

马斯克宣布Grok 2将在8月推出这条回帖的原帖也颇有意味。

原帖中,Cohere首席执行官Aidan Gomez表示,由于许多人工智能模型都是根据OpenAI的输出结果进行训练的,因此会产生「人体蜈蚣效应」,即模型会产生相同的输出结果。

对于这一现象,使用大语言模型的用户应该深有体会。

有一位推特网友发现,他虽然付了GPT-4和Claude两份的钱,却得到了同一份相同的错误答案。

这个千载难逢的抹黑GPT的机会,马斯克自然不会错过。

他与OpenAI之间的战火早已弥漫了4个月,前段时间甚至向法院发起诉讼,指控OpenAI违反合同。

于是,借此天赐良机,马斯克狠狠地拉踩OpenAI,为即将推出的Grok造势。

他发帖表示,从互联网语料中清除掉LLM合成的错误数据,形成高质量数据集需要大量的工作,而8月份推出的Grok 2将是这方面的巨大进步。

消息一出,前脚才被OpenAI封锁API,后脚又被鸽GPT-4o语音功能的伤心用户们纷纷表示,要转投这个出身豪门的Grok的怀抱。

等不及了!我老早就用Grok比GPT用的多了!

等不及看到下一代Grok了!Grok 2公布之日,就是OpenAI退订之时。

奥特曼表示:

Grok 3:豪掷40亿美元买10万个H100训练模型

马斯克公布完Grok 2发行时间,继续回复表示Grok 3将在年底推出。

并且在经过10万个英伟达H100 GPU的训练后,将成为「特别的东西」。

的确特别,首要就是特别壕。

一笔订单十位数。那个无人在意的角落里,老黄又靠「卖铲子」赚翻了。

科技公司都在竞相打造更加智能的人工智能产品,H100自然成为这场AI军备竞赛的香饽饽。

H100 GPU作为AI的关键组件、硅谷的热门商品,据估计每块成本在3万到4万美元之间,马斯克的十位数订单可能有团购价。

这意味着,Grok 3正在价值30亿至40亿美元的人工智能芯片上接受训练。但目前还不清楚这些芯片是否是xAI直接购买的,从云服务提供商那里租用GPU计算也是可能的。

The Information在5月份报道称,马斯克的xAI初创公司正在与甲骨文公司洽谈,准备斥资100亿美元租用云服务器。

可以确定的是,马斯克的xAI近年来的确直接购买了大量的H100。

例如,据报道,特斯拉首席执行官将原定用于特斯拉的一批价值5亿美元的英伟达H100转用于xAI。

可以想到,基于10万个GPU训练的Grok 3将比Grok 2更上一层楼。

马斯克在今年4月接受挪威主权基金负责人Nicolai Tangen采访时说,Grok 2需要大约2万张H100来进行训练。

到目前为止,xAI已经发布了Grok 1和Grok 1.5,最新的Grok 1.5只提供给早期测试者和X(前身为Twitter)上的用户。

评论区也尤其关注了Grok 2和Grok 3的用户使用范围,可以看出,大家对10万张H100训练出来的模型颇有期待。

10万个GPU听起来确实很多,但是,像Meta这样的其他科技巨头正在购买更多的GPU。

Mark Zuckerber今年1月表示,到2024年底,Meta将购买约35万个英伟达H100 GPU。

并且,Meta将拥有包括其他GPU在内的约60万个芯片。也就是说,Meta将花费约180亿美元打造AI芯片。

H100芯片的囤积数量,也成为AI人才衡量公司实力的重要标准。

人工智能初创公司Perplexity的创始人兼首席执行官Aravind Srinivas谈到,他曾试图挖一名Meta的人工智能研究人员,但遭到拒绝,部分原因是Zuckerber保有了大量H100芯片。

Srinivas表示,我想从Meta聘请一位非常资深的研究员,你知道他们怎么说吗?

这位研究员无情拒绝,「等你有1万个H100 GPU的时候再来找我吧。」

由此可见,AI的核心是掌握算力,要想掌握数据,就得掌握运行数据芯片。

数据中心亲自监工

买买买之后,「工作狂」马斯克自然不会停下脚步。

分析师Adam Jonas在6月26日公开表示,如今AI数据中心在美国各地落地,导致美国周边电网用量激增。

而特斯拉迅速扩张的储能业务将帮助xAI在AI大战中占领一席之地。

这不,supermicro CEO和创始人Chales Liang发推公布和马斯克在数据中心的合照。

非常感谢马斯克引领液冷技术进入大型AI数据中心!新技术有可能帮助地球保护200亿棵树免于砍伐!

网友调侃道,马斯克要不就别睡了,要不数据中心打个地铺眯一会儿。

根据美国对数据中心的节能要求,全国范围内新建数据中心要求PUE<1.2,而传统的风冷制冷方式已经无法满足数据中心的散热需求,更加高效的液冷方案应运而生。

如何降低能耗也一直是各家公司关注的核心问题,而液冷技术具有冷却效率高、节能环保、稳定性强的优点。

因此,在人工智能领域,随着AI智算的需求爆发,液冷方案已经成为AI数据中心的首选。

参考资料:

https://www.businessinsider.com/elon-musk-hints-how-much-grok-ai-chatbot-training-costs-2024-7

相关内容

热门资讯

完善社保体系促农村消费潜能释放 扩大内需、提振消费,是当前推动我国经济高质量发展的关键着力点。7月30日召开的中共中央政治局会议强调...
江波龙于9月8日斥资4.48亿... 江波龙(09976)发布公告,于2026年9月8日斥资4.48亿元回购124.95万股A股。
刚刚,突破“心理防线”!全球美... 汇率再成全球变数! 9月8日早上,美元兑日元USD/JPY跌破153,刷新今年2月以来新低,日内跌幅...
原创 从... 前言 加拿大人的关税铁锤,9月8日凌晨准时砸了下来,这不是一场普通的贸易摩擦,而是北美大陆持续了几十...
韩国股市酝酿触底博弈:外资抛售... 韩国股市在经历极端的杠杆出清与外资集中抛售后,正迎来估值与技术面的双重拐点。KOSPI 200估值已...
4胜0负!中国女篮优势明显 波... 北京时间9月9日消息,中国女篮将在今晚的世界杯8强资格赛中对阵波多黎各女篮,获胜的球队将晋级女篮世界...
巨头创始人离婚,未签婚前协议,... 近日,运动休闲品牌lululemon(露露乐蒙)创始人奇普・威尔逊(Chip Wilson)的离婚消...
太重铸锻件分公司降本增效超20... 面对原材料价格持续攀升、贵重合金成本大幅上涨的严峻市场形势,太重集团铸锻件分公司摒弃粗放生产模式,深...
原创 中... 中东这把火烧得越来越旺,油价窜到快100美元一桶,看着新闻心里挺感慨的。二十多年前中国搞电车、砸光伏...
甲氧基PEG修饰多肽定制:从分... 甲氧基聚乙二醇(mPEG)修饰多肽是生物医药领域一项关键的药物改性技术。通过在多肽分子表面引入亲水性...
上海朱吉:做双眼皮前,先搞懂自... 在上海生活久了,你会发现这座城市对“精致”的要求格外高。不少朋友来做双眼皮面诊时,习惯性地掏出手机里...
9.09股市早8点丨关键:不是... 关键:不是双底就是双头! 股市早8点 老沙自媒体 2026年9月9日(周三) ▊美股三大指数收跌 ...
全球化产能布局稳步推进,中邮证... 9月8日,中邮证券研报指出, 亚香股份(301220.SZ)盈利阶段性承压,全球化产能布局稳步推进。...
福建福鼎遭强降雨,水产养殖户:... 编者按 养殖户提前加固鱼排抵御台风,却败给了始料未及的淡水倒灌。打捞不尽的死鱼、无法理赔的灾情、沉重...
美股收盘:三大指数集体收跌 算... 财联社9月9日讯(编辑 赵昊)周二(9月8日),美股三大指数集体走低,均连续两个交易日收跌。 截至收...
高层密集变动后,水井坊交出半年... 新华社旗下中经智库9月8日发布的智库报告显示,2026年上半年,白酒行业已全面进入“量价利齐跌”的深...
股市必读:贵阳银行新发布《贵阳... 截至2026年9月8日收盘,贵阳银行(601997)报收于5.61元,上涨1.26%,换手率1.36...
河南省卫生健康委召开专题会议 ... 9月3日,河南省卫生健康委召开医学科技创新工作专题会议,深入学习贯彻习近平总书记关于科技创新和卫生健...
原创 继... 标题:继母给我煮粥,她出去吃好的,离家出走多年,一双鞋让我回家心切。 在浩瀚的星座世界里,每个星座...
铜价再创新高,还能再涨吗? 今年有望突破1.5万美元/吨。 图片来源:界面图库 LME铜价再创历史新高。 伦敦金属交易所(L...