Grok-3:马斯克xAI年底发布 耗巨资10万块H100推进大语言模型
时间:2024-07-03
来源:
作者:keke
据最新消息,知名科技企业家埃隆·马斯克所领导的人工智能初创公司 xAI 宣布,其研发的大语言模型 Grok-2 将于8月份正式推向市场,这标志着xAI计划中的技术创新又迈出了关键一步。尽管Grok-2尚未公开亮相,但马斯克已经提前展示了对下一代技术的热情,即Grok-3。
马斯克强调了在训练此类先进人工智能聊天机器人过程中,数据集的清理和准备至关重要,因为大型语言模型(LLMs)往往需要大量的高质量数据以避免潜在的偏见和误导。他还提及了OpenAI在模型输出处理中遇到的一些挑战,暗示了xAI在设计Grok系列时可能吸取了这些经验教训。
对于备受瞩目的Grok-3,马斯克透露,这款模型的训练工作已投入了庞大的计算资源,具体来说,使用了总计10万块NVIDIA的H100人工智能芯片。每个H100芯片专为高效处理大语言模型的数据而设计,其市场价格在3至4万美元之间(换算成人民币约为21.9万至29.2万元,实际价格可能因批量采购而有所优惠)。
总计10万块H100芯片的投入使得Grok-3的硬件成本达到了惊人的30到40亿美元(折合人民币约218.68亿至291.57亿元)。值得注意的是,马斯克先前曾提及特斯拉今年从NVIDIA处的芯片采购预算预估在相同范围内,这暗示xAI很可能是利用特斯拉与NVIDIA的商业关系来获取这些高端芯片进行训练。
随着Grok-3的筹备接近尾声,预计它将在今年年底发布,马斯克对其性能寄予厚望,认为它将展现出前所未有的“非常特别”的能力。这一举动无疑将对人工智能领域产生深远影响,期待着xAI如何通过Grok系列进一步推动AI技术的发展。