扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

AI行业动态3个月前发布 ainavi
7,400 0

「事情越来越明确了,各大科技公司的下一代服务会构建在通用 AI 之上。」

为了通用人工智能(AGI)的宏大目标,扎克伯格正在给 Meta 的 AI 研究部门进行大幅度的改组。

本周四,Meta 首席执行官马克・扎克伯格宣布,他的公司正在致力于为人工智能助手构建「通用智能」并「负责任地开源」,Meta 正在将其两个主要研究小组(FAIR 和 GenAI)合并在一起以实现这一目标 。扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

为此,Meta 将准备屯集业内最为强大的 AI 算力。扎克伯格表示,公司将购买超过 35 万块英伟达 H100 GPU—— 这是目前业界构建生成式 AI 性能最强大的芯片。

有第三方投资机构的研究估算,英伟达面向 Meta 的 H100 出货量在 2023 年能达到 15 万块,这个数字与向微软的出货量持平,并且至少是其他公司的三倍。扎克伯格表示,如果算上英伟达 A100 和其他人工智能芯片,到 2024 年底,Meta 的 GPU 算力将达到等效近 60 万 H100。

H100 虽然性能强大,但价格也极其高昂。每块 GPU 的成本约为 2.5 万美元(根据英伟达早期的商品名册显示,16 块 H100 GPU 组成的系统成本约为 40 万美元)到 3 万美元。如果按照这个数字来计算的话,Meta 追求通用人工智能光在 GPU 上的花费可能是 87.5 亿美元到 105 亿美元。

看起来,Meta 正在进行一次创业风投式的大额投资。

扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

今年底获得等效 60 万 H100 算力,那么现在正在训练 Llama3 的 Meta 已经拥有了多少算力?人们纷纷进行了猜测。

不过另一方面,也有人表示了质疑:英伟达真的能在 2024 年底生产这么多芯片吗?

AGI 要循序渐进

Llama 3 加强代码能力

随后,在面向 The Verge 的访谈中,扎克伯格透露了更多的想法。

「我们认为,为了打造计划中的产品,我们需要打造通用智能,」扎克伯格表示。「向人们传达这一点非常重要,因为许多最优秀的研究人员都希望致力于更远大的目标。」

在生成式 AI 时代,人工智能人才的争夺已变得前所未有的激烈,每家科技公司都在争夺数量有限的研究人员和工程师。拥有专业知识的人才可以获得每年超过 100 万美元的高额薪酬。即使像扎克伯格这样的巨头 CEO 也经常需要亲自试图赢得一些关键员工的支持,或者阻止一名研究人员叛逃到竞争对手那里。

「我们已经习惯了相当激烈的人才争夺战,」扎克伯格表示。「但事情的变化很快,有很多家公司都在追求相同的愿景,许多风投和资金正在投向不同的项目,这使得人们很容易开展新的创业。」

但对于 AGI,扎克伯格像其他领域内人士一样,都没有明确的定义,也不知道它何时到来。

他表示,「你可以质疑通用智能是否可以达到人类水平的智能,或者超越人类智能,再或者成为某些遥远未来的超级智能。但对我来说,重要的部分实际上是智能所能达到的广度,即拥有不同的能力,比如必须能够推理并拥有直觉。」

因此,在扎克伯格看来,AGI 的到来是一个循序渐进的过程,而不会在某一瞬间出现。

正如扎克伯格解释的那样,Meta 对 AGI 新的、更广泛的关注受到了自家 Llama 2 大模型的影响。Meta 认为 Llama 2 生成代码的能力对于人们在 Meta 应用程序中使用大模型没有意义,但它仍是构建更聪明 AI 的重要技能之一。不过,Llama 2 的写代码能力比较差。

扎克伯格抛出一个假设:对于大模型,代码能力看起来似乎并不是那么重要,因为不会有很多人在 WhatsApp 上问编码问题。不过事实证明,编码非常重要,它可以让大模型理解知识的严谨性和层次结构,并且通常具有更多直观的逻辑性。

因此,扎克伯格透露,Meta 正在训练的 Llama 3 将具有更强代码生成能力。并且与谷歌的 Gemini 模型一样,Llama 3 还将具有更高级的推理和规划能力。

「虽然 Llama 2 不是行业领先的模型,但却是最好的开源模型。对于 Llama 3 及其之后的模型,我们的目标是打造成为 SOTA,并最终成为行业领先的模型。」

去年 7 月,Llama 2 的推出让大模型领域进入了开源大发展的新阶段,人们对于 Llama 3 非常期待。扎克伯格的一番话引发了研究社区的欢呼。

扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

开源与闭源之争

一直以来,谁能最终控制 AGI 是一个颇受争议的问题。

扎克伯格凭借对公司股票的投票控制权,在 Meta 拥有绝对权力。这使他处于一个独特的强大地位,如果 AGI 得以实现,这一地位可能会被危险地放大。他的答案是,Meta 迄今为止为 Llama 所遵循的剧本可以被视为开源,至少对于大多数用例来说。

他没有点名,而是将 Meta 的方法与 OpenAI 的方法进行了对比,后者最初的目的是开源模型,但越来越不透明。「所有这些公司过去都曾是开放的,都曾经发布过他们所有的工作,并且常常谈论将如何开源自己的工作。」

虽然山姆・奥特曼和其他人拥护闭源人工智能开发方法的安全优势,但扎克伯格却看到了精明的商业策略。与此同时,他认为,迄今为止已部署的模型尚未造成灾难性损害。

扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

「在很多情况下,那些一开始就拥有领先优势的大公司也是那些呼吁最多的公司,他们说需要为构建 AI 设置相应的护栏,」扎克伯格表示。「我确信他们中的一些人对安全的担忧是合理的,但主要的目的是符合战略。」

当然,扎克伯格有他自己的动机。他对 AI 开放愿景的最终结果仍然是权力的集中,只是形式不同。Meta 已经拥有比地球上几乎任何公司都多的用户,并且是利润丰厚的社交媒体业务。AI 功能可以说可以让这些的平台更具粘性和更有用。如果 Meta 能够通过公开发布模型来有效规范 AI 的发展,那么它对生态系统的影响力只会越来越大。

还有另一个问题:如果 Meta 上实现了 AGI ,是否开源最终取决于扎克伯格。他还没有准备好做出任何承诺,因为「不想因为自己说过会做某事而被束缚」。

但扎克伯格同时表示:「只要它有意义并且是安全和负责任的事情,那么我认为我们通常会倾向于开源。」

扎克伯格:AI 不是新支点

然而,从「Meta」这个公司名字来看,扎克伯格此时公布关于 AGI 的目标,显得有些尴尬。

距离这家公司改名、宣布押注元宇宙才过去两年时间,VR 仍然是一个小众行业,且前景不算非常明朗。

不过,扎克伯格并不同意「Meta 将 AI 视为又一支点」的说法。

扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

「我不知道如何更明确地表明,我们将继续关注 Reality Labs 和 Metaverse,」扎克伯格还表示, Meta 每年在该计划上的支出仍超过 150 亿美元。

同时,扎克伯格认为生成式 AI 能在 Meta 的硬件研究中发挥着更加关键的作用。比如其雷朋智能眼镜最近就添加了视觉人工智能助手,可以识别物体和翻译语言。

他还认为未来的虚拟世界将由 AI 生成,并充满了陪伴真人的 AI 角色。扎克伯格表示,Meta 今年将推出一个新平台,让任何人都可以创建自己的人工智能角色,并将其分发到 Meta 的社交应用程序中,比如 Facebook、Instagram 和 Threads 。

参考内容:

https://www.instagram.com/reel/C2QARHJR1sZ/

https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...