击败GPT-4的那群人

AI行业动态1个月前发布 ainavi
3,968 0

机器之能报道

编辑:吴昕

很少有人注意到 Claude 3 兼顾安全的努力以及背后深刻动机。还有他们客户群体的特点。

击败GPT-4的那群人Claude 3绘制的它自己,在社交媒体上广为流传。

GPT-4 结束了“独孤求败”的日子。

前几天,OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 —— Claude 3。该系列包含三个“杯型”,按能力由弱到强(价格由低到高)排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。

其中,能力最强的 Opus 在多项基准测试中得分都超过了 GPT-4 和 Gemini 1.0 Ultra,在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准

Anthropic 表示,Claude 3 Opus 拥有人类本科生水平的知识。

这两天各种体验案例汹涌而至,赞叹声络绎不绝。除了聪明,很少有人提及与其他竞争对手相比,Claude 的另一个重要优势——它不太可能说出有害的话,部分原因是它有一种名为“宪法 AI ”的训练技术:

先给模型颁布一份“宪法”,然后告诉它尽可能遵循这些原则。“宪法”条款来源比较多元——从联合国人权宣言到社交媒体社区规则,还包括 Anthropic 自己定的规则。然后使用第二个 AI 模型来评估第一个模型的“合宪程度”,在必要时对其进行纠正。

尽管如此,他们仍然会在发布前夜感到紧张和高压。去年夏天, Claude 2 发布前夜,一群表情焦躁的工程师不断讨论发布当天可能出现的各种问题。如果新用户的激增压倒了公司的服务器怎么办?如果模型不小心威胁或骚扰别人,造成(微软必应式)的公关难题怎么办?

在一间会议室里,Anthropic CEO Dario Amodei 也在仔细研究自己心中的潜在灾难清单,他总是会担心这个模型会不会做一些大家没有注意到的可怕事情?

当时,他们花了几个月才将 Claude 2 推出去,部分原因是公司的红队成员不断想出新的方法,让它可能变得危险。

击败GPT-4的那群人

某种意义上,这种对 AI 的担忧正是 Anthropic 存在的原因。这是由一群前 OpenAI 员工于 2021 年创立的公司,由于越来越担心 OpenAI 变得过于商业化,他们宣布分拆出去、组建自己的 AI 企业,称为“ AI 安全实验室”。

CEO Dario Amodei 今年 41 岁,是普林斯顿大学毕业的物理学家,曾领导开发 GPT-2 和 GPT-3 的 OpenAI 团队。他的妹妹 Daniela Amodei 今年 36 岁,曾负责监督 OpenAI 的政策和安全团队,也是公司总裁。

击败GPT-4的那群人

几位联合创始人研究了所谓的“神经网络缩放定律”—— 依据其揭示的数学相关性,AI 研究人员可以根据其训练的数据量和算力来预测 AI 模型能力。他们在 OpenAI 就发现,只需为模型提供更多数据并添加更多算力,就能让模型更智能,而无需对底层架构进行重大更改。他们也担心,如果这些机构继续制造越来越大的模型,很快会达到一个危险的临界点。

起初,他们考虑使用其他公司的 AI 模型进行安全研究。但很快发现此路不通,搞尖端的安全研究得有自己的基础模型(费曼学习法?),这又带来一个更为现实的难题——怎么筹钱购买贵得要死的 GPU?

权衡下来,他们决定将 Anthropic 变成一家公益企业( a public benefit corporation )。根据当地法律,这种新企业形态将使他们能够兼顾利润和社会责任(所谓的初心)。他们把自家 LLM 命名为 Claude , 被赋予乐于助人、无害和诚实的使命。

击败GPT-4的那群人Dario Amodei 在唐宁街10号与英国首相见面交流。Anthropic对安全的痴迷对公司的形象有好处,特别是加强了对监管机构还有立法者的吸引力。

“没有一个主流 AI 实验会像 Anthropic 那样完整体现出有效利他主义。”《纽约时报》在去年的一篇报道中评价说。

对于有效利他主义者而言,一个很重要的目标就是改善这个世界,而且做到越有效率越好。这意味着他们会透过理性分析、衡量状况,确保手中资源能够发挥最大效益,以实现目标。

《纽约时报》记者发现,公司的许多早期员工都是有效利他主义者,大部分启动资金也来自有效利他主义阵营里一群富有的科技高管,其中包括 Facebook 联合创始人 Dustin Moskovitz、 Skype 联合创始人 Jaan Tallinn。2022 年,Anthropic 收到了 Sam Bankman-Fried 的支票——失败的加密货币交易所 FTX 创始人,在他的帝国崩溃之前,他向 Anthropic 投资了 5 亿多美元。

击败GPT-4的那群人

Anthropic 对安全的痴迷对公司的形象有好处(特别是对立法者和监管者而言),但也被质疑放慢了模型进化速度,影响模型表现。

最早的 Claude 就比较沉闷和爱说教,在一些众筹的人类评估榜单上,Claude 2 还没 Claude 评级高,虽然 Claude 2 更安全。不过,Claude 3 在兼顾安全护栏和用户体验上要比前辈做得更好。Anthropic表示,靠近安全护栏但实际无害却被 Claude 3 拒绝的 Prompts 大概有 10%,而 Claude 2.1 有 25%。

由此,同样注重安全的企业用户也顺理成章地成为他们的主要客户—— 出售给大公司,或将大模型变成利润丰厚的订阅产品,这与专注消费者市场 Infection AI、Character AI 甚至 Open AI 等对手有所不同。两位了解其财务状况的人士告诉《纽约时报》,该公司去年月收入约为 800 万美元,预计今年将增长约 8 倍。

Claude 的客户包括科技公司Gitlab、Notion、Quora 和Saleforce(也是Anthropic 的投资人);金融巨头桥水基金、SAP 以及商业研究门户网络 LexisNexis、SK 电信和全美最佳癌症医院之一丹娜-法伯癌症中心。

Claude 3 也更多考虑了企业用户。比如,Claude 3 Opus 主要瞄准那些需要从事非常前沿的复杂数据分析、生物医学研究的企业。Sonnet 便宜了很多,用于更为常见的应用,比如大型数据的存储与搜索、销售预测和代码生成。Haiku 最便宜, 主要用与客户实时交流,比如物流查库存、内容审核。

最近,Anthropic 又以 184 亿美元的估值筹集了 7.5 亿美元(至此,他们在一年内获得了 73 亿美元的融资),计划在未来几个月增加代码解释、搜索和资源引用等功能。

斯坦福大学计算机科学教授 Percy Liang 曾表示“赞赏 Anthropic 对 AI 安全的承诺”,但也担心该公司会陷入商业压力,要求发布更大、更危险的模型。Dario Amodei 对于这些担忧的回应是,想要与 OpenAI 和其他顶级实验室竞争的主要原因不是为了赚钱,而是为了更好地进行安全研究。

他们相信他们正在采取正确的预防措施,最终,他们希望他们对安全的痴迷能在硅谷更广泛地流行起来。“我们希望会有一场安全竞赛,”Anthropic 联合创始人之一 Ben Mann 去年在接受《纽约时报》采访时曾说。“我希望不同的公司会说,'我们的模型是最安全的。然后另一家公司会说,'不,我们的模型是最安全的。”

参考链接

https://www.forbes.com/sites/alexkonrad/2024/03/04/anthropic-releases-claude-3-claims-beat-openai/?sh=7516bea957bc&utm_campaign=socialflowForbesMainTwitter&utm_source=ForbesMainTwitter&utm_medium=social

https://www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html

https://www.nytimes.com/2024/02/20/technology/anthropic-funding-ai.html?utm_source=pocket_saves

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...