近几个月来,OpenAI ChatGPT 的弱小生成式对话才干引发了人们对 AI 的新兴味和投资。随着国际外掀起类 ChatGPT 研发热潮,对话式 AI 及面前的大模型被更多人看好。
但上周在 MIT 的视频发言中,OpenAI CEO Sam Altman 宣布了另一番舆论。他正告称, 降生 ChatGPT 的钻研战略曾经完结 。至于未来会在哪些方面出现停顿尚不分明。
过去几年,OpenAI 经过驳回现无机器学习算法并将它们扩展到以往不可构想的规模,在与言语相关的人工默认畛域取得了一系列引人注目的停顿。其中作为最新的停顿,GPT-4 或许经常使用数万亿文本单词和数千个弱小的计算机芯片训练。
GPT-4 在言语、数学、编程、视觉、医学、法律和心思学等多种义务上都有杰出的体现。 Sam Altman 却对此示意,让模型变得更大(比如巨型模型)将不会进一步带来新停顿 。
Sam Altman 的这番舆论标明, 在开发和部署新 AI 算法的比赛中出现了一个意想不到的转机 。自去年 11 月 ChatGPT 推出以来,微软应用底层技术在必应搜查中减少了基于它的聊天机器人,谷歌也推出 Bard 竞品。很多人急着尝试经常使用新型聊天机器人协助实现上班或团体义务。
与此同时,包含 Anthropic、AI21、Cohere 和 Character.AI 在内泛滥资金雄厚的初创公司都投入少量资源构建规模更大的算法,以努力追逐 OpenAI。
不过,Sam Altman 的话仿佛预示着,GPT-4 或许是 OpenAI 研发更大模型并喂给它们更少数据这一战略的最后一个严重停顿。这也可以从他亲身造谣 GPT-5 的相关风闻中看出一些端倪,他示意目 前没有训练 GPT-5,短期内也不会训练 。
在形容 GPT-4 的论文中,OpenAI 预估扩展模型规模的收益将出现递减。OpenAI 建造数据中心的数量以及建造速度也存在物理限制。
除了大模型设计和架构自身的要素,巨额破费也是一大要素。据报道,ChatGPT 须要至少 10000 个 GPU 启动训练,还须要更多资源保障继续运转。而英伟达专为 AI 和高性能计算设计的最新 H100 GPU 单价高达 30,603 美元,无疑老本高昂。 Altman 亲身抵赖,GPT-4 的训练破费超越了 1 亿美元
Cohere 的联结开创人(曾在谷歌从事 AI 上班)Nick Frosst 示意, Altman 的扩展规模并不能永远奏效的观念听起来是对的 。他也以为,Transformer(GPT-4 及竞品的**机器学习模型类型)的停顿曾经超出了扩展范围。除了向模型减少更多参数之外,还有很多其余方法可以使 Transformer 变得更好、更有用。
新的 AI 模型设计或架构以及基于人类反应的进一步微调 成为很多钻研人员曾经在探求的有前景的方向。
马斯克将 AI 名目命名为 TruthGPT
马斯克这边,只管嘴上说担心 GPT-4 引发社会疑问,并签订暂停开发比 GPT-4 更弱小的系统至少六个月。但实践状况却是马斯克正努力于新建一家人工默认初创公司 X.AI,与 OpenAI 间接倒退竞争。
据报道,马斯克曾经从英伟达失掉了上万块 GPU,这些系统为人工默认和上流图形解决等密集型义务所需的计算提供动力。
马斯克证明了无关他方案创立一家人工默认初创公司,与 ChatGPT 竞争的报道。马斯克在接受福克斯采访时宣布了这项方案,并示意,「我将创立一种称为 TruthGPT 的人工默认平台,或许说是一个最大限制地寻求真谛的人工默认,可以了解宇宙的实质。我以为这或许是通往(AI)安保的最佳路径,从某种意义上说,一个关心了解宇宙的人工默认不太或许灭绝人类,由于咱们是宇宙中幽默的一局部。」
马斯克在采访中还示意,他置信人工默认具备消灭文化的后劲,无论(其力气)如许小。
此前,马斯克于 2 年与 OpenAI 现任 CEO Sam Altman 等人独特创立了 OpenAI,但马斯克于 2018 年分开了公司董事会。据了解,马斯克过后申明的要素是为了防止与特斯拉出现潜在的利益抵触,但起初马斯克示意还有其余要素,另一个要素是他不赞同 OpenAI 团队在做的一些事件。
另外据 Semafor 3 月份报道,马斯克曾试图在 2018 年接任公司 CEO 一职,但在 Altman 和其他人拒空前便分开了。
自从分开 OpenAI 董事会以来,马斯克一再批判 OpenAI。就在往年 2 月,他还示意如今的 OpenAI 基本不是他所宿愿的,并称 OpenAI 为微软控制的、闭源、利润最大化的公司」。
面对马斯克的屡次打击,Altman 示意即使如此,自己仍将马斯克视为自己的偶像之一,并示意,「我置信马斯克确实对 AGI 安保感到压力,这是可以了解的。」
值得一提的是这不是马斯克第一次性思考打造 TruthGPT。他在 2 月曾经发推说,咱们须要的是 TruthGPT。
对于 TruthGPT 的更多细节,马斯克没有透漏更多信息,咱们可续等候一波。