说到开源大模型,Llama 系列自降生以来就是典型代表,其低劣的性能与开源特点让人工默认技术的运行性和可访问性大大优化。任何钻研人员和开发者都能够从中获益,让钻研和运行变得愈加宽泛。
如今,Meta Llama 3.1 405B 正式颁布。在官网博客中,Meta 示意:「直到当天,开源大言语模型在配置和性能方面大多落后于敞开模型。如今,咱们正在迎来一个开源引领的新时代。」
与此同时,Meta 开创人、CEO 扎克伯格亲身撰写长文论述开源对一切开发者、对 Meta、对环球的意义。他示意,开源是 AI 踊跃开展的必要条件。以 Unix 和 Linux 的开展为例,开源 AI 将更无利于翻新、数据包全和老本效益。
他还以为,开源 Llama 模型能够建设一个完整的生态系统,确保技术提高,并且不会由于竞争而失去长处。Meta 有着成功的开源历史,经过开源 AI 模型,扎克伯格宿愿促成环球技术的对等和安保运行。
原文链接:
以下是原文内容:
扎克伯克为 Meta 注入开源基因
在高性能计算的早期,各大干流科技公司都投入少量资金开发各自的闭源 Unix 版本。过后很难构想会有其余方法能开收回如此先进的软件。
但是,开源的 Linux 逐渐盛行起来:最后是由于它准许开发人员自在修正代码且多少钱更实惠,而起初它变得更先进、更安保,并且领有比任何闭源 Unix 更宽泛的生态系统,支持更多的配置。当天,Linux 已成为云计算和运转大少数移动设备的操作系统的行业规范基础, 大家都因其出色的产品受益。
我置信人工默认的开展也与其开展轨迹相似。当天,一些科技公司正在开发上游的闭源模型,但开源正在迅速增加差距。
去年,Llama 2 仅能与一代旧型号相媲美。而在往年,Llama 3 在某些畛域曾经可以与行业中上游的模型竞争甚至上游。明年开局,咱们估量未来的 Llama 模型将成为行业中最先进的大模型。在此之前,Llama 也曾经在放开性、可修正性和老本效益方面上游。
当天,咱们正迈出下一步 —— 使开源 AI 成为行业规范。咱们颁布了首个前沿级开源 AI 模型 Llama 3.1 405B,以及改良版的 Llama 3.1 70B 和 8B 模型。较于闭源模型,这些开源模型在老本效益上清楚优化,特意是 405B 模型的开源个性,使其成为微和谐蒸馏小型模型的最佳选用。
除了颁布这些模型,咱们还与多家公司协作,拓展更宽泛的生态系统。亚马逊、Databricks 和英伟达正在推出全套服务,支持开发者微和谐蒸馏他们自己的模型。像 Groq 这样的翻新者曾经为一切新模型构建了低提前、低老本的推理服务。
这些模型将在包括 AWS、Azure、Google、Oracle 等一切关键云平台上可用。Scale.AI、戴尔、德勤等公司曾经预备好协助企业驳回 Llama 并经常使用他们自己的数据训练定制模型。随着社区的生长和更多公司开发新服务,咱们可以共同使 Llama 成为行业规范,并将 AI 的优势带给每团体。
Meta 努力于开源 AI,以下是我以为开源是最佳开发平台的要素,为什么开源 Llama 对 Meta 无利,以及为什么开源 AI 对环球有益,并由此将常年存在。
开源 AI 之于开发者
当我与环球的开发者、CEO 和政府官员交谈时,通常听到几个主题:
开源 AI 之于 Meta
Meta 的商业形式是为人们构建最佳体验和服务。为了成功这一指标,咱们必定确保一直能够失掉最佳技术,而不是被锁定在竞争对手的敞开生态系统中,这样他们就不能限度咱们所开发的内容。
我想分享一个关键阅历:只管苹果公司准许咱们在其平台上构建内容,但是当咱们构建服务时仍遭到了限度。无论是他们对开发者的税收、他们施加的恣意规定,还是他们阻止的一切产品翻新,显而易见,假设咱们能够构建产品的最佳版本,并且竞争对手不可限度咱们构建的内容,Meta 和许多其余公司将能够为人们提供更好的服务。从哲学层面上讲,这也是我如此坚信在 AI 和 AR/VR 畛域为下一代计算机建设放开生态系统的一个关键要素。
人们经常问我能否担忧由于开源 Llama 而失去技术长处,但我以为这疏忽了大局,要素有以下几点:
开源 AI 之于环球
我置信开源关于 AI 的未来是有必要的。AI 比任何其余现代技术都更有后劲提高人类的消费劲、发明力和生存品质,并且能够在减速经济增长的同时推进医学和迷信钻研的提高。开源将确保环球更多的人能够从 AI 的开展中取得利益和时机,权势不聚集中在少数几家公司手中,并且技术能够更平均和安保地在社会中部署。
关于开源 AI 模型的安保性,存在着继续的争执。我的观念是,开源 AI 将比代替打算更安保。我以为各国政府最终会得出支持开源的论断,由于这将使环球愈加兴盛和安保。
在我了解的安保性框架中,咱们须要防范两类危害:有意和故意。
值得留意的是,有意的危害涵盖了人们对 AI 的少数担忧 —— 从 AI 系统对数十亿用户的影响到大少数真正劫难性的科幻场景。在这方面,开源所带来的安保性愈加清楚,由于系统更透明,可以被宽泛审查。
历史上,开源软件由于这一要素不时更安保。雷同,经常使用 Llama 及其安保系统如 Llama Guard,或许会比闭源模型更安保和更牢靠。因此,大少数关于开源 AI 安保性的讨论集中在故意的危害上。
咱们的安保流程包括严厉的测试和红队评价,以测验咱们的模型能否有或许形老本质性损伤,此指标是在颁布前减轻危险。由于这些模型是开源的,任何人都可以自前启动测试。咱们必定牢记,这些模型是经过互联网上已有的消息训练的,所以在思考危害时,终点应该是模型能否能比从 Google 或其余搜查结果极速失掉的消息形成更多的危害。
经过辨别集体或小规模行为者与领有少量资源的大规模行为者(如国度)所能做的事件,将会有益于推理故意损伤。
在未来的某个时刻,一般恶意行为者或许会应用 AI 模型的默认,从互联网上现有的消息中制作出新型危害。在这一点上,力气的平衡对 AI 安保至关关键。
我以为生存在一个 AI 宽泛部署的环球中会更好,由于这样可以使大型行为者制衡小型恶意行为者。这也是咱们在社交网络上治理安保的形式,仰仗更弱小的 AI 系统识别并阻止那些经常经常使用小规模 AI 系统的不太复杂的行为者。
更宽泛地说,大型机构在大规模部署 AI 时将促成社会的安保和稳固。只需每团体都能访问相似代际的模型,那么领有更多算力资源的政府和机构将能够制衡领有较少计算资源的恶意行为者。
在思考未来的时机时,请记住,当天的大少数上游科技公司和迷信钻研都是建设在开源软件之上的。假设咱们共同投资于开源 AI,下一代公司和钻研就会取得经常使用的时机。这包括刚刚起步的初创企业,以及那些或许没有资源从头开发 SOTA AI 的大学和国度的人们。
总而言之,开源 AI 代表了在环球范围内咱们可以应用这项技术为一切人发明最大的经济时机和安保保证。
协作行稳,开源致远
在过去的 Llama 模型中,Meta 为自身开发颁布了这些模型,但并未重点关注建设更宽泛的生态系统。这次颁布,咱们采取了不同的形式。咱们正在外部组建团队,使尽或许多的开发者和协作同伴能够经常使用 Llama,并且踊跃建设协作同伴相关,以便生态系统中的更多公司能够为他们的客户提供共同的配置。
我置信 Llama 3.1 的颁布将成为行业的一个转机点,大少数开发者将开局经常使用开源技术,我估量这种形式将会以咱们的开源为终点。
我宿愿咱们可以共同努力将 AI 的优势带给全环球。
你如今可以在 llama.meta.com 上访问这些模型。
马克·扎克伯格