NLP 正在推进人工智能进入激动人心的新时代。
以先人工智能畛域热度最高的方向就是预训练大模型了，很多人置信，这项钻研已在通用人工智能畛域初显功效。
人造言语处置畛域驰名学者，斯坦福大学传授克里斯托弗 · 曼宁(Christopher Manning)近期在美国人文与迷信学院(AAAS)期刊的 AI& Society 特刊上宣布了题为《Human Language Understanding &Reasoning》的文章，讨论了语义、言语了解的实质，展望了大模型的未来。
曼宁以为，随着 NLP 畛域的技术打破，咱们或许已在通用人工智能(Artificial general intelligence,AGI)方向上迈出了坚决的一步。
摘要
在过去十年中，便捷的神经网络计算方式在人造言语处置方面取得了渺小而令人惊讶的打破，人们在超大规模状况下复制了成功，并在少量数据上启动了训练。由此发生的预训练言语模型，如BERT 和 GPT-3，提供了弱小的通用言语了解和生成基础，可以轻松顺应许多了解、写作和推理义务。
这些模型展现了一种更为通用的人工智能方式的初步迹象，这或许会在感知体验畛域发生弱小的基础模型，而不只仅局限于言语。
NLP 畛域的四个时代
当迷信家思索人工智能时，大多会首先想到建模或重建单团体脑的才干。不过，现代人类智慧远不止单个大脑的智能。
人类的言语很弱小，并且对咱们的物种发生了深远影响，由于它为人群全体提供了一种将大脑联网的方式。一团体或许并不比咱们的黑猩猩或倭黑猩猩的远亲痴呆太多。这些猿类已被证实领有人类智能的许多标志性技艺，例如经常使用工具和方案。此外，它们的短期记忆力甚至比咱们强。
人类发明言语的时期兴许永远是个谜，但可以相对必需的是，在地球生命漫长的退化史中，人类直到最近才开展出言语。原猴、猴子和猿类的独特先人可以追溯到大概6500 万年前。人类大概在 600 万年前与黑猩猩分别，而人类言语的历史通常被以为只要几十万年。
人类开展了言语后，交换的力气让智人迅速逾越其余动物，虽然咱们没有大象那么强健，也没有猎豹那么快。直到最近，人类才发明了文字(或许仅在五千多年前)，让常识可以逾越时空界限启动交换。在短短几千年时期里，这种信息共享机制将咱们从青铜时代带到了当天的智能手机。准许人类之间启动理性讨论和信息散发的高保真代码，准许复杂社会的文明演化，催生着现代技术面前的常识。言语的力气是人类社会智能的基础，在人工智能工具增强者类才干的未来环球中，言语将继续施展关键作用。
由于这些要素，人造言语处置(NLP)畛域与人工智能的最早开展同步出现。理想上，机器翻译 NLP 疑问的初步上班，包含 1954 年驰名的Georgetown-IBM 试验，成功了史上首例机器翻译，略早于 1956 年人工智能」一词的发明。在本文中，我简明概述了人造言语的历史加工。而后，我形容了NLP 最近的戏剧性开展，这些开展来自经常使用在少量数据上训练的大型人工神经网络模型。我追溯了经常使用这些技术构建有效 NLP系统所取得的渺小提高，并总结了一些关于这些模型成功了什么，以及下一步将走向何方的想法。
迄今为止，人造言语处置的历史大抵可以分为四个时代。
第一个时代从 1950 年到 1969 年。 NLP钻研始于机器翻译钻研。人们构想，翻译可以迅速建设在计算机在二战时期破译明码渺小成功的基础上。热战时期的双方钻研人员都在寻求开发能够转化其余国度科研成绩的系统。但是在这个时代的开局，人们对人类言语、人工智能或机器学习的结构简直无所不知。回顾起来，可用的计算量和数据量小得不幸。虽然最后的系统被大肆宣传，但这些系统仅提供了词级翻译查找和一些便捷的，不是很有准则的基于规定的机制来处置词的屈折方式(词形变动)和词序。
第二个时代，从 1970 年到 1992 年， 咱们见证了一系列 NLP演示系统的开展，这些演示系统在处置人类言语中的句法和援用等现象方面体现出复杂性和深度。这些系统包含 Terry Winograd 的 SHRDLU、BillWoods 的 LUNAR、Roger Schank 的系统，如 SAM、Gary Hendrix 的 LIFER 和 Danny Bobrow 的GUS。这些都是人们手工构建的基于规定的系统，但他们开局建模和经常使用人类言语了解的一些复杂性。一些系统甚至被部署用于数据库查问等义务。言语学和基于常识的人工智能正在迅速开展，在这个时代的第二个十年里出现了新一代的手工构建系统，它与申明性和言语常识及其程序处置辨别开来，并受益于一系列更现代的言语通常的开展。
但是咱们的上班方向在 1993 年到 2012年间的第三个时代出现了清楚变动。在此时期，数字文本变得丰盛，最实用的方向是开发能够在少量人造言语内容上成功某种水平言语了解的算法，并应用文本的存在来协助取得这种才干。这造成该畛域围绕NLP 的阅历机器学习模型在基本上被从新定位，这一方向至今仍占主导位置。
在这个时期初期，咱们关键的方法是把握正当数量的在线文本——过后的文本汇合普通在几千万字以下——并从中提取某种模型数据，关键是经过计算特定理想。例如，你或许发现人识别的事物类型在人的位置(如市区、城镇或堡垒)和隐喻概念(如构想力、留意力或实质)之间相当平衡。但是对单词的计数仅能提供言语了解设施，早期从文本汇合中学习言语结构的阅历尝试相当不成功。这造成该畛域的大局部人专一于构建带注释的言语资源，例如标志单词、文本中的人名或公司称号的实例，或树库中句子的语法结构，而后经常使用监视机器学习技术构建模型，该模型可以在运转时在新文本片段上生成相似的标签。
自 2013 年至今，咱们裁减了第三个时代的阅历方向，但由于引入了深度学习 / 人工神经网络方法，上班曾经出现了渺小的变动。
在新方法中，单词和句子由(数十或千维)实值向量空间中的位置示意，含意或句法的相似性由该空间中的凑近度示意。从 2013 年到 2018年，深度学习为构建高功能模型提供了一种更弱小的方法，其更容易对更远距离的高低文启动建模，并且模型可以更好地泛化到具备相似含意的单词或短语上，由于它们可以应用向量空间中的临近性，而不是依赖于符号的同一性(例如词形或词性)。但是，该方法在构建监视机器学习模型以口头特定剖析义务方面没有扭转。
在 2018 年，一切都出现了变动，超大规模自监视(self-supervised)神经网络学习的第一个严重成功就在 NLP上。在这种方法中，系统可以经过接触少量文本(如今通常是数十亿字)来学习少量的言语和环球常识。成功这一点的自监视方法是让 AI系统从文本中自行创立预测应战，例如在给定先前单词的状况下延续识别文本中的每个「下一单词」，或填充文本中遮掩的单词或短语。经过数十亿次重复这样的预测义务并从失误中学习，模型在下一次性给定相似的文本高低文时会做得更好，积攒了对言语和环球的普通常识，而后可以将这些常识部署到更多人们感兴味的义务中，例如问答或文本分类。
为什么大模型是打破
预先看来，大规模自监视学习方法的开展很或许被视为一次性反派，第三个时代或许会延伸到 2017年。预训练自监视方法的影响是一个打破：如今咱们可以在少量未标志的人类言语资料上训练，生成一个大型预训练模型，其可以很容易地经过微调或揭示启动调整，在各种人造言语了解和生成义务上提供弱小的结果。如今，人们对NLP 的提高和关注迸发了。出现了一种失望的觉得，咱们开局看到具备必定水平通用智能的常识灌输系统的出现。
我不可在此完整形容目前占主导位置的人类言语神经网络模型。大体上，这些模型经过实数向量示意一切，并且能够在接触到许少数据后经过从某些预测义务到单词示意的失误(归纳为启动微积分)的反向流传来学习很好地示意一段文字。
自 2018 年以来，NLP 运行的关键神经网络模型不时是 Transformer 架构神经网络。Transformer是一个比几十年先人类探求的用于单词序列的便捷神经网络更复杂的模型，关键思维之一是留意力机制——经过它，一个位置的示意被计算为来自其余位置的示意的加权组合。Transformer模型中一个经常出现的自监视指标是屏蔽文本中的偶然出现的单词，该模型要计算空位上曾经存在的单词。它经过从每个单词位置(包含掩码位置)计算示意该位置的查问、键和值的向量来做到这一点。将某个位置的查问与每个位置的值启动比拟，算法计算出每个位置的留意力。基于此，计算一切位置的值的加权平均值。
这种操作在 Transformer神经网络的每一层重复屡次，结果值经过一个全衔接的神经网络层进一步操作，并经过经常使用归一化层和残差衔接为每个单词生成一个新的向量。整个环节重复屡次，为Transformer 神经网络提供了额外的深度层。最后，掩码位置上面的示意应捕捉原始文本中的单词：例如，如图 1 所示的 committee。
经过 Transformer 神经网络的便捷计算可以成功或学习什么并不清楚，后来它更像是某种复杂的统计关联学习器。但是，应用像 Transformer这样十分弱小、灵敏的超参数模型和少量数据来练习预测，模型发现并表征了人类言语的大局部结构。钻研标明这些模型学习和表征句子的句法结构，并学习记忆许多理想，这些有助于模型成功预测人造言语中被掩码的词。
此外，虽然预测一个被掩码的词最后仿佛是一项相当便捷和低级的义务，但这个义务的结果却有着弱小和普遍的作用。这些模型会集了它们所接触的言语和宽泛的理想常识。
只要要再给出进一步的指令，这样的大型预训练模型 (LPLM) 就可以部署于许多特定的 NLP 义务。从 2018 年到 2020年，畛域内的规范方法是经过大批额外的监视学习来微调模型，在感兴味确实切义务上对其启动训练。但最近，钻研人员惊讶地发现，这些模型中最大的模型，例如GPT-3(生成式预训练Transformer)，只要揭示(prompt)即可很好地口头新义务。给模型一团体类言语形容或几个例子，说明人们宿愿模型做什么，模型就可以口头许多它们从未接受过训练的义务。
大模型带来的 NLP 新范式
传统的人造言语处置模型通常由几个独立开发的组件组合而成，通常构建成一个pipeline，其中首先尝试捕捉文本的句子结构和低级实体，而后是初级含意的词汇，这也是馈入一些特定畛域的口头组件。在过去的几年里，业内曾经用 LPLM取代了这种传统的 NLP 处置方案，通常经过微调来口头特定的义务。咱们可以等候一下 LPLM 在 2020 年代能够成功哪些指标。
早期的机器翻译系统涵盖了有限畛域中的有限言语结构。从宽泛的翻译文本的平行语料库(parallelcorpora)构建大型统计模型，这种方法是可以笼罩机器翻译的，这也成就了 2006 年终次推出的 Google 翻译。
十年后，即 2016 年底，当人们转向经常使用神经机器翻译时，Google 的机器翻译功能取得了清楚提高。但新型系统的降级换代越来越快，2020 年基于Transformer 的神经翻译系统用不同的神经架构和方法启动了改良。
新系统不是在两种言语之间启动翻译的大型系统，而是应用一个渺小的神经网络，同时在谷歌翻译涵盖的一切言语上启动训练，仅用一个便捷的 token标志不同的言语。虽然这个系统仍会出错，但机器翻译不时在开展，当天的智能翻译的品质曾经十分出色。
例如，将法语翻译成英语：
Il avait été surnommé, au milieu des années 1930, le « Fou chantant », alorsqu’il faisait ses débuts d’artiste soliste après avoir créé, en 1933, un duo àsuccès avec le pianiste Johnny Hess.
Pour son dynamisme sur scène, silhouette agile, ses yeux écarquillés etrieurs, ses cheveux en bataille, surtout pour le rythme qu’il donnait aux motsdans ses interprétations et l’écriture de ses textes.
He was nicknamed the Singing Madman in the mid-1930s when he was making hisdebut as a solo artist after creating a successful duet with pianist Johnny Hessin 1933.
For his dynamism on stage, his agile figure, his wide, laughing eyes, hismessy hair, especially for the rhythm he gave to the words in hisinterpretations and the writing of his texts.
在问答系统中，系统在一组文本中查找关系信息，而后提供特定疑问的答案(而不是像早期的 Web搜查那样仅前往倡导关系信息的页面)。问答系统有许多间接的商业运行，包含售前和售后客户咨询。现代神经网络问答系统在提取文本中存在的答案方面具备很高的准确性，甚至可以很好地找出不存在的答案。
例如，从以下英文文本中找到疑问的答案：
Samsung saved its best features for the Galaxy Note 20 Ultra, including amore refined design than the Galaxy S20 Ultra–a phone I don’t recommend. You’llfind an exceptional 6.9-inch screen, sharp 5x optical zoom camera and a swifterstylus for annotating screenshots and taking notes.
The Note 20 Ultra also makes small but significant enhancements over the Note10 Plus, especially in the camera realm. Do these features justify the Note 20Ultra’s price? It begins at $1,300 for the 128GB version.
The retail price is a steep ask, especially when you combine a climate ofdeep global recession and mounting unemployment.
三星 Galaxy Note 20 Ultra 的多少钱是多少?
Galaxy Note 20 Ultra 有 20倍光学变焦吗?
Galaxy Note 20 Ultra 的光学变焦是多少?
Galaxy Note 20 Ultra 的屏幕有多大?
关于经常出现的传统 NLP 义务，例如在一段文本中标志人或组织称号或对文本启动情感偏差分类(侧面或负面)，最好的系统还是基于 LPLM的，关于特定义务经过提供一组以所需方式标志的样本启动微调。虽然这些义务在大型言语模型出现之前就可以很好地成功，但大型模型中言语和环球常识的广度进一步提高了在这些义务上的功能。
最后，LPLM引发了在生成流利和延续文本的才干方面的一场反派。除了许多发明性用途之外，此类系统还具备工具性质的用途，例如编写公式化的资讯文章、智能生成摘要。此外，这样的系统可以依据喷射科医生的发现提出(或总结)要点来协助喷射科医生诊断病情。
这些 NLP系统在许多义务上都体现得十分好。理想上，给出一个特定的义务，它们通常可以被训练成像人类一样口头这些义务。虽然如此，仍有理由疑心这些系统能否真的了解它们在做什么，或许它们能否只是单纯地重复一些操作，没无心义。
以较复杂的编程言语了解为例，编程言语中形容单词意义关键借助指称语义学：单词、短语或句子的含意是对象或状况的汇合，用这种方法形容环球或其数学形象。这与NLP 中现代试验钻研的便捷散布语义(或使意图义通常)构成显明对比，单词的含意不再只是对高低文的形容。
大模型真的了解人类言语吗?
我以为言语的意义源于了解言语方式与其余事物之间的关联网络。假设咱们领有一个密集的关联网络，那么咱们就可以很好地理解言语方式的含意。例如，假设我已知「shehnai」是个印度语词汇，那么我对这个词的含意就能够有一个正当的概念，它是印度唢呐;假设我能听到这种乐器演奏的声响，那么我对shehnai 这个词会有更丰盛的含意了解。
反上来，假设我从未见过或听过 shehnai的声响，但有人通知我它就像传统的印度双簧管，那么这个词对我来说也有一些意义：它与印度无关，与管乐器无关，并用来演奏音乐。
假设有人补充说 shehnai 有孔，有多个簧片和像双簧管一样的喇叭形末端，那么我就有更多衔接到 shehnai这个对象的属性网络。同样，我或许没有这些信息，只要几段经常使用该词的高低文，例如：
虽然在某些方面，我对 shehnai 这个词的含意了解会较少，但我依然知道它是一种管状乐器，这也基于我知道一些额外的文明关联。
因此，了解言语的含意包含了解言语方式的关联网络，预训练言语模型能够学习言语的含意。除了词汇自身的含意，预训练言语模型也把握了很多实践的常识。很多模型都经过了在百科全书上的训练，它们知道亚伯拉罕· 林肯于 1809 年出世于肯塔基州;知道《Destiny’s Child》的主唱是碧昂丝。
就像人类一样，机器也可以从人类常识存储库中收获颇丰。但是，模型对词义和环球常识的了解往往十分不完整，须要用其余感官数据(sensorydata)和常识来增强。少量文本数据首先为探求和构建这些模型提供了一种十分容易访问的方法，但裁减到其余类型的数据也是十分有必要的。
LPLM在言语了解义务上的成功，以及将大规模自监视学习裁减到其余数据形式(如视觉、机器人技术、常识图谱、动物信息学和多模态数据)令人兴奋的前景标明了更通用方向的宿愿。咱们提出了通用类模型的术语基础模型，经过自监视在少量数据上训练了数百万个参数，而后可以轻松地顺应口头宽泛的下游义务。例如BERT(来自 Transformers 的双向编码器示意) 和 GPT-3 是这种基础模型的早期示例，但如今正在启动更宽泛的上班。
一个方向是将言语模型与愈加结构化的常识存储衔接起来，这些常识存储示意为常识图神经网络或运转时要查阅的少量文本。不过最令人兴奋和有宿愿的方向是建设基础模型(foundationmodel)，使其还可以排汇来自环球的其余感官数据，以成功集成的多模态学习。
这方面的一个例子是最近的 DALL-E 模型，在对成对的图像和文本的语料库启动自监视学习后，该算法可以经过生成相应的图片来表白新文本的含意。
咱们如今还处于基础模型时代的早期，但在这里，让我勾画出一个或许的未来：大少数信息处置和剖析义务，甚至或许像机器人控制这样的事件，都将由少数几个基础模型之一的特化版接手。这些模型训练起来既低廉又耗时，但让它们顺应不同的义务将十分容易。理想上，人们兴容许以便捷地经常使用人造言语指令来做到这一点。
这种在少数模型上的收敛带来了几个危险：能够构建这些模型的机构或许领有过多的权势和影响力，许多最终用户或许会遭到这些模型中存在成见的影响，且很难判别模型能否正确。另外，在特定环境中经常使用的安保性也存疑，由于模型及其训练数据十分大。
不论如何，这些模型把少量训练数据中取得的常识部署到许多不同义务的才干，将使其变得十分弱小，它们还将成为首批在口头许多特定义务时，只要要人类下批示，通知它如何做就能做到的人工智能。虽然这些模型最终或许只是含糊地了解一些常识，它们的或许性或许依然有限，不足人类水平的精细逻辑或因果推理才干。但基础模型的通用有效性象征着它们将获取十分宽泛的部署，它们将在未来十年让人们第一次性看到更普遍的人工智能方式。