就在刚刚,OpenAI控制钻研员Richard Ngo宣布离任。
Ngo示意,他对过去一年里出现的事情有很多未解的疑问,这使得他更难置信自己的上班能在常年内造福环球。他逐渐看法到,想要成功OpenAI的使命——让AGI良好开展,是如许艰巨。
Ngo自2021年起添加OpenAI,之前曾在Google DeepMind担任AI安保钻研员。
近来,OpenAI中专一于AI安保的员工接连出奔,Ngo是最新的一位。
OpenAI钻研迷信家、德扑之父Noam Brown送上了祝愿。
前OpenAI员工(往年8月离任)回想道,自己是经过Ngo「AGI安保基础」课程才接触到AI安保的,并祝他未来一切顺利。
离任信全文
在过去的三年里,我不时在Miles的指导下上班,因此在他分开之后,很人造,我仿佛也该分开了。没有一个繁多的关键要素促使我做出这个选择。
关于过去一年出现的事情,我依然有很多未解的疑问,这让我更难以置信我的上班能常年为环球带来侧面影响。我也不时觉得自己更偏差于地下地启动更多的迭代,并与更多协作者一同讨论多种钻研方向。
接上去的几个月里,我计划关键启动独立钻研,内容包含AI控制和通常性AI对齐疑问的联合,而后再看看未来的方向如何。
虽然教训了许多挫折,我真的很享用在OpenAI的光阴。我无时机介入许多令人着迷的议题,包含预测、要挟建模、模型规格和AI控制,并与一群不时发明历史的、出色的人一同上班。
当我面对那些新添加公司的成员时,我很难向他们传递OpenAI最后的雄心壮志:设定了让AGI良好开展的使命。
虽然「开展AGI」这一局部的义务仿佛已在正确轨道上,我(和其他人)却逐渐看法到,想要对「良好开展」这一局部的义务作出踊跃奉献,远比预期的要艰巨得多,特意是须要预防它对人类生活的要挟。
局部是由于预测未来自身就很艰巨,同时由于AGI前景的渺小规模,容易放小孩儿们的成见、正当化和部落主义偏差(包含我自己)。
无论好坏,我估量危险将会继续加大,因此我宿愿你们都能以正直、深思熟虑的态度,以及明晰的判别,来应答你们(以及OpenAI)在这些危险中的角色,明白何时以及如何做出的选择才干真正服务于咱们的使命。
常年深耕AI安保
继许多专一于AI安保的员工离任OpenAI后,Richard Ngo的离任特意具无心味意义。
要知道,他是AI安保社区中一个有影响力的声响,自2018年以来不时努力于AI安保钻研——而ChatGPT是在2022年底才开局风行环球。
他是论文《The Alignment Problem from a Deep Learning Perspective》的独特作者,该论文已在ICLR上宣布。
他还搜集了很多网络上的学习资料,编成了一系列「AI Alignment」的课程。
Ngo还是一个十分具有人文气息的科技从业者。这也不难解释他对OpenAI初心的据守,以及对AI安保未来的担心。
他在剑桥大学取得了机器学习哲学的哲学博士学位(2020–2021),并在同校取得了计算机迷信的哲学硕士学位(2017–2018)。此外,他还在牛津大学取得了计算机迷信与哲学的文学学士学位(2014–2017)。
他还在博客里撰写「AI Autofiction」(AI自传小说),在其中形容了从未来AI的角度来看环球或者是什么样子。
AI安保员工出奔潮
近来,许多专一于AI安保的员工都先后离任OpenAI。
OpenAI七年元老、安保副总裁Lilian Weng,于上周宣布离任。
OpenAI六年元老、钻研主管Miles Brundage,同时也是Ngo的下属,于上个月离任。
再往前追溯,往年早些时刻,OpenAI的超级对齐独特担任人Ilya Sutskever和Jan Leike也分开了公司。
Leike曾示意,「OpenAI的安保文明和流程已被夺目的产品所取代」。
许多其余专一于安保的员工,包含William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等,也都相继离任。