大模型幻觉还分外在、内在了——
OpenAI华人迷信家翁荔最新Blog，提出 LLM内在幻觉 。
有别于代指模型生成与理想不符、虚拟、不分歧或许毫有意义的内容，翁荔将LLM“幻觉”疑问详细化为 模型输入内容是虚拟的，并且不基于所提供的高低文或环球常识 。
由此，幻觉有两种类型：
之前，翁荔还提出过Agent公式：Agent=大模型+记忆+被动布局+工具经常使用，被一些网友称为是“看到的无关Agent的最好的文章”。
而这次关于大模型幻觉的这篇Blog，雷同“重工”，文章超长，足足24篇参考文献：
翁荔重点关注内在幻觉，讨论了三个疑问：发生幻觉的要素是什么？幻觉检测，抵制幻觉的方法。
量子位在不扭转原意的状况下，对原文启动了编译整顿。
量子位已获原作者授权翻译转载。
发生幻觉的要素是什么？
思考到一个规范的可部署LLM须要经过预训练和微调来启动对齐和改良，所以要素剖析从这两个阶段入手。
预训练数据疑问
预训练数据集旨在代表一切可取得的书面方式的环球常识，因此体量渺小。
从公共互联网爬取数据是最经常出现的选用，但这就造成或许会出现一些过期、缺失或失误的消息。由于模型或许仅仅经过最大化对数似然来失误地记忆这些消息，所以模型或许会犯失误。
微调新常识
经过监视微和谐人类反应强化学习来微调预训练LLM是提高模型某些才干的罕用技术。微调阶段不免引入新常识。
而微调通常消耗的计算资源较少， 经过小规模的微调模型能否能牢靠地学习新常识还有待切磋 。
Gekhman等人在往年的一项钻研中讨论了一个疑问：用新常识启动LLM微调能否会促使幻觉现象的出现。
他们发现：LLM学习带有新常识的微调示例，要比学习与模型预先存在的常识分歧的示例，学得更慢；一旦学习了这些带有新常识的示例，模型发生幻觉的偏差就会参与。
详细来说，给定一个敞开式问答数据集