大型言语模型（LLMs）在人造言语处置义务中取得了清楚的成功。但是，LLMs在处置须要超出其预训练内容的专业常识的查问时，往往难以提供准确的回答。为了克制这一限度，钻研者提出了将外部常识源，如常识图谱（KGs），与LLMs集成的方法。KGs提供了却构化、明白且可解释的常识示意，是克制LLMs外在限度的协同方法。虽然LLMs与KGs的融合在近期钻研中惹起了宽泛关注，但现有的方法往往仅依赖于LLM对疑问的剖析，漠视了KGs中丰盛的认知后劲。
一个LLM与KG集成的例子。 观察到的实体以白色显示，而非观察到的实体以灰色显示。代理选用用于回答疑问的实体以黄色高亮显示。
ODA（Observation-Driven Agent） 框架是为了处置触及KGs的义务而设计的。它经过全局观察来增强KG的推理才干，并驳回观察、执行和反思的循环范式。ODA的主要模块包含：
观察模块 ：设计用于审核全局KG常识并疏导与KG环境的自主推理环节。经过递归进展防止三元组数量呈指数级增长的疑问。
执行模块 ：基于观察子图和ODA记忆，战略性地选用最适宜执行的执行，确保准确回答疑问。
反思模块 ：应用观察子图和从执行步骤取得的常识，提供反应并降级记忆，为下一次性迭代提供延续的推理。
ODA（Observation-Driven Agent）框架
ODA的上班流程示例。 在这个例子中，ODA从实体Johann Wolfgang von Goethe开局观察。在左侧的第一次性迭代中，选用了Johann Wolfgang von Goethe的街坊探求执行，并将反思获取的三元组（Johann Wolfgang von Goethe, unmarried Partner, Lili Schöneman）存储在记忆中。随后，对Lili Schöneman的观察疏导ODA选用街坊探求执行，并造成三元组（Lili Schöneman, place of birth, Offenbach am Main）被保管在记忆中，如右侧所示。一旦积攒了足够的常识，ODA触发回答执行，正确识别出Offenbach am Main作为答案。
经过在四个KBQA数据集上的宽泛试验，ODA在处置复杂疑问时体现杰出，尤其是在QALD10-en和T-REx数据集上区分成功了 12.87%和8.9% 的准确率优化。此外，ODA在 不同基础模型上（GPT3.5、GPT4） 的体现也证实了其在不同LLMs上的通用性。ODA经过 观察模块和反思模块 的有效整合，清楚提高了执行选用和反思的准确性，从而增强了ODA的推理才干。
不同方法的功能比拟 ，粗体分数代表一切基于GPT的零样本方法中的最佳功能。微调的SOTA包含：1: SPARQL-QA，2: RACo，3: Re2G，4:RAG。
消融比拟： 有无观察模块 、以及 不同反思方法
ODA: Observation-Driven Agent for integrating LLMs and Knowledge Graphs
本文转载自，作者：