图上解码：通过生成结构良好链在知识图上实现忠实可靠的推理

发布日期：2024年10月24日

作者：Kun Li, Tianhua Zhang, Xixin Wu, Hongyin Luo, James Glass, Helen Meng

arXiv:2410.18415 [ cs.CL ]

摘要

知识图（KGs）因其知识的结构化表示，可以作为问答（QA）的可靠知识来源。现有关于利用知识图进行大型语言模型（LLMs）研究主要依赖于子图检索器或迭代提示，忽视了LLMs的逐步推理能力与知识图结构性质的潜在协同作用。本文提出DoG（Decoding on Graphs），一个促进LLMs和KGs深度协同的新颖框架。我们首先定义了一个概念：结构良好链，它由知识图上相互关联的事实三元组序列组成，从问题实体开始，导向答案。我们认为这个概念可以作为知识图问答进行忠实可靠推理的原则。为了使LLMs能够生成结构良好链，我们提出了图感知约束解码，其中来自知识图拓扑结构的约束调节LLMs的解码过程。这种约束解码方法确保了结构良好链的生成，同时充分利用了LLMs的逐步推理能力。基于此，DoG作为一种无需训练的方法，能够提供基于知识图的忠实可靠的推理轨迹。在各种知识图问答任务和不同背景知识图上的实验表明，DoG取得了卓越且稳健的性能。DoG还展示了对各种开源LLMs的通用适用性。