图上思考：大型语言模型在知识图谱上的深度和负责任推理
作者：孙嘉硕、徐成进、唐路明远、王赛卓、林辰、龚业云、倪明选、沈向洋、郭健 arXiv:2307.07697 [ cs.CL ] github:IDEA-FinAI/ToG
摘要
尽管大型语言模型（LLM）在各种任务中取得了显著成功，但它们在需要深度和负责任推理的场景中，常常面临幻觉问题。这些问题可以通过在LLM推理中引入外部知识图谱（KG）来部分解决。在本文中，我们提出了一种新的LLM-KG集成范式“$\hbox{LLM}\otimes\hbox{KG}$”，它将LLM视为一个智能体，在KG上交互式地探索相关实体和关系，并基于检索到的知识进行推理。我们通过引入一种名为“图上思考”（Think-on-Graph, ToG）的新方法进一步实现了这一范式，其中LLM智能体在KG上迭代执行束搜索，发现最有前景的推理路径，并返回最可能的推理结果。我们通过一系列精心设计的实验来验证和阐明ToG的以下优点：1）与LLM相比，ToG具有更强的深度推理能力；2）ToG通过利用LLM推理和专家反馈，具备知识溯源和知识纠错的能力；3）ToG为不同的LLM、KG和提示策略提供了一个灵活的即插即用框架，无需任何额外的训练成本；4）ToG在某些场景下，即使使用小型LLM模型，其性能也能超越大型LLM，例如GPT-4，这降低了LLM部署和应用的成本。作为一个无需训练、计算成本更低、通用性更好的方法，ToG在9个数据集中有6个实现了整体SOTA，而大多数先前的SOTA都依赖于额外的训练。
