G-Retriever：用于文本图理解和问答的检索增强生成

发布于 2024 年 2 月 12 日

作者：Xiaoxin He、Yijun Tian、Yifei Sun、Nitesh V. Chawla、Thomas Laurent、Yann LeCun、Xavier Bresson、Bryan Hooi

arXiv:2402.07630 [ cs.LG ] github:XiaoxinHe/G-Retriever

摘要

给定一个具有文本属性的图，我们让用户能够“与他们的图进行对话”：即，使用对话界面询问关于图的问题。针对用户的问题，我们的方法提供文本回复并突出显示图的相关部分。虽然现有工作以各种方式整合了大型语言模型（LLM）和图神经网络（GNN），但它们主要关注传统的图任务（例如节点、边和图分类），或者在小型或合成图上回答简单的图查询。相比之下，我们开发了一个灵活的问答框架，针对真实世界的文本图，适用于多种应用，包括场景图理解、常识推理和知识图推理。为此，我们首先开发了一个图问答（GraphQA）基准，其数据来自不同的任务。然后，我们提出了我们的 G-Retriever 方法，引入了第一个用于通用文本图的检索增强生成（RAG）方法，该方法可以通过软提示进行微调，以增强图理解。为了抵制幻觉并支持远超 LLM 上下文窗口大小的文本图，G-Retriever 通过将此任务表述为奖励收集斯坦纳树优化问题，对图执行 RAG。实证评估表明，我们的方法在多个领域的文本图任务上优于基线，能够很好地扩展到更大的图大小，并减轻了幻觉。~\footnote{我们的代码和数据集可在以下网址获取：\url{https://github.com/XiaoxinHe/G-Retriever}}