别忘了连接！使用基于图的重排序改进RAG

发布于 2024 年 5 月 28 日

作者：Jialin Dong, Bahare Fatemi, Bryan Perozzi, Lin F. Yang, Anton Tsitsulin

arXiv:2405.18414 [ cs.CL, cs.AI, cs.LG, cs.SI ]

摘要

检索增强生成 (RAG) 通过将现有文档的上下文作为生成的基础，极大地提高了大型语言模型 (LLM) 响应的性能。当文档与问题上下文明显相关时，这些系统运行良好。但当文档信息不完整，或与上下文的关联不那么明显时呢？我们又应该如何推断文档之间的联系呢？在这项工作中，我们试图回答关于 RAG 生成的这两个核心问题。我们引入了 G-RAG，一个基于图神经网络 (GNN) 的重排序器，位于 RAG 的检索器和阅读器之间。我们的方法结合了文档之间的连接和语义信息（通过抽象意义表示图），为 RAG 提供了一个上下文感知重排序器。G-RAG 的性能优于最先进的方法，同时计算开销更小。此外，我们评估了 PaLM 2 作为重排序器的性能，发现它显著低于 G-RAG。这一结果强调了即使使用大型语言模型，重排序对于 RAG 仍然非常重要。