GraphReader：构建基于图的代理以增强大型语言模型的长上下文能力

发布于 2024 年 6 月 20 日

作者：李世龙、何彦诚、郭航宇、卜兴远、白鸽、刘杰、刘佳恒、曲兴威、李阳光、欧阳万里、苏文波、郑波

arXiv:2406.14550 [ cs.CL, cs.AI ]

摘要

长上下文能力对于大型语言模型 (LLM) 解决复杂和长输入任务至关重要。尽管为优化 LLM 的长上下文能力付出了大量努力，但在鲁棒处理长输入方面仍然存在挑战。在本文中，我们引入了 GraphReader，一个基于图的代理系统，旨在通过将长文本结构化为图并利用代理自主探索该图来处理长文本。接收到问题后，代理首先进行逐步分析并制定合理的计划。然后，它调用一组预定义函数来读取节点内容和邻居，从而促进对图的粗粒度到细粒度探索。在整个探索过程中，代理不断记录新的见解并反思当前情况，以优化过程，直到它收集到足够的信息来生成答案。在 LV-Eval 数据集上的实验结果表明，使用 4k 上下文窗口的 GraphReader 在 16k 到 256k 的上下文长度范围内，始终以很大的优势优于 GPT-4-128k。此外，我们的方法在四个具有挑战性的单跳和多跳基准测试中也表现出卓越的性能。