HippoRAG：受神经生物学启发的长时记忆，用于大型语言模型

发布于 2024 年 5 月 23 日

作者：Bernal Jiménez Gutiérrez、Yiheng Shu、Yu Gu、Michihiro Yasunaga、Yu Su

arXiv:2405.14831 [ cs.CL, cs.AI ] github:OSU-NLP-Group/HippoRAG

摘要

为了在充满敌意且不断变化的自然环境中生存，哺乳动物的大脑进化出了存储大量世界知识并持续整合新信息的能力，同时避免了灾难性遗忘。尽管取得了令人印象深刻的成就，大型语言模型（LLM），即使结合了检索增强生成（RAG），仍然难以在预训练之后高效有效地整合大量新经验。在这项工作中，我们引入了 HippoRAG，一种受人类长时记忆海马索引理论启发的新型检索框架，旨在实现对新经验更深入、更高效的知识整合。HippoRAG 协同调配 LLM、知识图谱和个性化 PageRank 算法，以模拟新皮层和海马在人类记忆中的不同作用。我们将 HippoRAG 与现有 RAG 方法在多跳问答任务上进行比较，结果表明我们的方法显著优于最先进的方法，性能提升高达 20%。HippoRAG 的单步检索实现了与 IRCoT 等迭代检索相当或更好的性能，同时成本降低 10-30 倍，速度提升 6-13 倍，并且将 HippoRAG 整合到 IRCoT 中带来了进一步的显著提升。最后，我们展示了我们的方法可以解决现有方法无法处理的新型场景。代码和数据可在 https://github.com/OSU-NLP-Group/HippoRAG 获取。