LightRAG：简单快速的检索增强生成

发布于2024年10月8日

作者：Zirui Guo、 Lianghao Xia、 Yanhua Yu、 Tu Ao、 Chao Huang

arXiv:2410.05779 [ cs.IR, cs.AI ] github:HKUDS/LightRAG

摘要

检索增强生成（RAG）系统通过集成外部知识源来增强大型语言模型（LLM），从而能够根据用户需求提供更准确、更具上下文相关性的响应。然而，现有的RAG系统存在显著局限性，包括依赖平面数据表示和上下文感知不足，这可能导致碎片化的答案，无法捕捉复杂的相互依赖关系。为了解决这些挑战，我们提出了LightRAG，它将图结构融入文本索引和检索过程。这个创新的框架采用双层检索系统，增强了从低层和高层知识发现中全面检索信息的能力。此外，图结构与向量表示的集成促进了相关实体及其关系的高效检索，显著缩短了响应时间，同时保持了上下文相关性。增量更新算法进一步增强了这一能力，确保新数据的及时集成，使系统在快速变化的数据环境中保持有效和响应迅速。大量的实验验证表明，与现有方法相比，LightRAG在检索准确性和效率方面取得了显著改进。我们已将LightRAG开源，可在此链接获取：https://github.com/HKUDS/LightRAG