StructRAG：通过推理时混合信息结构化增强 LLM 的知识密集型推理能力

发布于 2024 年 10 月 11 日

作者：Zhuoqun Li、Xuanang Chen、Haiyang Yu、Hongyu Lin、Yaojie Lu、Qiaoyu Tang、Fei Huang、Xianpei Han、Le Sun、Yongbin Li

arXiv:2410.08815 [ cs.CL, cs.AI ] github:Li-Z-Q/StructRAG

摘要

检索增强生成（RAG）是有效增强大型语言模型（LLM）在许多知识型任务中表现的关键手段。然而，现有的 RAG 方法在知识密集型推理任务中表现不佳，因为这些任务所需的有用信息散布严重。这一特点使得现有 RAG 方法难以准确识别关键信息并利用这种嘈杂的增强信息进行全局推理。受人类在处理知识密集型推理时将原始信息转换为各种结构化知识的认知理论启发，本文提出了一种新框架 StructRAG，该框架可以识别当前任务的最佳结构类型，将原始文档重构为这种结构化格式，并根据生成的结构推断答案。对各种知识密集型任务的广泛实验表明，StructRAG 取得了最先进的性能，尤其在具有挑战性的场景中表现出色，展示了其作为在复杂实际应用中增强 LLM 的有效解决方案的潜力。