统一大型语言模型和知识图谱：路线图

发布于2023年6月14日

作者：Shirui Pan、Linhao Luo、Yufei Wang、Chen Chen、Jiapu Wang、Xindong Wu

摘要

大型语言模型（LLMs），如ChatGPT和GPT4，凭借其涌现能力和泛化性，正在自然语言处理和人工智能领域掀起新的浪潮。然而，LLMs是黑盒模型，往往无法捕捉和获取事实知识。相比之下，知识图谱（KGs），例如维基百科和花谱，是结构化知识模型，明确存储了丰富的事实知识。KGs可以通过为推理和可解释性提供外部知识来增强LLMs。同时，KGs本质上难以构建和演化，这给现有KGs方法生成新事实和表示未见知识带来了挑战。因此，将LLMs和KGs统一起来并同时利用它们的优势是互补的。在本文中，我们提出了一个关于LLMs和KGs统一的前瞻性路线图。我们的路线图包含三个通用框架，即：1）KG增强型LLMs，它在LLMs的预训练和推理阶段，或者为了增强对LLMs所学知识的理解，整合KGs；2）LLM增强型KGs，它利用LLMs完成不同的KG任务，如嵌入、补全、构建、图到文本生成和问答；以及3）协同LLMs+KGs，其中LLMs和KGs扮演同等角色，并以互利的方式协同工作，以增强LLMs和KGs，实现由数据和知识驱动的双向推理。我们回顾并总结了路线图中这三个框架内的现有工作，并指出了它们未来的研究方向。