知识图谱在大型语言模型问答企业级SQL数据库准确性方面作用的基准

发布日期：2023年11月13日

作者：Juan Sequeda, Dean Allemang, Bryon Jacob

arXiv:2311.07509 [ cs.AI, cs.CL, cs.DB ] github:datadotworld/cwd-benchmark-data

摘要

大型语言模型（LLMs）在企业级SQL数据库问答方面的企业应用前景广阔。然而，由于缺乏适用于企业环境的Text-to-SQL基准，LLMs在这些数据库中准确回答企业问题的程度仍不明确。此外，知识图谱（KGs）通过提供业务上下文来增强LLM问答的潜力也未得到充分理解。本研究旨在评估LLM驱动的问答系统在企业问题和SQL数据库背景下的准确性，同时探索知识图谱在提高准确性方面的作用。为此，我们引入了一个基准，包括保险领域的一个企业级SQL模式、一系列涵盖报告到指标的企业查询，以及一个包含定义知识图谱的本体和映射的上下文层。我们的主要发现表明，直接在SQL数据库上使用GPT-4进行零样本提示的问答准确性为16%。值得注意的是，当问题通过企业SQL数据库的知识图谱表示进行提问时，准确性提高到54%。因此，投资于知识图谱可以为LLM驱动的问答系统提供更高的准确性。