面向零样本知识图谱问答的知识增强型语言模型提示
作者：Jinheon Baek、Alham Fikri Aji、Amir Saffari arXiv:2306.04136 [ cs.CL ]
摘要
大型语言模型（LLM）能够根据预训练期间存储在参数中的内部知识执行零样本闭卷问答任务。然而，这种内部化知识可能不足或不正确，这可能导致LLM生成事实错误的答案。此外，微调LLM以更新其知识成本高昂。为此，我们建议直接在LLM的输入中增强知识。具体来说，我们首先根据问题与其相关事实之间的语义相似性，从知识图谱中检索与输入问题相关的事实。之后，我们将检索到的事实以提示的形式预置到输入问题中，然后将其转发给LLM以生成答案。我们的框架，知识增强型语言模型提示（KAPING），无需模型训练，因此完全是零样本。我们通过知识图谱问答任务验证了KAPING框架的性能，该任务旨在基于知识图谱中的事实回答用户问题。在多尺寸LLM上，我们的方法平均优于相关零样本基线高达48%。
