用于大型语言模型图推理的图线性化方法

发布于 2024年10月25日

作者：Christos Xypolopoulos、Guokan Shang、Xiao Fei、Giannis Nikolentzos、Hadi Abdine、Iakovos Evdaimon、Michail Chatzianastasis、Giorgos Stamou、Michalis Vazirgiannis

arXiv:2410.19494 [cs.CL, cs.LG]

摘要

大型语言模型已经发展到可以处理文本之外的多种模态，例如图像和音频，这促使我们探索如何有效地利用它们来完成图推理任务。因此，关键问题是如何将图转换为线性token序列，这一过程我们称之为“图线性化”，以便大型语言模型能够自然地处理图。我们认为图应该被有意义地线性化，以反映自然语言文本的某些特性，例如局部依赖性和全局对齐，从而使在万亿级文本token上训练的当代大型语言模型更好地理解图。为了实现这一目标，我们开发了几种基于图中心性和退化度的图线性化方法。这些方法通过节点重新标记技术得到进一步增强。实验结果表明，与随机线性化基线相比，我们的方法是有效的。我们的工作引入了适用于大型语言模型的新颖图表示，有助于将图机器学习与使用统一Transformer模型进行多模态处理的趋势相结合。