像图一样说话：为大型语言模型编码图

发布于 2023年10月6日

作者：Bahare Fatemi, Jonathan Halcrow, Bryan Perozzi

arXiv:2310.04560 [ cs.LG ] github:google-research/talk-like-a-graph

摘要

图是表示和分析现实世界应用中复杂关系的强大工具，例如社交网络、推荐系统和计算金融。在图上进行推理对于推断复杂系统中实体之间的关系以及识别隐藏模式和趋势至关重要。尽管自然文本的自动化推理取得了显著进展，但使用大型语言模型 (LLM) 在图上进行推理仍然是一个未被充分研究的问题。在这项工作中，我们首次对将图结构数据编码为文本以供 LLM 使用进行了全面研究。我们发现 LLM 在图推理任务上的性能在三个基本层面上有所不同：(1) 图编码方法，(2) 图任务本身的性质，以及 (3) 有趣的是，所考虑图本身的结构。这些新颖的结果为将图编码为文本的策略提供了宝贵的见解。利用这些见解，我们展示了如何通过正确选择编码器，将 LLM 中图推理任务的性能提高 4.8% 到 61.8%，具体取决于任务。