0. 布景简介

在东说念主工智能领域，大型谈话模子（LLMs）如 GPT 系列也曾在文本生成和理除名务中展现了宏大的材干。然则，当波及到空间推理任务时，LLMs 的发扬却显给力不从心。空间推理不仅要求模子领路复杂的空间研究，还需要联接地舆数据和语义信息，生成准确的回应。为了险峻这一瓶颈，盘考东说念主员推出了 Spatial Retrieval-Augmented Generation (Spatial-RAG)—— 一个翻新性的框架，旨在增强 LLMs 在空间推理任务中的材干。

1. 论文信息

标题：Spatial-RAG: Spatial Retrieval Augmented Generation for Real-World Spatial Reasoning Questions

机构：埃默里大学、德州大学奥斯汀分校

原文贯穿：https://arxiv.org/abs/2502.18470

2. 挑战与贬责决策

空间问答始终以来一直是一个基础领域，它包括各式空间问题，从识别最近的邻居到检测线与多边形的错乱。然则，传统的空间问答系统依赖于有意的空间查询谈话（比如 GeoSPARQL， Spatial SQL），这些谈话与东说念主类谈话大相径庭，使得宽泛用户难以使用。更重要的是，这些系统缺少从东说念主类文本的丰富崎岖文中推断复杂空间和语义研究的材干，规章了它们在实际宇宙问答场景中的适用性。

连年来，大型谈话模子（LLMs）的进展也曾在机器学习（ML）的很多领域带来了变革，很是是在领路和生成类东说念主文本方面。这一进展引发了东说念主们通过径直从 LLMs 中索取空间学问来弥合空间问答与当然谈话之间的差距。这些勤劳涵盖了庸俗的应用，包括地舆百科全书问答、地舆定位和自动高精度舆图生成等。尽管取得了这些进展，最近的盘考标明，LLMs 在空间推理方面发扬出显赫的局限性，以致在处理基本的空间任务时也碰到艰辛，举例地领路析和领路相对空间研究。这种差距在处理实际宇宙的空间推理任务时尤为明显，举例图 1 中所示的场景：

图 1. 实际宇宙中空间推理问题示例。欢快空间拘谨的区域以蓝色特出显现

挑战：空间与语义的双重需求

空间拘谨：图 1 用户的问题波及复杂的空间研究：“沿某条阶梯保举餐厅”。传统的空间数据库不错高效处理这些空间查询，但它们无法领路用户的语义需求：“要求肉食”。

语义领路：LLMs 擅长领路当然谈话中的语义信息，举例用户对餐厅类型、价钱或评分的偏好。然则，LLMs 缺少径直处理空间数据的材干，无法实行复杂的空间算计（举例，算计两个点之间的距离或判断一个点是否位于某个区域内）。

为了贬责这些挑战，增强 LLMs 的空间推理材干，该盘考将检索增强生成（RAG）膨胀到空间信息检索和推理，弥合结构化空间数据库与非结构化文本推理之间的差距。

RAG 在学问密集型任务（如问答）中也曾展示了其灵验性，通过检索特定领域的文档来增强 LLM 的反应。然则，现存的 RAG 系统主要专注于检索和生成文本本色，缺少空间推理任务所需的空间智能，尤其是波及领路和算计几何体（如点、多段线和多边形）之间复杂空间研究的任务。

如图 1 中的例子，回应问题需要 LLM 从用户的文本央求中索取并样式化问题为 “找到都集多段线的点”，并基于空间舆图（数据库）贬责该问题。然后，它还需要推断用户偏好，以遴荐空间和语义上更优的候选对象。因此，系统必须无缝集成结构化空间检索与非结构化文本推理，确保空间准确性和崎岖文领路。为了竣事这一目的，盘考东说念主员引入了空间检索增强生成（Spatial-RAG），这是一个新颖的框架，将文本交流的空间检索与空间感知的文本生成相联接。具体来说，为了识别空间关联的候选谜底，盘考东说念主员建议了一种新颖的空间搀杂检索模块，联接了寥落和密集检索器。为了对候选谜底进行排序并生成最终谜底，盘考东说念主员建议基于空间和语义合股排序计策的 Pareto 前沿检索着力来驱动生成器。该盘考孝敬回来如下：

通用的 Spatial-RAG 框架：Spatial-RAG 是第一个将 RAG 膨胀到空间问答的框架，冒昧处理庸俗的空间推理任务，如地舆保举、空间拘谨搜索和崎岖文旅途蓄意。无缝集成了空间数据库、LLMs 和基于检索的增强，使得冒昧在 LLMs 的熟识操作范式内灵验处理复杂的空间推理问题。

寥落 - 密集空间搀杂检索器：建议了一种搀杂检索机制，联接了寥落检索（基于 SQL 的结构化查询）和密集检索（基于 LLM 的语义匹配）。这种双重步伐确保检索着力在空间和语义上与用户查询一致，显赫提高了空间崎岖文中的检索准确性。

多目的交流的空间文本生成器：为了处理空间问答任务中的空间拘谨和文本推理，引入了一个多目的优化框架，动态均衡空间和语义关联性之间的衡量。这确保了生成的反应既几何准确又谈话连贯。

信得过宇宙评估：在从旅游网站汇聚的信得过宇宙数据集上评估了步伐，该数据集包含用户对不同空间实体的问题和指摘。在该数据集上的实验揭示了处理实际宇宙空间推理问题的材干。

通过这些创新，Spatial-RAG 显赫增强了 LLMs 的空间推理材干，弥合了结构化空间数据库与当然谈话问答之间的差距。

3. 步伐简介

图 2. Spatial-RAG 框架

3.1 抽象

关于一个空间推理问题 q， Spatial-RAG 将生成谜底 y， 样式上，该盘考界说：

其中包含三个待贬责的重要阶段：

构建空间候选集

：系统必须精准界说空间拘谨，然后检索欢快这些拘谨的空间对象。如图 2 sparse spatial retrieval（寥落空间检索）所示，通过将输入的当然谈话问题解析为空间 SQL 查询来竣事这少许，该查询将在空间数据库上实行，以高效地从数据库中检索关联的空间对象。此进程在第 4.2 节中详备泄露。

算计空间关联性

：为了在集成文本信息的同期灵验算计空间关联性，盘考东说念主员建议了一种搀杂空间检索决策。如图 2 所示，该步伐联接了来自数据库的寥落空间关联性分数和来自文本镶嵌的密集语义一样性分数。这使得系统冒昧字据输入问题的空间关联性对检索到的空间对象进行排序，详见第 4.3 节。

多目的优化生成：在给定空间和语义拘谨的情况下，盘考东说念主员建议了一个多目的优化问题来均衡这些身分。系统算计候选谜底的 Pareto 前沿，LLM 动态在这些贬责决策之间进行衡量，以生成最优反应。此材干在第 4.4 节中详备先容。

3.2 寥落空间检索

空间推理问题的谜底必须欢快特定的空间拘谨。空间候选集

由欢快一组空间拘谨

的整个可能谜底 y 构成。样式上，该盘考界说：

其中

默示编码空间条款的拘谨函数（举例，拓扑、场所或距离拘谨），

是与问题 q 关联的整个空间拘谨的聚集。举例，若是空间拘谨要求 y 与参考位置

的距离不进步 ϵ，则可能的拘谨函数为：

这种公式确保独一空间上灵验的谜底才会被包含在

中。

处理空间拘谨需要在空间数据库中实行界说细致的空间 SQL 查询。此进程波及识别适当的查询函数、参考空间对象、目的空间对象以及任何须要的数值参数。样式上，空间 SQL 查询不错默示为：

其中

是笃定对象之间研究的空间查询函数。

默示从问题中索取的参考对象聚集。

默示四肢潜在谜底的目的对象聚集。

是规章空间拘谨的数值参数。

鉴于这些拘谨的种种性和潜在的复杂性，大型谈话模子（LLMs）频繁难以径直从用户输入中构建完整且可实行的空间查询。为了弥合这一差距，盘考东说念主员缓缓构建空间查询，允许 LLM 系统地填充所需的组件。

步伐死守三个重要材干：

几何识别：从用户输入中识别并索取参考空间对象

和候选目的空间对象

，并索取它们的空间几何体。

查询函数遴荐：字据预期的空间研究（举例，包含、接近）笃定适当的空间函数

。

参数算计：分拨数值拘谨

以确保精准的空间过滤（举例，缓冲区半径）。

通过样式化这一结构化进程，盘考东说念主员增强了 LLM 生成准确且可实行的空间 SQL 查询的材干，从而提高了系统处理复杂空间推理问题的材干。

3.2.1 几何识别

在空间推理任务中，准确识别空间对象并索取其空间几何体关于将问题解析为空间查询至关重要。空间对象

频繁不错分为三种基本类型：点、多段线和多边形。样式上，盘考东说念主员界说这些类别如下：

点：

。此类别包括单个点和多点，默示面积可忽略的位置。举例，泊车标记、地址点和用户确刻下位置。在空间数据库中，这些实体频繁默示为 “点” 几何类型。

多段线：

。多段线（包括多段线组）默示宽度可忽略的线性一维对象。常见的例子包括街说念、河流、公交阶梯和电力线。在空间数据库中，这些几何体抽象为 “线串” 类型。

多边形：

。多边形（包括多边组）默示界说闭塞区域的二维对象。这些几何体关于形色区域（如东说念主口普查区、地块、县、社区和分戋戋域）至关重要。

空间查询的复杂性取决于所波及对象的类型。关于较浅薄的查询，举例 “从给定位置找到最近的公交站”，期货配资公司只需重心几何体，空间候选集为：

其中

默示点对象（举例，给定位置），

是距离阈值。关于更复杂的查询，举例 “我将从家沿着第 7 街和琼斯街步碾儿到大学校园；请保举一家我不错在步碾儿途中购买早餐的咖啡馆。”，必须磋议多种几何类型，空间候选集为：

其中

默示多段线对象（举例，阶梯），

默示多边形区域（举例，大学校园），B 是多段线周围的缓冲区，

是缓冲区大小。

通过以这种模式构建空间查询，盘考东说念主员确保了精准的几何默示，促进了宏大的空间推理和查询实行。

3.2.2 查询函数识别和参数算计

在识别了空间查询中波及的几何体之后，下一步是笃定处理各式几何交互所需的适当空间查询函数

。尽管几何体之间的交互不同，但它们不错通过距离函数

和谐处理，该函数算计两个几何实体

之间的最短距离。

样式上，给定参考几何体聚集

和目的几何体聚集

，空间候选集

不错界说为：

参数如搜索半径或缓冲区距离

由 LLM 自主笃定，频繁基于崎岖文领路（举例，算计的步碾儿距离或感趣味区域）。参数

不错默示为：

，其中 ϕ 是将查询 q 的崎岖文映射到适当数值的函数。

一朝几何体

函数

和参数

被笃定，系统将构建精准的空间查询 Qs。这确保了从空间数据库中进行精准检索，保握着力的准确性和关联性。通过应用这些数学公式，系统灵验地将空间推理任务转化为可实行的查询，促进了 LLM 框架内的宏大空间智能。

3.3 搀杂空间对象排序

空间关联性分数

由两个部分构成：一个来自空间数据库的寥落空间检索分数，另一个来自基于问题和候选对象空间形色之间的文本一样性的密集空间检索分数。样式上，盘考东说念主员界说：

其中

和

是规章每个分数孝敬的权重统共。

3.3.1 寥落空间关联性评分

寥落空间关联性径直从空间数据库中使用显式空间研究算计。分数由空间查询函数

笃定，该函数算计参考对象和目的对象之间的距离。样式上，盘考东说念主员界说：

其中

和

区别是参考和目的空间对象。

是测量空间数据库中接近度的距离函数。若是

与

相通，分拨一个好意思满的关联性分数 1。

这确保了区域内的对象具有最大的关联性，而区域外的对象跟着距离的增多，其分数缓缓衰减。

3.3.2 密集空间关联性评分

与寥落评分不同，密集空间关联性是从与空间对象关联的文本形色中推断出来的。盘考东说念主员应用 LLM 从用户查询中索取重要空间属性，并将其与候选对象的形色进行相比。

索取空间需求：给定用户查询 q 和一组空间对象

的文本形色

，盘考东说念主员通过基于着重力的掩码函数索取关联的空间本色：

其中

是空间特征的密集向量默示，

是将输入文本映射到空间关联文本的索取函数，

是文本编码器。

通过余弦一样性排序：关联性分数通过余弦一样性算计：

3.3.3 搀杂排序四肢广义模子

搀杂排序泛化了寥落和密集排序步伐：

仅寥落情况：若是

，简化为纯基于距离的排序。

仅密集情况：若是

，简化为纯基于语义的排序。

搀杂情况：若是两个权重都非零，搀杂排序受益于显式空间拘谨和隐式语义关联性，从而酿成更全面的排序机制。

这种公式确保搀杂排序通过捕捉空曲折近度和语义对都，优于任何单一转序步伐。

3.4 多目的生成

语义候选集

和语义关联性分数

基于密集向量一样性算计。在获取整个分数和候选集后，问题变为多目的优化问题，因为每个视角（空间和语义）都零丁孝敬。

3.4.1 Pareto 前沿算计

给定空间和语义关联性分数，目的是识别在空间和语义关联性之间竣事最好衡量的 Pareto 最优候选。一个候选 y 是 Pareto 最优的，若是莫得其他候选在空间和语义关联性上都优于它。样式上，Pareto 前沿

界说为：

且

， 至少有一个严格不等式}.

这确保了

中的每个候选都长短主管的，意味着莫得其他候选在空间和语义关联性上都严格优于它。

3.4.2 基于 LLM 的衡量决策

一朝笃定了 Pareto 前沿

，盘考东说念主员使用 LLM 字据用户查询的崎岖文动态均衡空间拘谨和语义偏好之间的衡量。具体来说，LLM 接考取户查询、寥落空间关联性分数和空间对象形色四肢输入：

基于崎岖文信息的动态加权函数

从输入中索取，调理空间与语义关联性的重要性，其中 h 是捕捉查询特定衡量的学习函数。

LLM 遴荐名次最高的候选

：

并生成当然谈话反应。

系统顺应不同的查询崎岖文，而不是使用固定的加权决策。通过将决策进程结构化为破碎材干（候选过滤 → Pareto 遴荐 → 衡量均衡 →反应生成），LLM 幸免了生成不行行或不对理的着力。这种结构化步伐最大规章地提高了准确性和可用性，确保系统的最终反应与用户的原始意图缜密一致。

4. 实验部分

盘考东说念主员在 纽约市 和 迈阿密 的旅游数据集上对 Spatial-RAG 进行了评估，展示了其在处理信得过宇宙空间推理问题上的显赫上风。

数据集与评估方针

数据集：使用了来自 TripAdvisor 的用户问题和指摘数据，涵盖纽约市的 9，470 个趣味点（POIs）和迈阿密的 2，640 个 POIs。

评估方针：

1. 委派率：评估步伐是否冒昧到手生见着力。

2. 空间稀运动过率：评估解析的空间查询是否正确。

3. 空间密集通过率：评估谜底是否欢快问题中的空间关联语义拘谨。

4. 语义通过率：评估谜底是否合乎问题中的语义拘谨。

对比步伐

为了评估 LLM（GPT-3.5-Turbo 和 GPT-4-Turbo）在此框架下的发扬，盘考团队对比了以下基线步伐：

Sort-by-distance（SD）：按照空间问题中的参考对象距离排序候选空间对象。

Text embedding（TE）：基于文本形色的镶嵌向量，算计目的对象与参考对象的向量距离，并遴荐最近的对象。

Spatial-text（ST）：基于用户问题的镶嵌向量算计与目的对象文本形色的一样度，并联接目的对象的距离得分进行加权乞降后决策。

Naive RAG：使用向量数据库存储整个空间对象形色，并基于向量一样性检索最关联的对象。

GeoLLM：对空间对象进行编码，并通过添加隔邻对象的空间信息丰富崎岖文。

实验着力

纽约（NYC）

Spatial-RAG（GPT-3.5-Turbo 和 GPT-4-Turbo）在委派率上与其他基线步伐存在一定差距，大致 86.1% 的问题被到手处理。

失败的 12.9% 的情况是由于 无法从空间数据库检索到任何空间对象（可能由于多边形识别失实或 SQL 查询指定区域内无关联对象）。

另 0.9% 的情况是 LLM 在从头排序（reranking）进程中未能正确陈列检索着力。

Spatial-RAG（GPT-4-Turbo）比 GPT-3.5-Turbo 在 Spatial Dense Pass Rate 上高 7%，在 Semantic Pass Rate 上也稍有上风。

SD 步伐由于仅基于距离复返最近的对象，其 Spatial Dense Pass Rate 较高，但其他方针发扬较差。

GeoLLM 步伐仅基于对象称号和距离，因此在 Spatial Dense Pass Rate 方面发扬尚可。

TE 和 ST 步伐磋议了语义信息，在 Semantic Pass Rate 方面发扬较优。

Naive RAG 和 ST 共同优化了空间密集检索和用户语义检索，因此两者在这两个方面发扬接近。

迈阿密（Miami）

Spatial-RAG 在迈阿密数据集上的发扬也较好。

基线步伐的发扬模式与纽约数据集基本一致，但由于迈阿密的数据量较小（QA 对数目仅为 133），模子发扬的踏实性可能受到影响。

消融实验

盘考东说念主员通过移除寥落空间模块、密集空间模块和密集语义模块进行了消融实验。

着力标明：

移除寥落空间模块后，委派率显赫提高，但空间得分着落。

移除密集语义模块后，空间密集通过率最高，但语义通过率显赫裁减。

案例盘考

图 3 和图 4 (b) 展示了一个典型的多段线搜索案例。Spatial-RAG 到手识别了用户意图，保举了整个线的餐厅，展示了其在复杂空间推理任务中的宏大材干。

图 3. Spatial-RAG 运转模式的示例：给定一个问题，1) 寥落空间检索：LLM 将当然谈话问题解析为空间数据库的空间 SQL 查询，检索欢快空间拘谨和寥落空间关联性分数的空间对象。2) 问题理会和密集检索：同期，Spatial-RAG 将问题理会为空间和语义组件，并将它们与空间对象的形色进行相比以实行密集检索，过滤掉不关联的本色。3) LLM 从头排序：谈话代理均衡空间和语义方面以从头排序候选并生成最终谜底。

图 4. (a) 查询 ϵ km 半径内的点 (b) 查询旅途周围的点 (c) 查询多边形内的点

5. 论断

Spatial-RAG 通过联接空间数据库和 LLM 的语义领路材干，显赫提高了空间推理任务的性能。实验标明，Spatial-RAG 在信得过宇宙数据集上发扬优异，冒昧灵验处理复杂的空间推理问题，为旅游保举、旅途蓄意等应用提供了宏大的接济。