OpenFrontier: General Navigation with Visual-Language Grounded Frontiers

OpenFrontier: General Navigation with Visual-Language Grounded Frontiers

Published: 2026-05-07 Updated: 2026-05-07 08:25 UTC

Citation

  • Authors: Esteban Padilla, Boyang Sun, Marc Pollefeys, Hermann Blum
  • Year: 2026
  • Venue: arXiv preprint，arXiv:2603.05377v1
  • Citekey: padilla2026openfrontier

1. 总结

OpenFrontier 将 ==open-world / language-conditioned navigation 表述为 sparse visual frontier subgoal selection==，用 FrontierNet 从单帧 posed RGB 中检测 frontier，再用 VLM 通过 set-of-marks 对 frontier 做语义打分，并在 HM3D、MP3D、OVON 上取得较强 zero-shot ObjNav 结果，同时展示了 Spot 真实机器人部署。

2. Problem Setting

2.1 Robot type:

仿真中是 Habitat navigation agent；真实实验是 Boston Dynamics Spot legged robot，不是地面轮式机器人。

2.2 Problem setting:

posed RGB observation；需要 camera pose 和 intrinsics；目标确认和 3D centroid 估计使用 depth + camera pose；真实系统中 RGB 来自机械臂末端相机，pose 来自 onboard visual-inertial odometry。是否使用双目相机：论文中未明确说明。

2.3 Input:

RGB image、camera extrinsic、camera intrinsic、natural-language navigation goal；部分实现中还使用 open-vocabulary segmentation、depth / monocular depth prior、可选 lightweight volumetric map 进行 frontier 过滤。

2.4 Output:

下一步 navigation goal pose / frontier goal；当检测并确认目标后输出 final target position 并导航接近目标。

2.5 Environment:

室内环境；仿真为 HM3D ObjNav、MP3D ObjNav、OVON；真实实验为大型室内环境。

2.6 Online or offline:

在线导航；高层 policy 不训练、不 fine-tune，使用 pretrained FrontierNet 和 VLM。

2.7 Simulation or real robot:

两者都有；主要定量评估在 Habitat 仿真，真实机器人只展示部署案例。

3. Map / memory representation

它的核心表示不是 dense 2D grid / dense 3D voxel / NeRF / 3DGS / world model，而是==sparse 3D goal-conditioned frontier set==。frontier 先在 2D image space 中检测和语义评估，再 back-project / lift 到 3D metric space，形成带 pose 和 information gain 的 frontier memory。论文明确强调不需要 dense 3D reconstruction 或 dense semantic map；但实现中可以维护一个可选 lightweight volumetric map，用于过滤不可达、不安全或已耗尽信息增益的 frontier。

4. Exploration / navigation policy

明它如何决定下一步去哪里：

  • frontier? 是。 核心候选目标就是 visual navigation frontiers。
  • next-best-view? 接近 NBV，但不是经典 ray-casting NBV；它选择 utility 最高的 frontier / viewpoint frontier。

    什么叫做经典ray-casting NBV?????

  • information gain? 是。FrontierNet 给每个 frontier 估计 exploration-driven information gain。
  • learned policy? 高层 policy 不是 RL policy；frontier detector 使用 ==pretrained FrontierNet==，语义排序使用 pretrained VLM，整体不训练。
  • graph search? 高层选择不是图搜索；低层可用==PointGoal policy ==或 map-based collision-free planner。真实部署 appendix 中出现 RRT* 配置，但主文对低层 planner 保持模块化。
  • world model lookahead? 否。论文中未明确使用 world model lookahead。
  • VLM / semantic prior? 是。==VLM 对每个 marked frontier 输出与语言目标相关的概率==，并用它重加权 information gain：semantic relevance × exploration gain。

==所以这篇论文是exploration还是object goal navigation???==

5. Key technical idea

  • Image-space frontier grounding
    它不从 dense 3D map 中提取 frontier，而是在单帧 RGB 图像中检测 visual frontier，再将其提升到 3D metric space。这样把 VLM 擅长的 2D 图像理解和机器人需要的 3D 可达目标连接起来。
  • Set-of-marks VLM frontier scoring
    每个 frontier cluster 在 RGB 图像中用 marker 标出来，VLM 一次性对多个候选 frontier 输出 goal relevance probability。最终 frontier utility 由 VLM 语义概率和 FrontierNet 的 information gain 相乘得到。
  • Sparse global frontier management
    系统维护 active frontier set、cleared set，并按 semantic-gain / distance 选择下一个目标。若 open-vocabulary segmentation 检测到目标，会插入一个高优先级 viewpoint frontier，并用 VLM 再次确认目标后终止。

6. Evaluation

  • Datasets / environments: HM3D ObjNav Val、MP3D ObjNav Val、OVON Val Unseen；真实部署在大型室内环境。
  • Baselines: History-Augmented VLM、OpenFMNav、InstructNav、BeliefMapNav、VLFM、DAgRL+OD、UniGoal、Uni-NaVid。
  • Metrics: Success Rate，SR；Success weighted by Path Length，SPL。
  • Real robot evidence: 有。Boston Dynamics Spot，在 ROS 中集成，使用机械臂末端 RGB 相机和 onboard VIO pose，展示了寻找 fire extinguisher 的真实室内任务。论文中未给出大规模真实机器人定量统计。
  • Main quantitative result: OpenFrontier 在 HM3D 上 SR/SPL = 77.3/35.6，在 MP3D 上 40.7/17.8，在 OVON 上 39.0/20.1；表中显示它不需要 dense semantic map，并在多个 benchmark 上接近或超过强 baseline。