2025.03.05 - #26 - SfM survey, Embodied AI simulator survey, PINGS, ESAM, Hier-SLAM++, S-Graphs 2.0, Fast3r

[changh95]

Interesting papers

PINGS: Gaussian Splatting Meets Distance Fields within a Point-Based Implicit Neural Map

• https://github.com/PRBonn/PINGS
• LiDAR-visual SLAM system unifying distance fields and radiance fields within a neural point map

EmbodiedSAM: Online Segment Any 3D Thing in Real Time (ESAM)

• https://github.com/xuxw98/ESAM

Hier-SLAM++: Neuro-Symbolic Semantic SLAM with a Hierarchically Categorical Gaussian Splatting

• a novel and general hierarchical representation that encodes both semantic and geometric information in a compact form into 3D Gaussian Splatting, leveraging the capabilities of large language models (LLMs) as well as the 3D generative model

S-Graphs 2.0 - A Hierarchical-Semantic Optimization and Loop Closure for SLAM

• S-Graphs + semantic + floor-based hierarchical loop closure + floor/room-based hierarchical optimization

Graph-Guided Scene Reconstruction from Images with 3D Gaussian Splatting

• Select image pairs -> camera pose + matching -> octree initialization -> camera graph -> GS optimization

LiDAR Registration with Visual Foundation Models

• Wolfram Burgard, Davide Scaramuzza
• DINOv2 features -> point descriptors

Compression in 3D Gaussian Splatting: A Survey of Methods, Trends, and Future Directions

Fast3R: 3D reconstruction of 1000+ images in a single forward pass

• Fast3R achieves 251 FPS at its peak. 🔥 Try the demo with your images or video!
• Fast3R ❤️LLM. Under the hood, Fast3R leverages:
  ⚡️ FlashAttention 2.0
  🚀 DeepSpeed ZeRO-2
  🔄 Positional Embedding Interpolation
  ⚙️ Tensor Parallelism

[james-joobs]

Structure-from-Motion 및 관련 라이브러리/논문 간단 리뷰

1. Hierarchical Localization (hloc)

• 링크: https://github.com/cvg/Hierarchical-Localization
• 개요: 다양한 로컬 및 글로벌 특징 추출 알고리즘을 통합해 큰 규모의 이미지에 대해 robust한 카메라 포즈 추정을 가능하게 해주는 파이프라인.
• 특징: 기존 SIFT 기반의 하향식 접근과 SuperPoint, SuperGlue 등 학습 기반 특징점 매칭 기법을 간단히 연동해 효율적이고 강인한 매칭을 수행.

---

2. PixSfM (Pixel-Perfect Structure-from-Motion)

• 링크: https://github.com/cvg/pixel-perfect-sfm
• 개요: SOTA 특징 추출 및 매칭 모델을 적용해, 매우 정확한 픽셀 레벨 정합을 추구하는 SfM 파이프라인.
• 특징: 최적화 프로세스에서 픽셀 정확도로 Feature Align을 수행해, 복잡한 장면에서도 높은 정확도의 3D 모델 복원 가능.

---

3. GLOMAP (Global Structure-from-Motion Revisited)

• 링크: https://lpanaf.github.io/eccv24_glomap/
• 개요: Global SfM 접근 방식을 재조명하며, 기존 국소적(Incremental) 접근 대비 전체를 한 번에 처리해 속도 및 효율을 높이려는 연구.
• 특징: 카메라 포즈와 3D 포인트를 전역적으로 추정해 오류 전파를 억제하고, 빠른 연산을 달성하고자 하는 시도가 핵심.

---

4. AliceVision (Meshroom)

• 링크: https://github.com/alicevision/Meshroom
• 개요: AliceVision의 그래픽 인터페이스 기반 도구로, 3D 재구성을 직관적으로 수행할 수 있는 오픈소스.
• 특징: 노드 그래프 형식 UI로, 촬영한 이미지를 자동으로 처리해 Structure-from-Motion부터 텍스처링까지 전 과정을 손쉽게 진행 가능.

---

5. Point Cloud Library (PCL)

• 링크: https://github.com/PointCloudLibrary/pcl
• 개요: 2D/3D 이미지 및 포인트클라우드 처리에 특화된 범용 C++ 라이브러리.
• 특징: 필터링, 정합(Registration), 분할(Segmentation), 특징 추출 등 포인트클라우드 관련된 거의 모든 기능을 포괄.

---

6. Spectacular AI SDK examples

• 링크: https://github.com/SpectacularAI/sdk-examples
• 개요: Visual SLAM, Depth Estimation 등에 특화된 Spectacular AI의 SDK 사용 예시들이 모여 있는 저장소.
• 특징: 임베디드 환경이나 AR/VR 시나리오에서 간단히 적용 가능한 Visual-Inertial SLAM 등을 데모 프로젝트 형태로 제공.

---

7. DINO-X

• 링크: https://github.com/IDEA-Research/DINO-X-API
• 개요: 디노(DINO) 기반의 확장판으로, Transformers 기반의 시각 표현 학습을 강화하는 최신 연구 프로젝트.
• 특징: 자기 지도 학습(Self-Supervised Learning)으로, 더 풍부한 시각 피처를 추출해 객체 인식, 분류 등의 다운스트림 작업 성능을 향상.

388742747-7209d885-7401-4f9e-9ed1-899eb4bd12b1.mp4

---

8. SPA: 3D SPatial-Awareness Enables Effective Embodied Representation

• 링크: https://github.com/HaoyiZhu/SPA
• 개요: Embodied AI 관점에서 3D 공간 정보를 잘 학습해 로봇이나 에이전트가 보다 효과적으로 동작하도록 하는 연구.
• 특징: 시각·공간 정보를 통합적으로 고려해 Scene Understanding, Navigation, 로봇 제어 등 다양한 응용 영역에 활용 가능.

---

9. Nvidia : Accelerating Reality Capture Workflows with AI and NVIDIA RTX GPUs

• 링크: https://developer.nvidia.com/blog/accelerating-reality-capture-workflows-with-ai-and-nvidia-rtx-gpus/

[james-joobs]

C++ 기반 약간 고전 소스

1. CGAL : https://www.cgal.org

2. VCG : http://vcglib.net/index.html

[ysl236]

https://www.notion.so/Embodied-AI-Simulators-1ad77aa4c80d80e09b8ff547f799efb0

Simulators

1. Robotics 실험은 비싸다 ⇒ 실제 세계를 모방할 수 있는 물리엔진을 가진 시뮬레이터 이용
2. 궁극적인 목적은 가상 세계에서 학습한 결과를 실제 세계의 application에 적용하는 것이다.

General Simulator

🔹 Isaac Sim(NVIDIA, 2023)

• High-fidelity 물리 시뮬레이션(Pixar의 USD: Universal Scene Description format을 도입) → 로봇 및 복잡한 장면을 효율적으로 기술.
• Real-time Ray tracing
• 광범위한 Pre-built robotics model library + User-defined models → Robotic navigation and Control
• ROS지원
• Deep Learning 지원

Robotic navigation, Control, Autonomous driving, Industrial Automation, Human-Robot interaction

🔹 Gazebo (2004)

• Open-Source → Robotics Research & Education
• ROS와 지원
• LiDAR, sonar 등의 센서 지원, Pre-built robot model and environment & custom model 지원

단점:

• Physical Simulation이 약하다.
• Deep Learning 지원이 미흡하다.

---

강화학습용 Simulator

🔹 Issac Gym (2019)

🔹 PyBullet (2017)

• PyBullet은 Bullet 물리 엔진의 Python 인터페이스
• 쉬운 사용성, 실시간 물리적 시뮬레이션, 다양한 센서 시뮬레이션
• 딥러닝 지원.
• 강체 역학 시뮬레이션, 충돌 감지, 제약 조건 해결을 포함한 실시간 물리 시뮬레이션 지원
• Robotics + RL

-alt="image.png">

---

Real-Scene based Simulator

• Household activities(In indoor environments)
• deeply understand human daily life
• build scenes using 3D game engines like UE5 and Unity

🔹 TDW (ThreeDWorld, 2021, MIT)

• latest embodied AI simulators
• High-Fidelity 비디오 및 오디오 렌더링, 현실적인 물리 효과 제공.
• rigid bodies, soft bodies, fabrics, fluid와 같은 다양한 물질들로 physical interaction ← Provides situational sounds
• 다중 에이전트 시뮬레이션 및 사용자 지정 가능.
• Indoor + Outdoor 모두 사용 가능

---

🔹 AI2-THOR (2017, Allen Institute for AI)

• Unity3D 기반의 고품질 시뮬레이터로, 실제 환경과 유사한 높은 상호작용성을 제공.
• iTHOR(120개의 가상 방, 2000개 이상의 상호작용 가능한 객체)과 RoboTHOR(현실 세계와 일치하는 89개의 아파트 + 600개의 객체)로 구성.
• 다중 에이전트 시뮬레이션 가능.
• 문을 열거나 닫거나, 물체의 온도를 조절하는 등의 물리적 속성 시뮬레이션 제공.
• 100편 이상의 연구 논문에서 사용됨.

---

🔹 Matterport3D (2018, R2R 프로젝트)

• 대규모 2D-3D 비주얼 데이터셋으로, 직접적인 상호작용보다는 데이터 기반 연구에 활용됨.
• 90개의 실내 공간, 10,800개 파노라마 이미지, 194,400개 RGB-D 이미지 포함.
• 3D 표면 복원, 카메라 자세 정보, 2D 및 3D 의미론적 세분화 데이터 제공.
• Embodied AI(자율 로봇 탐색) 연구에서 중요한 벤치마크 역할 수행.

---

🔹 VirtualHome (2018, Puig et al.)

• 환경을 그래프(노드-엣지 구조)로 표현하여 새로운 방식의 환경 이해를 제공.
• 각 객체의 상태 및 관계를 그래프로 표현하고, 사용자가 직접 수정 가능.
• 6개의 휴머노이드 에이전트 제공, RGB-D 및 의미 정보 획득 가능.
• '행동 + 객체' 형식의 간단한 API 제공, 계획 및 명령어 분해 연구에 적합.

🔹 Habitat (2019, Meta AI)

---

alt="image.png">

• Bullet physics engine
• 대규모 인간-로봇 상호작용 연구를 위한 오픈소스 시뮬레이터.
• Habitat-sim (물리 시뮬레이션), Habitat-lab (강화학습 프레임워크), Habitat-challenge (벤치마크 대회)로 구성.
• 연구자가 직접 3D 씬을 생성 및 커스터마이징 가능.
• 다양한 customizable 센서 및 멀티 에이전트 시뮬레이션 지원.
• 주로 로봇의 내비게이션 연구에 사용됨(상호작용 기능은 제한적).

---

🔹 SAPIEN (2020, PhysX 엔진 기반)

• 객체 상호작용에 특화된 시뮬레이터.
• implement joint control based on force and torque through the ROS interface
• 물리 엔진을 활용한 정밀한 힘/토크 기반 조인트 컨트롤 가능.
• 문, 서랍 등 관절이 있는 객체의 실제 물리적 상호작용 구현.
• 로봇의 정밀한 조작 훈련(물체 조작 연구)에 적합.

🔹 iGibson (2021, Stanford)

---

• Open-Source simulator launched by Li tean at Stanford in 2021
• Bullet 물리 엔진 기반, 15개의 고품질 실내 환경 제공.
• Kinematic Properties of objects(posture, speed, acceleration, joint configuration of articulated objects)
• temperature, humidity, cleanliness, switch status
• Gibson, Matterport3D 등의 외부 데이터셋과 연동 가능, 10,000개 이상의 씬 지원.
• LiDAR(3D 포인트 클라우드) 센서 지원, 장기적이고 복잡한 로봇 작업에 적합.

---

---

🔹 비교 요약 (표)

각 시뮬레이터의 특징 비교:

플랫폼	출시 연도	Num of Scenes	Continuous Action	3D Scene Scan	Sensors	물리 엔진	Multi-Agent	Object State	3D asset
AI2-THOR	2017	120	✅	❌	RGB-D, S	✅	✅	✅	✅
Matterport3D	2018	90	❌	✅	RGB-D, S	❌	❌	❌	❌
Habitat	2019	1000+	✅	✅	RGB-D, S	✅	✅	❌	✅
VirtualHome	2018	50	❌	❌	RGB-D, S	✅	✅	✅	✅
SAPIEN	2020	46	✅	❌	RGB-D, S	✅	❌	✅	✅
iGibson	2021	15	✅	✅	RGB-D, S, L	✅	❌	✅	✅
TDW	2021	-	✅	✅	RGB-D, S, A	✅	✅	✅	✅