2025.02.26 - #25 - MASt3r-SLAM, CUT3R, PointMamba, Human demonstration data, 3D Gaussian Splatting overview

[changh95]

Spatial AI study

가짜연구소 Spatial AI 스터디원 모집

3월 4일부터 6월 중순까지 MIT Spark Lab의 Luca Carlone 교수님 랩실에서 나온 'Scene graph를 이용한 SLAM' 논문 리딩 스터디 같이 하실 분들을 모집합니다!

스터디 리더는 저고, 총 6명 추가 모집합니다.

다른 스터디들도 많이 있으니 많은 관심 부탁드려요!

가짜연 시즌 10 스터디 모집 정보: https://chanrankim.notion.site/d16a59aa6f3847a092f8d55b89279b0a
Spatial AI 스터디 정보: https://github.com/Pseudo-Lab/spatial-ai-study/
신청 링크: https://pseudo-lab.com/chanrankim/19c963ffa3ee81a2bcacebc7ef2c30d7

Tenstorrent 유저 찾습니다!

4월 3일 저와 함께 캘리포니아에서 진행되는 Tenstorrent 행사에 가서 'Tenstorrent NPU 개발기' 발표하실 분을 찾습니다!

• 요건: 텐스토렌트 NPU로 회사/개인 프로젝트를 진행해보신 분 (tt-metal, tt-mlir, tt-torch, tt-forge, tt-buda)
• 4월 3일 캘리포니아 행사 참석 가능
• 텐스토렌트 입사를 희망하시는 분이라면 더욱 좋습니다
• 항공기/숙소 지원

Interesting papers

• MASt3r-SLAM
  • https://github.com/rmurai0610/MASt3R-SLAM?tab=readme-ov-file
  • 코드 릴리즈!
  • https://x.com/eric_dexheimer/status/1894466829508034579
  • https://x.com/eric_dexheimer/status/1894466832762871818

• Continuous 3D Perception Model with Persistent State
  • https://arxiv.org/pdf/2501.12387
  • https://github.com/CUT3R/CUT3R
  • CUT3R (Continuously updating transformer for 3D reconstruction ㅋㅋ)
  • 동영상이 들어오면 metric-scale pointmaps (per-pixel 3D points)을 만듦

[chae2chae]

• 자료

Reference

• (2023) AnyTeleop: A General Vision-based Dexterous Robot Arm-Hand Teleoperation system
• (2022) Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
• (2024) ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation

[james-joobs]

3DGS Scratch 메모

1. 카메라 Pose 추정 방법

1.1 Camera calibration + Images + COLMAP

• 카메라 내부 파라미터(초점 거리, 왜곡 등)가 이미 알려진 상태에서 다중 뷰 이미지와 함께 COLMAP을 이용해,
• 카메라 pose(외부 파라미터)와 3D 포인트 클라우드를 추출한다.

1.2 Images only + COLMAP

• 별도의 Calibration 정보 없이, 이미지들 간 특징점을 매칭하여 카메라 pose와 3D 포인트 클라우드를 동시에 추정한다.
• COLMAP의 전형적인 SfM + MVS 파이프라인.

1.3 Depth images + Images + COLMAP

• Vanilla COLMAP에서는 깊이 영상을 직접 입력받는 기능이 제한적이지만, 플러그인 또는 추가 툴을 결합하면,
• 이미지를 기반으로 추정된 SfM 결과에 깊이 정보를 후처리(Depth Fusion)하여 더 정확한 3D 포인트 클라우드를 얻을 수 있다.
• 다만 이 방법은 환경에 따라 구현 세부 사항이 달라질 수 있음. (현재 Depth Anything v2로 시도 중)

1.4 Images only + NaverLabs Dust3r

• Dust3r 등 다른 MVS 파이프라인을 사용해, 여러 장의 이미지로부터 카메라 pose, 3D 포인트 클라우드, 심지어 depth map까지 추출할 수 있다. (상업적 사용은 사용 불가)

---

2. Gaussian Splatting 프로젝션 과정

2.1 3D 포인트 클라우드 입력

• COLMAP이나 Dust3r 등에서 획득한 3D 포인트들을 기반으로, 각 점을 가우시안 형태로 파라미터화(위치, 색, 공분산 등).

2.2 Differentiable Gaussian Rasterization(3DGS)로 2D 이미지로 투영

• 미분 가능 렌더러를 통해 3D 가우시안들을 카메라 뷰로 스플랫팅 → 2D 이미지를 생성.

2.3 Photometric Loss 계산 및 역전파(Backprop)

• 렌더된 2D 이미지와 원본(실제) 이미지 간의 포토매트릭 손실을 구해,
• 역전파를 통해 각 가우시안(혹은 뷰 의존 MLP가 있다면 그 MLP) 파라미터를 업데이트(위치·색·크기 등).

2.4 업데이트된 파라미터로 다시 추론

• 학습이 어느 정도 진행되면, 최종적으로 품질이 개선된 3D 가우시안 스플랫(포인트 클라우드 형태, .ply, .splat 파일)을 얻게 됨.

---

3. Rendering 방식

3.1 서버 사이드 렌더링

• 서버에서 CUDA 등으로 실시간 또는 오프라인으로 렌더링을 수행해 2D 이미지(또는 영상)를 스트리밍.
• 클라이언트는 단순히 수신한 이미지를 표시만 하므로, 클라이언트 성능이 낮아도 동작 가능.

3.2 클라이언트 사이드 렌더링

• 서버가 .ply 또는 .splat 파일 형태로 3D 데이터를 전송.
• 클라이언트(Unreal Engine, Three.js 등)가 이를 수신해, 로컬 그래픽 엔진(OpenGL/WebGL/DirectX 등)을 활용해 렌더링한다.
• 사용자는 인터랙티브하게 3D 모델을 돌려보거나, 수정 등의 조작이 가능.

---

4. 장단점 분석

4.1 카메라 Pose 추정 방식

Camera calibration + Images + COLMAP

• Pros
  • 이미 알려진 내부 파라미터(초점 거리, 왜곡 등)를 활용하므로, 카메라 모델 추정 과정이 간소화되고 정확도가 높아질 수 있음.
  • 왜곡이 적게 남아 포인트클라우드 및 Pose 추정 품질이 좋아질 가능성이 큼.
• Cons
  • 캘리브레이션 절차가 필요해 추가 장비(체커보드, 캘리브레이션 툴 등)와 추가 시간이 든다.
  • 잘못된 캘리브레이션 정보가 있으면 오히려 오류가 커질 수 있음.
• 트레이드오프: 높은 정확도 ↔ 세팅 복잡도 증가(보정 과정 필요)

Images only + COLMAP

• Pros
  • 이미지들만 있으면 되므로 추가 장비나 사전 보정 없이 간편하게 적용 가능.
  • COLMAP 커뮤니티 자료가 풍부하고, 전형적인 SfM + MVS 파이프라인이 안정적.
• Cons
  • 카메라 내부 파라미터를 동시에 추정하므로, 특정 장면 특성(반복 패턴/저텍스처) 등에 따라 부정확해질 수 있음.
  • 캘리브레이션된 경우보다 정확도가 상대적으로 낮을 수 있음.
• 트레이드오프: 손쉬운 접근 ↔ 일부 정확도 및 안정성 손실

Depth images + Images + COLMAP

• Pros
  • 추가적인 깊이 센서 데이터를 이용하면, 텍스처가 없는 부분도 포인트클라우드 품질이 향상되며 정확도 상승.
  • 노이즈가 적은 Depth 정보라면 컬매치(정합) 과정이 쉬워짐.
• Cons
  • 기본 COLMAP은 Depth 정보를 직접 활용하는 기능이 제한적 → 플러그인 혹은 커스텀 파이프라인 필요.
  • Depth 센서(예: LiDAR) 구비, 노이즈 처리 등의 하드웨어 의존이 생김. (요즘은 DepthAnything과 같은 모델로 활용 추세)
• 트레이드오프: 깊이 기반 향상 ↔ 특수 하드웨어/추가 구현 필요

4.2 Gaussian Splatting(학습) 과정

• Pros
  • 초기 SfM/MVS 포인트클라우드 대비 지오메트리 정확도 및 색 재현이 크게 향상됨.
  • 여러 시점의 사진을 동시에 맞추는 Photometric Loss를 통해 새로운 뷰에서도 일관성 높은 렌더링.
  • 일부 연구에서는 실시간 수준(학습 완료 후)에 가까운 빠른 렌더링 성능을 보이기도 함.
• Cons
  • Photometric Loss 기반 최적화(학습) 시간이 추가로 소요(수 분~수 시간)되고, GPU 등 자원 필요.
  • 가우시안 포인트 수가 매우 많아지면, 메모리 사용량이나 파일 크기가 커질 수 있음.
• 트레이드오프: 고품질/고해상도 장면 ↔ 학습 비용 증가(시간, 하드웨어 요구)

4.3 Rendering 방식

서버 사이드 렌더링

• Pros: 클라이언트 부담↓ ↔ 서버 비용·네트워크 지연↑

클라이언트 사이드 렌더링

• Pros: 실시간 상호작용성·오프라인 활용 ↔ 클라이언트 GPU 성능·데이터 보안 이슈

[eigen271828]

PointMamba.pdf

Pointcloud 데이터를 처리하는 Mamba architecture인 PointMamba입니다!