2025.06.25 - #40 - 3D-GRUT, On-the-Fly-NVS, XFeat, VLMgineer, IMLE Policy

[changh95]

Interesting papers

3D-GRUT - Ray tracing and hybrid rasterization of Gaussian particles

• 3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes (SIGGRAPH 2024)
• 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting (CVPR 2025)
• https://github.com/nv-tlabs/3dgrut
• https://research.nvidia.com/labs/toronto-ai/3DGRT/
• https://research.nvidia.com/labs/toronto-ai/3DGUT/

[james-joobs]

On-the-Fly-NVS 세부 동작 리뷰

1. poses/ – 기하학 기반 프론트엔드

🧠 특징 검출 및 기술자 생성

• 파일: feature_detector.py – Detector
• TorchScript로 캐시된 XFeat CNN을 이용해 각 프레임에서 가장 강력한 N개의 키포인트와 128차원 기술자(descriptor)를 추출
• 각 키포인트에 대해 매칭 결과 및 이후 3D 위치 저장

---

[XFEAT] (https://github.com/verlab/accelerated_features)

🔍 매칭 및 이상치 제거

• 파일: matcher.py – Matcher
• 순수 PyTorch 기반 코사인 유사도 매칭기 구현, 상호 일치(mutual check) 수행
• 선택적으로 Fundamental Matrix 기반 RANSAC 적용
• 2D 좌표와 인덱스를 담은 경량 Matches 컨테이너 출력

---

📸 포즈 초기화

• 파일: pose_initializer.py

▪ 부트스트랩 단계 (처음 K개 키프레임)

• 누적된 프레임들 간 모든 조합 매칭
• 2D–2D 대응점 기반 Mini-번들 조정 (MiniBA) (uvs [N_pts, N_cam, 2] : 각 3-D 점이 각 카메라에서 보이는 2-D 좌표(안 보이면 –1)
• 초점거리, 3D 점들, K개의 카메라 포즈 동시 추정

▪ 점진적 단계 (K 이후)

• 기존 키프레임의 3D 포인트 수집
• PnP-RANSAC으로 초기 포즈 추정, 이후 MiniBA로 정밀 조정
• 초점거리 self.f 유지

---

🧮 삼각측량

• 파일: triangulator.py
• GPU 커널로 역투영 → 해석적 두-뷰 삼각측량 수행
• 시차(parallax)와 재투영 오류 기준으로 후보 선택
• DescribedKeypoints 객체의 pts3d, depth, confidence 필드 채움

---

2. scene/ – 신경망 및 Gaussian 기반 백엔드

🔁 밀집 단서 추출

• 파일: dense_extractor.py – DenseExtractor
  • XFeat trunk로 다운샘플 없이 밀집 특징 맵 추출
• 파일: mono_depth.py – MonoDepthEstimator
  • Depth-Anything-V2로 inverse-depth 맵 + 신뢰도 맵 생성
  • 단안 깊이를 삼각측량 깊이에 정렬

DepthAnything v2

---

🎞 키프레임 컨테이너

• 파일: keyframe.py – Keyframe
• 포함 요소:
  • RGB 피라미드, 밀집 특징, 단안 깊이
  • DescribedKeypoints
  • 최적화 가능한 매개변수 (6DoF pose, exposure, mono scale/offset)
• 주요 기능:
  • 이웃 키프레임 생기면 삼각측량 재수행 (update_3dpts)
  • sparse GT 정렬, 마스크/샘플링 유틸 제공

---

🌐 장면 표현 및 최적화

• 파일: scene_model.py – SceneModel
• 구성:
  • SH 색상, 크기, 방향, 불투명도의 3D Gaussian 리스트
  • anchor: Gaussian + 키프레임 묶음
• 오래된 anchor는 CPU로 이동

GaussianRasterizer

add_new_gaussians

• LoG 에너지가 높고 기존 Gaussian으로 설명 안되는 픽셀 선택
• 깊이 추정 → 월드 좌표로 변환 → Gaussian primitive 생성

optimization_loop / optimization_step

• differentiable rasterizer로 렌더링 → L1, SSIM, depth 잔차 계산
• 카메라/노출 매개변수, Gaussian 최적화
• 동기식(offline) 또는 비동기식(streaming) 지원
• place_anchor_if_needed로 anchor 병합 및 생성

---

3. webviewer/ – 원격 시각화 및 제어

• 파일: webviewer.py – WebViewer
• WebSocket 기반 경량 서버 제공
• 클라이언트 (webviewer/index.html):
  • 카메라 행렬 전송 → 뷰 조정
  • “snap-to-last” 모드 지원
  • SceneModel.render() 기반 가상 뷰 렌더링 → JPEG 인코딩 전송
  • 메타데이터 전송 (상태, 위치, 경계 등)
  • 학습 제어 (stop, running, finish 상태 변경 요청)

---

4. train.py – 전체 오케스트레이터

1️⃣ 초기 설정

• args.py에서 CLI 인자 로드
• ImageDataset 또는 StreamDataset 초기화
• 주요 모듈 초기화:
  • Detector, Matcher, PoseInitializer, Triangulator
  • DenseExtractor, MonoDepthEstimator, SceneModel
• 뷰어 스레드 실행: GaussianViewer or WebViewer

---

2️⃣ 프레임 루프

각 frameID에 대해:

1. RGB 획득 (dataset.getnext)
2. 키포인트 및 기술자 검출
3. 이전 키프레임과 매칭 → 이동량 측정
4. 키프레임 여부 판단 (평균 흐름, "test" 여부)
5. 키프레임일 경우:
   • 부트스트랩:
     • 누적 → PoseInitializer.initialize_bootstrap
     • Keyframe 생성 및 SceneModel 추가
     • 초기 Gaussian 생성 + 첫 최적화
   • 점진적:
     • 이전 키프레임 획득 → 포즈 초기화
     • SceneModel.add_new_gaussians() 호출
     • 최적화 수행 (offline or streaming)
     • 앵커 갱신, 재시작 체크, 로그/저장 등 수행
6. 키프레임이 아니고 학습 중단 상태일 경우 대기

---

3️⃣ 마지막 프레임 이후

• SceneModel 추론 모드 전환
• 모델 저장
• 필요 시 추가 미세 튜닝
• 뷰어 유지

---

🔁 스레드 / 디바이스 동기화

• 학습 스레드와 프레임 루프 병렬 실행
• optimize_async는 Gaussian tensor 수정 시 lock 사용
• 키프레임은 CPU/GPU 간 메모리 이동
• 뷰어는 읽기 전용 렌더링만 수행 → optimizer와 충돌 없음

[chae2chae]

• Unitree

VLMgineer: Vision Language Models as Robotic Toolsmiths

• Project Page
• Also Oral Spotlight✨ at [RSS Workshop on Robot Hardware-Aware Intelligence](https://rss-hardware-intelligence.github.io/), 2025

IMLE Policy:Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation

• https://imle-policy.github.io/