2025.05.28 - #36 - VGGT-SLAM, ASHiTA, 3DGUT, CLAMP, XLeRobot

[changh95]

Interesting papers

VGGT-SLAM: Dense RGB SLAM Optimized on the SL(4) Manifold

• VGGT: https://vgg-t.github.io/
• incrementally and globally aligning submaps created from the feed-forward scene reconstruction approach VGGT
• VGGT에서 GPU mem 부족으로 리컨할 수 없던 것을 리컨 가능하게 만듬
• Uncalibrated 카메라로 reconstruction을 할 때에는 scale을 알 수 없는데, Special Linear Group of degree 4 (SL(4))를 사용하면 된다?

ASHiTA: Automatic Scene-grounded HIerarchical Task Analysis

• 로봇은 '진짜' high-level task를 풀 수 있는가?

Google I/O 2025

• XR Glasses! 삼성 (젠틀몬스터), XReal 협업

[jy6757]

3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting
https://research.nvidia.com/labs/toronto-ai/3DGUT/
https://developer.nvidia.com/blog/revolutionizing-neural-reconstruction-and-rendering-in-gsplat-with-3dgut/

기존 방식의 한계: 3DGS는 핀홀 카메라 모델에 기반하여, 어안 렌즈나 롤링 셔터와 같은 복잡한 카메라 왜곡을 정확히 처리하기 어려웠음
-기존 3DGS는 linearization에 의존하여 Gaussian의 평균과 공분산을 이미지 평면에 단순 선형 연산으로 투영함
-비선형 왜곡은 이 선형 투사 모델로는 표현할 수 없음 → 왜곡된 Gaussian shape의 투영 정확도 하락, artifacts 발생

3DGUT의 개선점: 기존의 EWA(Elliptical Weighted Average) 스플래팅을 Unscented Transform으로 대체하여, 다양한 카메라 왜곡을 정확하게 처리하면서도 렌더링 속도를 유지
-비선형 함수에 대한 통계적 추정 방법
-기존의 Taylor series 기반 선형 근사보다 정밀도가 높음
-Unscented Kalman Filter의 영향을 받아 Gaussian 분포의 몇 개의 샘플 시그마 포인트만 뽑아서 비선형 함수에 통과시키고, 평균/분산을 추정

→3DGUT는 gsplat의 유연하고 고성능 구조와 결합되어 복잡한 카메라 모델과 대규모 장면에 대한 신경 렌더링을 효율적이고 확장 가능하게 만들며, 연구와 산업 응용 모두를 가속화하는 강력한 기반을 제공함

Gaussian 분포 N(μ,Σ) 를 비선형 함수 v=g(x) 를 통해 투영할 때, 그 결과 분포 N(vμ,Σ′) 를 어떻게 근사할 것인가?

1. Monte Carlo Sampling (좌측)
   실제로 가장 정확한 방법 (Ground Truth)
   방식: Gaussian에서 다수의 샘플을 뽑아 비선형 함수 g(x)에 통과시킴 → 투영된 샘플들의 평균과 공분산 계산
   결과: 정확한 평균 μ, 정확한 공분산 Σ′
   단점: 매우 비용이 큼, 실제 응용에서 사용하기 어려움

2. Linearization (EWA 방식) (가운데)
   기존 Gaussian Splatting(3DGS)에서 사용된 방식
   방식: Gaussian의 평균 μ 만 함수 g(μ)에 통과시키고, 공분산은 Jacobian J를 이용해 선형 근사
   
   문제점:g(x)가 비선형이면 오차 발생, 특히 왜곡이 심한 카메라 모델(어안, 롤링셔터 등)에선 부정확한 ellipse로 왜곡됨

3. Unscented Transform (3DGUT 방식) (우측)
   개선된 방법, 3DGUT의 핵심
   방식: Gaussian의 분포를 대표하는 시그마 포인트(sigma points) 를 선택하여 각각을 g(x)에 통과시킴 → 변환된 포인트들의 평균과 공분산을 계산
   결과:평균 μ′UT와 공분산 Σ ′UT이 비선형 변환에 훨씬 정밀하게 대응, 계산량은 적으면서도 Monte Carlo보다 훨씬 효율적
   장점:비선형 카메라 모델에 대응 가능, Gaussian Splatting의 품질 향상

[chae2chae]

CLAMP: Crowdsourcing a LArge-scale in-the-wildhaptic dataset with an open-source devicefor Multimodal robot Perception

• https://emprise.cs.cornell.edu/clamp/

XLeRobot

• https://github.com/Vector-Wangel/XLeRobot

• https://github.com/Vector-Wangel/XLeRobot/blob/main/simulation/sim_guide.md

Pyroki

result-2025-05-28_09.51.32.mp4