2025.06.04 - #37 - E3D-Bench, On-the-fly-reconstruction 3D Gaussian Splatting

[changh95]

Interesting papers

E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models

• 16 가지 geometric foundation model 비교
• https://arxiv.org/pdf/2506.01933

Findings:

• Multi-view geometry inference 가 pair-view inference 보다 어렵다
• 곧바로 3D scene geometry 를 추정하는게, depth/pose를 먼저 구하고 추정하는거보다 어렵다
• Metric-scale depth estimation은 아직 풀어야할 문제다
• 다양한 geometric attribute (e.g. pose, depth, matching)을 joint estimation 하는게 성능 향상의 요인이 될 수 있다.
• 데이터가 많이 없는 도메인에서는 성능이 급격히 떨어진다
• 현재로서는 ViT vs Diffusion 중 어떤게 더 성능이 좋다고 단정하기 어렵다
• 성능이 좋은 2D foundation model을 먼저 사용하면 3D GFM도 성능이 좋아진다
• 현재로서는 GFM은 실시간 deployment는 어렵다

[james-joobs]

On-the-fly Reconstruction 기반 3D Gaussian Splatting 개선 분석

https://repo-sam.inria.fr/nerphys/on-the-fly-nvs/

📌 개요

본 문서는 기존 3D Gaussian Splatting (3DGS) 방식과 'On-the-fly Reconstruction for Large-Scale Novel View Synthesis from Unposed Images' 논문의 핵심 개선 사항을 비교 분석하고, 성능 향상의 원리와 절차, 실험 설계와 결과 평가를 포함한 전문 기술적 분석을 제공합니다.

참조 논문:

• 3D Gaussian Splatting for Real-Time Radiance Field Rendering
• On-the-fly Reconstruction for Large-Scale Novel View Synthesis from Unposed Images

---

🔍 기존 3DGS 요약

주요 특징

• Representation: 3차원 가우시안으로 scene geometry와 appearance 표현.
• Rendering: Splatted Gaussians를 화면 공간에 rasterization하고 alpha blending으로 최종 색상 추정.
• Optimization: SfM(COLMAP) 기반 sparse point cloud를 초기화로 사용하며, per-Gaussian color, opacity, shape 등을 joint optimization.

한계

• 초기화에 COLMAP 전처리 (camera pose, sparse point cloud)가 반드시 필요.
• 수 분 이상 소요되는 pipeline (사전 feature matching + SfM + point filtering 등).
• 대규모 scene 및 low-quality capture에 비효율적.

---

🚀 On-the-fly Reconstruction의 개선 핵심

혁신 요약

• 사전 camera pose 없이 unposed 이미지로부터 곧바로 scene optimization을 수행.
• Reconstruction과 Rendering을 동시에 수행하는 on-the-fly 방식 도입.
• Instant-NGP와 유사한 pipeline을 통해 progressive rendering quality 제공.

핵심 구성 요소

1. Unposed Initialization

• 수천 장의 RGB 이미지를 SfM 없이 사용.
• Gaussian parameter 초기화 없이 Neural Feature Grid 기반으로 coarse scene 학습.
• 이후 이를 가우시안 파라미터로 변환하여 fine rendering 수행.

2. Joint Optimization

• Pose refinement + Scene geometry + Photometric consistency를 통합적으로 학습.
• Time-dependent rendering loss (Multi-resolution rendering loss 포함).
• Feature distillation을 통해 early stage부터 빠른 convergence 유도.

3. Coarse-to-Fine Schedule

• 학습 초기에 넓은 범위로 분포된 coarse feature들을 사용.
• 이후 stage에서는 progressively refined sigma, position, rotation 등을 반영.
• 초기화 불안정성 완화 및 안정된 optimization 보장.

---

🧪 실험 및 평가

Dataset & 설정

• 데이터셋: Tanks & Temples, Mip-NeRF 360 등 다양한 실외/실내 large-scale dataset 사용.
• Metrics: PSNR / SSIM / LPIPS

비교 대상

방법	필요 입력	초기화 시간	재구성 품질
NeRF	포즈 필요	없음	중간
3DGS (기존)	포즈 + COLMAP	수 분	높음
OTF-Recon (본 논문)	이미지만 필요	실시간(on-the-fly)	매우 높음

결과 요약

• 기존 3DGS 대비 Initialization 시간 5배 이상 단축.
• COLMAP 없이 comparable or better quality.
• 특히 large-scale urban scene에서 robust하게 동작.

---

📷 시각적 자료 (웹 링크 기반)

다음 링크의 자료들은 논문 이해에 매우 도움이 됩니다:

• 시연 영상: YouTube 영상 링크 (via project page)
• 비교 이미지: Original vs OTF Recon vs COLMAP-GS의 뷰 렌더링 품질 차이

---

📈 결론 및 적용 가능성

• 즉각적인 scene reconstruction이 가능하므로 실시간 3D 재현 시스템에 매우 유용.
• 교통사고 현장 재현, 실외 로케이션 스캐닝, AR/VR 실시간 뷰 생성 등에서 응용 가능.
• COLMAP이나 SfM의 의존성을 제거한 state-of-the-art 방식.

---