2024.04.23 - #32 - EDGS, RoMa

[changh95]

[james-joobs]

EDGS: Eliminating Densification for Efficient Convergence of 3DGS

https://compvis.github.io/EDGS/

🔍 기존 3DGS의 한계점

3D Gaussian Splatting (3DGS)은 고품질의 3D 씬을 실시간으로 렌더링할 수 있는 강력한 방법이지만, 다음과 같은 구조적 한계가 존재:

• 점진적 밀도 증가 (Densification): 초기에는 희소한 SfM 기반 Gaussian들로 시작하여, photometric loss를 기반으로 복원되지 않은 영역을 찾아 Gaussian을 점차 추가하는 방식
• 최적화 경로 길이 증가: Gaussian의 위치, 색상, 크기 등이 반복적으로 조정되며, 최종 상태에 도달하기까지 매우 많은 iteration이 필요.
• 고주파 영역에서의 성능 저하: photometric gradient 기반으로 under-reconstructed 영역을 탐지하는 방식은 사람이 인식하는 세밀한 디테일을 잘 포착하지 못함.
• 효율성 문제: 계산적으로는 효율적이지만 반복적인 밀도 증가가 필요하므로 전체적으로는 느리고 리소스를 많이 소모.

🚀 EDGS의 핵심 전략: 밀도 증가 제거

EDGS(Eliminating Densification for 3DGS)는 기존 3DGS의 근본적인 병목인 점진적 densification 과정을 완전히 제거하는 새로운 초기화 방법 제안

📌 핵심 아이디어

- **Dense Correspondence 기반 초기화** EDGS는 COLMAP 같은 SfM에서 출발하지 않고, 학습 이미지 간의 **dense한 2D 매칭**을 통해 초기 Gaussian 위치를 **한 번에 3D로 삼각측량(triangulation)**

• 처음부터 고밀도로 Gaussian 배치
  모든 Gaussian은 학습 시작 시에 한 번에 생성되며, 위치, 색상, 스케일을 잘 추정된 값으로 초기화합니다. 추가 Gaussian이 필요 없어지므로, densification이 필요 없음.

• 빠르고 안정적인 수렴
  초기화만으로도 대부분의 구조를 이미 표현할 수 있기 때문에 photometric loss 최적화는 보정 수준의 작업으로 축소

🧠 기술적 세부 구현

• RoMa 등의 Dense Matching Network로 2D 키포인트 쌍을 추출
• 2개의 뷰에서 매칭된 2D 포인트들을 투영 행렬을 이용해 3D로 삼각측량
• 위치 외에도 색상은 매칭된 픽셀의 평균 색상으로, 크기는 카메라 거리 기반으로 초기화
• Gaussian shape(공분산)은 간단히 스케일 행렬과 회전 행렬로 초기화

📈 EDGS의 성능 향상

• 학습 속도: 기존 3DGS가 30K step에서 도달하던 품질을 단 3K step 만에 달성
• Gaussian 수: 동일한 품질에서 필요한 Gaussian 수를 최대 40% 절감
• 렌더링 품질: 특히 고주파 디테일(꽃, 돌멩이, 잔디 등)의 재현이 우수
• 수렴 경로의 단축: 위치 및 색상 최적화에서의 파라미터 이동량이 기존 대비 최대 50배 짧음

🔄 기존 방법과의 호환성

EDGS는 기존 최적화 엔진(예: Taming-3DGS, gsplat, 3DGS-LM 등)과 완전 호환됨
즉, 초기화 방식만 EDGS로 교체해도 전체적인 성능과 속도를 모두 개선할 수 있는 범용적인 강화 기법

[james-joobs]

RoMa 논문 리뷰: Robust Dense Feature Matching

https://parskatt.github.io/RoMa/

🧠 논문 개요

RoMa는 거친 스케일(Coarse)부터 세밀한 스케일(Fine)까지의 정밀한 매칭을 지원하는 Dense Feature Matching 모델로, 다양한 시점, 조명, 스케일, 텍스처 변화에 견디는 **고강건성(Dense Matching Resilience)**을 달성합니다.

RoMa는 특히 EDGS의 핵심 구성요소로서, 3DGS 초기화를 위한 정확하고 안정적인 Dense 2D Matching을 제공합니다.

---

🔍 기존 방식의 한계

• 기존 Dense Matching 기법(DKM, LoFTR 등)은 coarse-fine 병렬 학습 구조를 취하지만, 공용 백본을 사용할 경우 coarse와 fine feature 모두의 성능이 제한됩니다.
• coarse matching은 불확실성/멀티모달성(multi-modal)을 포착해야 하지만 기존에는 L2 loss 기반의 단순 회귀(regression)만 사용됨.
• fine stage 역시 L2 기반이며, 외란(outlier)에 취약함.
• 대부분 학습 백본을 직접 학습하거나 fine-tune해야 하며, 이는 오버피팅 및 generalization 문제를 유발.

---

🚀 RoMa의 주요 기여 (Contribution)

1. 🧊 Frozen Foundation Model 활용 (DINOv2)

• DINOv2 기반 coarse feature를 백본 동결(frozen) 상태로 사용하여 오버피팅 없이 일반화 성능 확보
• coarse feature는 강건하지만 로컬 위치 정확도가 낮음 → 이를 fine feature와 조합하여 극복

2. 🔬 전문화된 Fine Feature Encoder (VGG19)

• Coarse는 DINOv2, Fine은 별도의 ConvNet (VGG19)로 분리 구성
• 역할 분리를 통한 feature specialization이 성능 향상에 핵심적임을 실증

3. 🔄 Transformer 기반 Match Decoder

• 기존 ConvNet 대신 Transformer로 coarse stage의 match prediction 수행
• 직접 coordinate를 회귀하지 않고, classification anchor를 기반으로 확률 예측
• 이를 통해 coarse 매칭에서의 멀티모달 분포 표현 가능

4. 🧮 정교한 손실 함수 구성

• coarse: classification 기반 회귀(regression-by-classification) → 멀티모달 대응
• fine: Generalized Charbonnier Loss → outlier에 강건한 robust regression

---

🧱 구조 요약

┌──────────────┐     ┌──────────────┐     ┌──────────────┐
│  DINOv2      │     │  VGG19       │     │ Transformer  │
│ (coarse)     │ +→→ │ (fine)       │ +→→ │ MatchDecoder │
└──────────────┘     └──────────────┘     └──────────────┘