2024.10.01 - #9 - MASt3R-SfM, Hyperion, latentSplat, RL meets VO, Aria dataset, NVIDIA GPU overview part 2

[changh95]

Academic papers

MASt3R-SfM: a Fully-Integrated Solution for Unconstrained Structure-from-Motion

• 논문 링크
• 알고리즘 플로우

• 결과

• 200 장 사용시 성능 및 VRAM 요구치

 

Hyperion – A fast, versatile symbolic Gaussian Belief Propagation framework for Continuous-Time SLAM

• 논문 링크, 코드 링크

 

latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction 링크

• Few-shot으로 3DGS. 이 때, feature fusion을 수행. 이 feature를 기반으로 novel view를 더 예쁘게 생성 (Diffusion X)

 

Reinforcement learning meets visual odometry

• 논문 링크
• 강화학습 agent가 keyframe selection, grid size selection 등과 같은 휴리스틱 값들을 최적화

Aria Digital Twin dataset

• Dataset for ego-centric 3D reconstruction & object detection

AQNemGEBdwMT84zALZW6HL3GO6biaOMjGRnqXiQE6qGxG2wynOPlqfmlvmDRzT_ZAP4KddqSpF1yPJv6stdj_6bc.mp4

 

Hiring

• Embodied AI 박사인턴 @meta 링크

[james-joobs]

Nvidia 플랫폼 기능 소개 (2편)

분산 학습을 통한 학습 가속화

분산 학습 방식

• Data Parallelism: 동일 모델을 여러 GPU에 나눠 데이터를 병렬 처리하는 방식.
• Model Parallelism: 모델을 여러 GPU에 나눠 처리, 대규모 모델 학습에 사용.
• Tensor Parallelism: 모델의 특정 행렬 연산을 여러 GPU에 나누어 병렬 처리.
• Pipeline Parallelism: 모델의 레이어를 여러 GPU에 나누어 파이프라인 방식으로 처리, 각 GPU가 다른 레이어 연산 수행.
• Hybrid Model Parallel: Tensor Parallel과 Pipeline Parallel 결합을 통한 모델 학습 최적화 및 성능 극대화.

MPI (Message Passing Interface) & Collective Communication

MPI, 분산 학습에서 노드 간 데이터 교환을 효과적으로 관리하는 표준 인터페이스. 대규모 AI 모델 학습 지원을 위해 다양한 프로세스 간 메시지 전달 기능 제공.

Collective Communication, 여러 GPU 간 데이터 통합 및 공유를 위한 통신 방식. 데이터 병합, 브로드캐스팅 등의 기능을 통해 GPU 간 협업 효율성 극대화.

NCCL (Nvidia Collective Communication Library)

NCCL, Nvidia GPU 간 통신 최적화를 위한 라이브러리. 분산 학습 시 데이터 전송 병목 최소화 및 성능 극대화, 여러 GPU의 동시 통신을 통한 학습 속도 향상.

프로그램 병목 개선을 위한 GPU 프로파일링 활용

프로파일링 도구를 활용한 성능 병목 구간 분석 및 최적화.

• Optimize -> Analyze -> Parallelize 단계를 통한 성능 개선.
• Nsight Systems 및 NVTX Extension API 사용, GPU 작업 타임라인 분석 및 코드 내 병목 지점 정확한 분석.
• Multi-node Profiling Tools 활용, 여러 노드의 시스템 성능 파악 및 병목 구간 최적화.

Generative AI 학습 플랫폼 NeMo

NeMo, Nvidia의 Generative AI 플랫폼으로 대규모 언어 모델(LLM) 학습을 효율적으로 지원.

• Data Curation: 학습 데이터 준비 및 정제.
• Training: Tensor Parallel, Pipeline Parallel 등 분산 학습 기법을 통한 대규모 모델 학습.
• Customization: LoRA, RLHF 등 기법을 통한 모델 미세 조정 및 사용자 맞춤화.