2025.07.16 - #42 - PRoPE, VGGT-Long, Pangu Ultra MoE, GPU/NPU Simulator, WorldVLA

[changh95]

Interesting papers

1. Cameras as Relative Positional Encoding (PRoPE)

• 이미지를 이용해서 3D 추론을 하려는 트랜스포머 네트워크가 많아짐. 이러한 아키텍처에서 카메라 정보를 어떻게 제공하는가에 대한 질문이 생김.
• LLM에서는 주로 1D position encoding 또는 RoPE (rotary position encoding)을 통해 토큰의 위치 정보를 제공하는데,
• 이를 변형해서 Relative pose(position) encoding 으로 변경함 (PRoPE)
• 결과적으로 Novel view synthesis와 Stereo depth estimation의 결과가 향상됨
• https://www.liruilong.cn/prope/
• https://github.com/liruilong940607/prope?tab=readme-ov-file

2. VGGT-Long: Chunk it, Loop it, Align it – Pushing VGGT’s Limits on Kilometer-scale Long RGB Sequences

• https://github.com/DengKaiCQ/VGGT-Long

[james-joobs]

GPU/NPU 시스템 시뮬레이터 소개 + Pangu Ultra MoE 논문 요약

🧠 Timeloop

• 목적: DNN 연산자 및 데이터 흐름을 하드웨어 수준에서 시뮬레이션
• 특징
  • MAC 단위로 연산, 메모리, 통신량 분석
  • 다양한 데이터플로우 (Weight Stationary, Output Stationary 등) 설정 가능
  • 텐서 연산 최적화 및 NPU 아키텍처 설계용으로 많이 활용
• 링크: https://github.com/NVlabs/timeloop

---

⚡ Accelergy

• 목적: Timeloop과 연동되는 에너지 소비 예측기
• 특징
  • 연산자, 메모리 접근, 버스 통신 등의 에너지 모델 입력 가능
  • 기술 노드(공정) 별 에너지 소비 모델링 가능
  • YAML 기반 구성 파일로 손쉽게 사용자 정의 가능
• 링크: https://github.com/NVlabs/accelergy

---

🔁 FlexFlow

• 목적: 다양한 병렬 전략(TP, PP, DP 등)의 성능/시간 예측
• 특징
  • Cost-based 시뮬레이터 (layer 별 연산/통신 분석)
  • Auto-parallelism 탐색 가능 (스케줄러 내장)
  • 실제 실행 없이 Throughput 예측 가능
• 논문: OSDI 2020

---

🚀 Megatron Profiler

• 목적: Megatron-LM 기반 LLM 학습 시 병렬 구성 별 성능 추정
• 특징
  • TP, PP, DP, EP 구성을 실제 적용 전 평가
  • GPU memory 사용량, 통신 시간, layer 시간 등 로그 수집
  • 모델 구조 변경 없이 실행만으로 시뮬레이션 추출 가능
• 링크: https://github.com/NVIDIA/Megatron-LM

---

🧪 PyTorch Profiler

• 목적: 실시간 연산자 단위 latency 및 메모리 프로파일링
• 특징
  • Flame Graph, 연산자 통계, 통신 시간 시각화
  • GPU kernel 별 시간 breakdown 제공
  • 학습 최적화 및 병목 원인 파악에 유용
• 링크: https://pytorch.org/blog/introducing-pytorch-profiler/

---

🧮 TVM Cost Model

• 목적: 연산 스케줄링 최적화를 위한 비용 모델 기반 시뮬레이션
• 특징
  • GEMM, conv 연산 등에 대해 latency 추정
  • 다양한 하드웨어 backend (CPU, GPU, NPU 등) 지원
  • AutoTVM, AutoScheduler 등과 함께 사용
• 링크: https://tvm.apache.org/

---

🧷 GEM5

• 목적: CPU/GPU 시스템 전체 아키텍처 시뮬레이터
• 특징
  • 실제 ISA 수준까지 시뮬레이션 (x86, ARM 등)
  • SoC 설계 시 동작 예측 가능
  • 컴파일된 코드 실행까지 가능한 low-level 시뮬레이터
• 링크: https://www.gem5.org/

---

📌 시뮬레이터 비교 요약

시뮬레이터	목적	주요 대상
Timeloop	연산/메모리/통신 구조 분석	NPU/DNN 가속기
Accelergy	에너지 소비 추정	Timeloop 보조
FlexFlow	병렬 전략 성능 예측	LLM, TP/PP 조합
Megatron Profiler	병렬 학습 성능 측정	GPU LLM
PyTorch Profiler	실시간 연산자 분석	학습 병목 분석
TVM Cost Model	연산 최적화 시뮬레이션	컴파일러/스케줄러
GEM5	전체 시스템 시뮬레이션	CPU/GPU/SoC

---

📘 Pangu Ultra MoE 요약

📝 Pangu Ultra: Scaling Mixture-of-Experts Language Models to 1.6 Trillion Parameters 논문 요약

• 목표: 1.6조 파라미터 MoE LLM을 효율적으로 학습 및 배포하는 시스템/모델 혁신 제안
• 핵심 기여
  • Dropless Routing: token drop 없이 expert 할당 → 성능 저하 방지, 정확도 향상
  • Hierarchical Expert Parallelism: intra-node All-to-All, inter-node AllGather로 통신 최적화
  • Adaptive Pipeline Overlap: FWD/BWD 단계 오버랩으로 MFU 극대화
  • Fine-grained Recomputation & Tensor Swapping: 메모리 병목 최소화, NPU 활용 극대화
  • Shared Expert 구조: 공통 expert 경로로 loss 감소 및 안정성 증가
• 시스템 최적화
  • Ascend NPU의 Cube Unit(16×16) 구조에 맞춘 hidden size(7680) 및 expert 수(256) 선택
  • TP/PP/EP/VPP 병렬 전략 조합으로 throughput 및 MFU 대폭 향상
• 성능
  • MFU 30%, TPS 1.46M 달성 (기존 대비 2.4배 이상 개선)
  • 1.6T 모델을 3072 Ascend NPU에서 효율적으로 학습/서빙
• 결론
  • 대규모 MoE LLM의 병렬화, 통신, 메모리, 라우팅 등 전방위 최적화로 실제 산업 적용 가능성 입증

✅ 시스템 구조 시뮬레이션 이해

질문	설명
TP, PP, EP, VPP는 왜 필요한가요?	각 병렬 전략은 연산, 속도, 메모리 제약을 해결하기 위해 필수
시뮬레이션에서 고려 요소는?	연산자 속도, 통신 비용, 메모리 사용량, 통신-계산 겹치기 등
All-to-All 대신 Hierarchical 통신을 쓰는 이유는?	inter-node 통신은 느려서 intra-node 우선 통신으로 최적화
MFU는 어떻게 향상됐나?	recompute, overlap, expert load balance로 병목 최소화

---

✅ 모델 구조와 시스템 효율 연결

질문	설명
왜 256개 expert인가?	512개는 marginal gain + 통신 부하 → 256개가 최적
Dropless 방식 장점은?	token drop이 성능 저하 유발 → dropless가 정확도 ↑
Shared expert는 왜 필요한가?	공통 경로 제공 → loss 감소 및 학습 안정성 증가
hidden size는 왜 7680?	16x16 tile 연산 최적화 → 256 배수 정렬이 효율적

---

✅ 구조별 요약

• TP: 연산 분할
• PP: Layer 분할
• EP: Expert 분산
• VPP: Virtual PP로 pipeline bubble 감소
• Hierarchical EP: Inter-node는 AllGather, Intra-node는 All-to-All
• Adaptive Pipe Overlap: FWD/BWD를 교차로 오버랩 수행

---

✅ MFU, TPS 지표 정리

지표	설명
MFU	실제 연산 활용률 (Model FLOPs / Peak FLOPs)
TPS	초당 처리 token 수

예시:

• Baseline: MFU 18.9%, TPS 0.61M
• Pangu Ultra MoE: MFU 30.0%, TPS 1.46M

---

✅ 메모리 최적화 전략 요약

• Fine-grained Recomputation: Layer가 아니라 op 단위 재계산
• Tensor Swapping: host로 activation을 넘겨서 NPU memory 확보

---

✅ Ascend vs GPU 구조 비교 요약

항목	GPU	Ascend NPU
연산 구조	Tensor Core	Cube Unit (16×16)
최적 shape	유연	256 배수 권장
병렬 전략	TP, PP	TP + PP + EP + VPP
통신 구조	NVLink 등	AscendLink + HCCS
메모리 전략	Layer recompute	Fine-grained recompute + Swap
프레임워크	CUDA, Megatron	MindSpeed, Megatron Fork

[chae2chae]

Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence

• https://www.arxiv.org/pdf/2506.12678

Learning Long-Context Diffusion Policies via Past-Token Prediction

• https://arxiv.org/pdf/2505.09561

WorldVLA: Towards Autoregressive Action World Model

• https://arxiv.org/pdf/2506.21539