2025.09.24 - #50 - MapAnything, GMT, Any2Track, Behavior foundation model, EchoScene, SG Aligner

[changh95]

Interesting papers

MapAnything

• map-anything.github.io

• https://github.com/facebookresearch/map-anything

• 이미지 / 이미지 + 캘 / 이미지 + 포즈 / 이미지 + 캘 + 포즈 / 이미지 + 뎁스 / 이미지 + 뎁스 + 캘 + 포즈 조합으로 3D 리컨 가능

• 어떻게 이것이 가능한가?
  • Multi-modal encoder + Multi-view transformer

• Optional한 정보가 더 있으면 정확해진다

• SOTA 성능

[blossominkyung]

GMT: General Motion Tracking for Humanoid Whole-Body Control

website: https://gmt-humanoid.github.io/

• Problem: human motion dataset으로 휴머노이드의 WBC를 학습하나, partial observability, hardware limitation, data distribution 불균형, model representation 부족 문제로 single unified policy로 다양한 motion을 리얼월드에서의 안정적 재현 어려움.
• Formulation: motion tracking을 GCRL로 접근해서 teacher-student policy를 통해 리얼월드에서 WBC를 안정적으로 재현.
• Proposed methods: two-stage framework로 privileged info 활용한 teacher policy를 PPO로 학습,
  BC 기반의 DAgger를 통해 리얼월드 배포가 가능한 student policy 훈련.
  • Teacher Policy: root_vel, keybody_pos 등 privileged info를 추가로 관측할 수 있는 teacher policy를 PPO로 학습.
    partial observability 문제를 우회하며 데이터 불균형과 모델 표현력 보완 위해 Adaptive Sampling과 Motion MoE를 적용.
  • Student Policy: 리얼월드 배포를 위해, teacher policy 모방하는 policy를 DAgger(BC기반 IL)로 학습.
    Proprioception과 target motion만 관측하고 teacher의 action을 최소화해서 훈련.

• human motion dataset(AMASS, LAFAN) 사용
• baseline comparison, ablation test, motion dataset inputs

• GMT를 MDM(motion diffusion model)에서 생성된 모션으로 테스트한 실험. 새로운 모션 생성모델과 결합되어 확장될 수 있는 듯.
• (단, 리얼월드 실험 없음)

Any2Track: Track Any Motions under Any Disturbances

website: https://zzk273.github.io/Any2Track/

• Problem: humanoid robot의 motion tracking이 다양한 동적/접촉이 많은 모션에서 일반화되지 못하고, 리얼월드에서 terrain, external forces, physical property change 등의 dynamic disturbance에 취약해 실용성 떨어짐.
  기존 연구들이 모션 다양성과 동적 적응성 동시 만족 못시킴.
• Formulation: 다양한 동적모션을 single policy로 tracking하면서 리얼월드의 disturbance에 강인한 Any2Track 프레임워크 제안.
• Proposed methods: dynamics adaptability를 기본 action execution 위헤 추가능력으로 재구성해서,
  two-stage RL framework(AnyTracker, AnyAdapter)로 sim-to-real gap과 disturbance를 극복.
  • AnyTracker는 canonicalized action space와 specialist-to-generalist 전략으로 복잡한 action space의 최적화 어려움 완화, 다양한 모션을 single policy로 tracking.
  • AnyAdapter는 history-informed adaptation으로 motion feature를 추출하고, adapter로 base policy를 조정해 dynamic disturbance에 적응.

• online dynamics adaptation을 제안한 다양한 방법들
  • 모두 asymmetric PPO로 훈련, critic은 생략되어 간소화된 형태로 표현
  • 기본 input 값은 proprioception & reference motion(target motion)

• online dynamics adaptation(terrain/external forces/property changes)에서 각각의 SR, MPJPE, MPJVE 테스트
• ablation test

• real-world test

Behavior Foundation Model for Humanoid Robots

website: https://bfm4humanoid.github.io/

• Problem: 기존의 WBC는 보행, 춤, 점프 등 태스크 별로 특화됨. 그래서 리워드 엔지니어링 어렵고, 태스크 간 일반화도 부족함.
  이러한 한계의 근본적 원인은 다양한 WBC 태스크에 대한 통합된 모델 부재.
• Formulation: WBC를 masked online distillation과 conditionalVAE 기반인 BFM을 통해 통합된 behavior 학습으로 전환.
• Proposed methods: GCRL 기반으로 behavior를 proprioceptive state와 action의 trajectory로 정의하고,
  ConditionalVAE를 사용한 생성모델 BFM 제안.
  • 대규모 행동 데이터셋에 pre-training된 생성모델로, humanoid robot이 재활용 가능한 behavioral knowledge를 갖도록 하는 것이 목적.

• VR teleoperation, motion tracking, behavior modulation on motion tracking 세가지 태스크에 초점을 맞춘 실험

• locomotion task에 대한 시뮬레이션 평가
• BFM의 multi-task generalization을 보여줌
• BFM이 속도 명령 기반 제어모드에서 효과적임

• BFM의 이론적 기반(latent space 구조)과 실용적 응용(조합, 변조, 등)을 종합적으로 보여줌
• (e) efficient behavior acquisition: BFM이 residual learning을 통해 새로운 행동을 얼마나 빠르고 효과적으로 학습하는지 보여줌.
  • novel behaviors without retraining from scratch를 직접 검증

[jy6757]

Scene Graph Generation

---

• 노드(Nodes): 사진 속의 개체(물체)들을 의미합니다. 예를 들어 'woman', 'horse' 등이 노드가 됩니다.
• 엣지(Edges): 노드들 간의 관계를 나타냅니다. 'woman'과 'horse'을 연결하는 'riding'이 엣지가 됩니다.
  →트리플렛(triplet) (woman, riding, horse) 형태로 표현

• 1단계: 객체 탐지 및 특징 추출(I→X):
  • 입력 이미지(I)에서 Faster R-CNN과 같은 모델을 사용하여 바운딩 박스(B)와 객체 특징(x)을 추출합니다.
• 2단계: 객체 분류(X→Z):
  • 추출된 객체 특징(x)을 기반으로 객체가 어떤 클래스(z)에 속하는지 분류합니다.
• 3단계: 관계 예측:
  • 이 단계는 다양한 정보를 활용하여 관계(ytilde)를 예측합니다.
  1. Z→Y_tlide
  • 객체 클래스(z): 객체의 클래스 정보만으로 관계를 예측합니다. 이때, 언어 프라이어(Language Prior)(예: '말(horse)'은 '타다(ride)'와 연관성이 높다)와 같은 사전 지식을 활용할 수 있습니다.
  • 객체 특징(x): 객체가 가진 시각적 특징(x)을 기반으로 관계를 예측합니다.
  1. X→Y_tlide
  • 실제 Object들이 가지고 있는 Feature(X)를 가지고 Predicate를 찾는것
  • 클래스만으로(z) 했던 것보단 많은 context를 뽑을 수 있음
  1. I→Y_tlide
  • 이미지 전체(I): 이미지 전체의 맥락을 고려하여 관계를 예측하기도 합니다.
  • ROI Align이라는 방법 사용
• 4단계 : Loss 계산

SG Aligner(https://arxiv.org/abs/2304.14880v1)

(a) 3D Scene Graphs 입력: 서로 다른 두 장면의 3D 씬 그래프 G1=(N1,R1), 𝐺2=(𝑁2,𝑅2)

     - 노드(객체): 각 객체는 자신의 포인트클라우드 𝑃𝑖, 속성 𝐴𝑖를 갖고,
     
     - 간선(관계): 객체 간 시맨틱 관계(예: standing on, attached to 등)가 저장되어 있음. 목표는 두 그래프에서 같은 물체에 해당하는 노드 쌍(엔티티 페어)을 찾아내는 것.

(b) Uni-modal Embeddings (단일 모달 임베딩)
씬 그래프가 가진 정보를 4가지 모달리티로 나눠, 각각 인코딩함

(c) Joint Embedding Space (공동 임베딩 공간)
위 네 임베딩을 가중 결합해 노드별 공동 벡터 𝜙를 만듦. 대조학습(contrastive) 과 지식증류(distillation) 로 같은 물체 노드끼리는 가깝게, 다른 물체는 멀어지게 공간을 학습

(d) Aligned 3D Scene Graphs → Registration
공동 임베딩에서 가까운 노드쌍을 매칭하여 정렬된 3D 씬 그래프를 얻음(같은 물체 간 1:1 대응).

이 객체-수준 대응(노드-노드 매칭) 을 이용해 포인트클라우드 정합의 초기값으로 쓰면, 겹치지 않는 장면 쌍을 빠르게 걸러내고, 부분 겹침(low overlap) 이나 점 수준 잡음에도 더 정확·견고하게 정합 가능함.

EchoScene(https://arxiv.org/abs/2405.00915)

단순히 그래프만 있는 게 아니라, 이걸 3D 장면으로 바꾸는 방법을 제안함.

두 가지 분리된 “가지(Branch)”를 둠:

1. Layout Branch: 가구의 위치와 크기를 정함 (어디에 두고, 얼마나 큰지)
2. Shape Branch: 가구의 모양을 정함 (소파는 둥글고, 책장은 네모)

이 두 가지를 합쳐서 최종적으로 “실제 공간 같은 3D 장면”을 만듦.

최종적으로 Scene Graph를 기반으로 3D 장면을 자동 생성 (예: “소파는 테이블 오른쪽, 의자는 테이블 앞” → 실제 3D 가구 배치 장면 생성)

• (A) Graph Preprocessing: Scene Graph를 입력으로 받아 관계를 벡터(수치)로 바꿈
• (B.1) Layout Branch: Diffusion 모델(잡음 제거 과정)을 통해 가구들의 위치·크기를 배치
• (B.2) Shape Branch: 각 가구의 구체적인 모양을 복원 (Shape Encoder/Decoder 활용)
• 최종적으로 → 장면 전체가 자동으로 렌더링 됨