2025.08.27 - #47 - Transformer-based SLAM, MineCraft ROS2 mod, Orin vs Thor benchmark, World Models in Autonomous Driving

[changh95]

Awesome-Transformer-based-SLAM

• https://github.com/KwanWaiPang/Awesome-Transformer-based-SLAM

Minecraft + ROS2 mod

• https://github.com/minecraft-ros2/minecraft_ros2

AGX Orin vs AGX Thor 벤치마크

• https://browser.geekbench.com/v6/cpu/compare/13432825?baseline=13492069

[SunandBean]

The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survery

Link

• https://arxiv.org/abs/2502.10498
• https://github.com/LMD0311/Awesome-World-Model

Contributions

• Driving World Model (DWM)에 대한 리뷰
• 현재 한계점 및 미래 연구 방향 제안

Pictures

graph TD
    subgraph "DWM의 핵심 기능"
        A["과거 장면<br>(Historical Scene)"] --> B{"자율주행 월드 모델<br>(Driving World Model)"};
        C["조건<br>(Condition)"] --> B;
        B --> D["미래 장면 예측<br>(Future Scene Prediction)"];
        B --> E["시스템 반응<br>(Response)"];
    end

    subgraph "DWM의 주요 분류 (예측 데이터 형태 기준)"
        F["2D 장면 진화<br>(Image-based)"]
        G["3D 장면 진화<br>(3D Data-based)"]
        H["장면-자유 패러다임<br>(Scene-free)"]
    end
    
    subgraph "3D 장면 진화 상세"
        G --> G1["Occupancy 예측"];
        G --> G2["Point Cloud 예측"];
    end

    subgraph "장면-자유 패러다임 상세"
        H --> H1["잠재 상태 예측<br>(Latent State)"];
        H --> H2["다중 에이전트 행동 예측<br>(Multi-agent Behavior)"];
    end

    subgraph "DWM의 주요 응용 분야"
        I["시뮬레이션"]
        J["데이터 생성"]
        K["예측 기반 주행"]
        L["4D 사전 훈련"]
    end

    B --> F;
    B --> G;
    B --> H;
    
    D --> I;
    D --> J;
    D --> K;
    D --> L;

    style B fill:#f9f,stroke:#333,stroke-width:2px

Loading

Summary

논문 도식화: 자율주행에서의 세계 모델(DWM) 역할 - 챕터 2 & 3

챕터 2: 주행 세계 모델 (Driving World Model, DWM)

DWM은 동적 운전 환경을 인지하고 이해하며 상호작용하기 위한 유망한 패러다임입니다. 미래 장면의 진화를 예측하는 데 중점을 둡니다.

2.1 2D 장면 진화 (2D Scene Evolution)

• 목표: 실제와 같은 2D 장면의 미래 진화를 예측하고 물리적 타당성을 보장합니다.
• 주요 기술: 오토회귀 트랜스포머, 확산(Diffusion) 모델 등 고급 생성 기술 활용.
• 핵심 고려사항:
  • 충실도 (Fidelity): 실제와 같은 시뮬레이션을 위한 물리적 타당성 보장.
    • 예: Vista [Gao et al., 2024a]는 고해상도, 고충실도 장면 생성.
  • 일관성 (Consistency):
    • 공간적 일관성: 객체의 합리적인 3D 위치, 공간 관계, 장면의 연속성.
      • 예: Drive-WM [Wang et al., 2024d], DrivePhysica [Yang et al., 2024d], WoVoGen [Lu et al., 2024], NeMo [Huang et al., 2024], GEM [Hassan et al., 2024], BEVWorld [Zhang et al., 2024c] 등이 3D 예측 및 다중 센서 데이터를 통합.
    • 시간적 일관성: 예측된 시퀀스 내 프레임 간의 일관된 전환.
      • 예: InfinityDrive [Guo et al., 2024]는 시공간 모델링 프레임워크와 메모리 메커니즘 통합. DrivingWorld [Hu et al., 2024]는 시간 인식 토큰화, 다음 상태 예측 등을 제안.
  • 제어 가능성 (Controllability): 특정 요구사항에 맞춰 미래 시나리오 생성.
    • 낮은 수준 조건 (Low-level conditions): 동작(ego-vehicle 정보), 궤적(좌표 또는 변위), 레이아웃(객체 배치).
    • 높은 수준 조건 (High-level conditions): 텍스트(명령 또는 설명), 목적지(차량 도착 위치).
    • 출력 반응: 주행 동작, 미래 궤적, 텍스트.
      • 예: GEM [Hassan et al., 2024]은 두 조건 유형의 균형 유지. DriveDreamer-2 [Zhao et al., 2024b]는 LLM을 활용하여 높은 수준의 텍스트 입력에서 다양한 낮은 수준 조건을 도출.

2.2 3D 장면 진화 (3D Scene Evolution)

• 목표: 3D 환경의 구조적 일관성, 상세한 기하학적 정보, 정확한 공간 관계를 보존.
• 주요 3D 데이터 유형:
  • 점유 (Occupancy) 장면 진화:
    • 장점: 기하학적으로 일관된 체적 모델링, 구조화된 공간 인코딩.
    • 접근 방식:
      • Transformer 기반: OccWorld [Zheng et al., 2024a], OccLLaMA [Wei et al., 2024], RenderWorld [Yan et al., 2024].
      • Diffusion 기반: OccSora [Wang et al., 2024a], DOME [Gu et al., 2024].
      • 효율성 개선: DFIT-OccWorld [Zhang et al., 2024a], GaussianWorld [Zuo et al., 2024].
    • 이미지로부터 재구성: Img2Occ 모듈 통합 또는 2D 입력에서 3D 세계의 시공간 진화 직접 추론.
      • 예: DriveWorld [Min et al., 2024], Drive-OccWorld [Yang et al., 2024b].
    • 포인트 클라우드로부터 의사 레이블 (Self-supervised): UnO [Agro et al., 2024], UniWorld [Min et al., 2023], NeMo [Huang et al., 2024].
  • 포인트 클라우드 (Point Cloud) 장면 진화:
    • 도전 과제: 희소하고 비구조적인 특성.
    • 접근 방식:
      • 직접 포인트 클라우드 생성: Copilot4D [Zhang et al., 2024b], LidarDM [Zyrianov et al., 2024].
      • 시각 포인트 클라우드 예측 (Visual Point Cloud Forecasting): 시각 이미지로 미래 포인트 클라우드 예측.
        • 예: ViDAR [Yang et al., 2024c], HERMES [Zhou et al., 2025].
  • 다중 센서 데이터 융합 (Multi-sensor Data Fusion): 2D 데이터의 고해상도 세부 정보와 3D 데이터의 정확한 공간 기하학 통합.
    • 예: MUVO [Bogdoll et al., 2023], BEVWorld [Zhang et al., 2024c], HoloDrive [Wu et al., 2024].

2.3 장면-프리 패러다임 (Scene-free Paradigms)

• 정의: 상세한 장면 없이 예측을 수행하며, 잠재 세계 상태 전환 또는 에이전트 중심의 모션 동역학 모델링에 중점을 둡니다.
• 유형:
  • 잠재 상태 (Latent State): 효율적인 표현, 의사 결정에 원활하게 통합, 다양한 운전 환경에서 일반화 향상.
    • 강화 학습 기반 플래너: Think2Drive [Li et al., 2024a], [Zeng et al., 2024], [Popov et al., 2024], [Wang et al., 2025].
    • 지도 학습: LatentDriver [Xiao et al., 2024], LAW [Li et al., 2024b].
  • 다중 에이전트 행동 (Multi-agent Behavior): 장면 내 모든 에이전트의 움직임 예측.
    • 예: TrafficBots [Zhang et al., 2023] (봇 에이전트의 행동 현실성), CarFormer [Hamdan and Güney, 2024] (객체 중심 슬롯 표현), AdaptiveDriver [Vasudevan et al., 2024] (주변 에이전트의 독특한 행동 패턴 예측).
• 결론: 장면-프리 패러다임은 효율성, 일반화 능력을 향상시키고, 상호작용을 포착하여 위험을 완화함으로써 자율주행 시스템의 다재다능함을 높입니다.

챕터 3: 응용 (Application)

DWM은 미래 시나리오의 진화를 예측하도록 훈련된 자기 지도(self-supervised), 데이터 기반 접근 방식이며, 시뮬레이터 및 데이터 생성기 역할을 하며 의사 결정 및 훈련 파이프라인을 향상시킵니다.

3.1 시뮬레이션 (Simulation)

• 목표: 기존 시뮬레이터의 한계(제한된 다양성, 시뮬레이션-실세계 격차)를 데이터 기반 생성 시뮬레이션으로 해결.
• 기능:
  • 다양한 입력 조건(동작, 캡션)에 따라 주행 프로세스 시뮬레이션.
  • 정교한 구조와 다양한 장면 세부 정보 생성.
• 핵심 요소: 신뢰할 수 있는 실세계 시뮬레이션을 위한 충실도, 일관성, 제어 가능성.
  • 예: Vista [Gao et al., 2024a] (고충실도, 제어 가능한 비디오 시뮬레이션), GEM [Hassan et al., 2024] (시뮬레이션 품질 향상, 객체 역학 정밀 제어), 3D 공간 시뮬레이션 [Zyrianov et al., 2024; Wang et al., 2024a; Gu et al., 2024].
  • 행동 충실도 평가: ACT-Bench [Arai et al., 2024].
  • 봇 에이전트의 행동 현실성: TrafficBots [Zhang et al., 2023].
• 강화 학습 (RL) 이점: 잠재 상태 공간에서의 롤아웃을 통해 효율적인 병렬 훈련 가능.
  • 예: Think2Drive [Li et al., 2024a], Imagine-2-Drive [Garg and Krishna, 2024].
• 결론: 시뮬레이션과 실세계 간의 격차를 해소하고, 시나리오의 다양성을 높이며, 병렬 상호작용을 가능하게 합니다.

3.2 데이터 생성 (Data Generation)

• 목표: 데이터 다양성과 충실도에 중점을 두어 광범위하고 포괄적인 시나리오 커버리지를 달성하고 실세계 데이터와의 격차를 완화.
• 기능: 동일한 주석을 사용하여 다양한 주행 비디오 생성, 데이터 주석의 다양성 향상.
• 효과: 합성 데이터로 데이터셋 증강에 효과적.
  • 예: DrivePhysica [Yang et al., 2024d] (무제한, 고충실도, 다양한 주행 비디오 합성), LidarDM [Zyrianov et al., 2024] (고품질 LiDAR 데이터 생성), HoloDrive [Wu et al., 2024] (정렬된 다중 모달 데이터 합성).
  • 새로운 궤적을 포함한 주행 비디오 합성으로 실세계 데이터셋의 불균형 완화 [Zhao et al., 2024a; Ni et al., 2024].
• 결론: 고품질 주행 데이터 확보를 위한 합성 기술의 잠재력을 보여주며, 자율주행 연구 발전을 지원.

3.3 예측 주행 (Anticipative Driving)

• 목표: 미래 상태의 정확한 예측을 통해 차량의 계획 능력 향상. 주변 에이전트와 환경 역학을 예측하여 다양한 행동의 결과를 사전에 탐색.
• 과정: 여러 잠재적 행동의 결과를 예측하고, 이를 평가하여 최종 행동 최적화.
  • 예: Drive-WM [Wang et al., 2024d] (DWM 예측과 보상 함수 통합), Drive-OccWorld [Yang et al., 2024b] (플래너에 BEV 임베딩 도입), ADriver-I [Jia et al., 2023] (LLM과 비디오 확산 모델을 결합하여 장기 계획 가능성 제시).
  • 예측과 계획을 통합한 모델: [Wei et al., 2024; Chen et al., 2024; Hu et al., 2024].
• 추가 고려사항: 예측을 미래 관측과 일치하도록 제약하는 것도 효과적 [Li et al., 2024b; Popov et al., 2024]. 예측된 상태와 미래 상태 간의 불일치를 사용하여 미세 조정 지침 제공 (AdaWM [Wang et al., 2025]).
• 결론: DWM은 의사 결정 및 최적화 프로세스에 적극적으로 참여하여 예측과 계획의 결합된 효과를 가능하게 합니다.

3.4 4D 사전 훈련 (4D Pre-training)

• 목표: DWM의 장면 진화 예측 목표는 자기 지도 학습 및 대규모 사전 훈련에 적합합니다. 레이블이 없는 대량의 다중 모달 데이터를 활용하여 4D 사전 훈련을 수행하고, 다양한 다운스트림 주행 작업의 성능을 향상시키며 주석 의존도를 줄입니다.
• 접근 방식:
  • 시각 중심 사전 훈련 (Vision-centric Pre-training): 다중 뷰 이미지 데이터에서 4D 장면 진화를 학습하여 공간 및 동적 인지를 포착.
    • 예: UniWorld [Min et al., 2023] (포인트 클라우드로부터 점유 의사 레이블 생성), ViDAR [Yang et al., 2024c] (시각 포인트 클라우드 예측), NeMo [Huang et al., 2024] (RGB 재구성 및 점유 예측 결합), DriveWorld [Min et al., 2024] (시간적 동역학과 정적 장면을 분리 처리).
  • 포인트 클라우드 중심 사전 훈련 (Point Cloud-centric Pre-training):
    • 예: UnO [Agro et al., 2024] (연속 4D 점유 필드 예측), AD-L-JEPA [Zhu et al., 2025] (마스킹된 임베딩 재구성), BEVWorld [Zhang et al., 2024c] (다중 센서 데이터에 대한 사전 훈련, 통합 BEV 표현).
• 결론: DWM은 자기 지도 학습을 통해 4D 사전 훈련을 수행하며, 시공간 동역학을 포착하고 주석 의존도를 줄이며 광범위한 작업에서 성능을 향상시킵니다.

---

DrivingGaussian++: Towards Realistic Reconstruction and Editable Simulation for Surrounding Dynamic Driving Scene

Links

• https://arxiv.org/abs/2508.20965
• https://xiong-creator.github.io/DrivingGaussian_plus.github.io/

Contributions

• Incremental Static 3D Gaussians (for background) + Composite Dynamic Gaussian Graphs (for multiple objects) 로 크고 동적인 주행 상황을 표현
• 추가적인 학습 없이 날씨 변경, 텍스쳐 변경, 객체 조작 (트라젝토리 예측까지)을 할 수 있는 프레임워크 제안

Pictures

[jy6757]

Robust Neural Rendering via Transient Object Removal

---

• Static: 카메라 뷰 간 일관되게 등장하는 구조물 (건물, 지형, 가구 등)
• Transient: 특정 뷰에만 나타나고 시점 간 일관성이 없는 객체 (사람, 차량, 그림자, 반짝임, 물체 움직임 등)

모든 픽셀/광선(ray)에 ‘얼마나 믿을 수 있는가(Uncertainty β)’ 점수를 매기는 것임.
β가 큼 = 불확실(= transient일 가능성 큼) → 학습에서 가중치 낮춤
β가 작음 = 신뢰 높음(= 배경일 가능성 큼) → 학습에서 가중치 높임
→네트워크에서 Static 요소만 집중적으로 학습되고, Transient 요소는 무시하게 됨

NeRF in the Wild(https://nerf-w.github.io/)

문제: 사람/차/깃발처럼 어떤 사진에만 있는 물체(=transient)와, 사진마다 다른 조명/톤 때문에 일관된 3D를 만들기 어렵다.

목표:

• 정적(static) 구조는 모든 사진에서 공유되게 학습
• 일시적(transient) 요소는 사진별 전용 가지에 모아서 분리
• 테스트 때 transient 층을 끄고 깨끗한 장면만 렌더

NeRF On-the-go(https://rwn17.github.io/nerf-on-the-go/)

아이디어: “신뢰도(=불확실성 β)”를 먼저 계산하고, 신뢰 높은(=정적) 것만 배움

SpotLessSplats(https://arxiv.org/abs/2406.20055)

아이디어: RGB 오차 대신 “의미(feature) 공간”으로 outlier를 찾자 → Masking 기법 사용