2025.12.03 - #57 - MASt3R-Fusion, EGG-Fusion, AMB3R, LEGS, D-NeRF, DreamerV3, ENACT, GigaBrain-0

[changh95]

Interesting papers

MASt3R-Fusion

• MASt3R-SLAM + IMU + GNSS
• https://github.com/GREAT-WHU/MASt3R-Fusion?tab=readme-ov-file

EGG-Fusion

• https://zju3dv.github.io/eggfusion/
• We propose EGG-Fusion, a Gaussian surfel-based real-time 3D reconstruction system for high-quality scene modeling in real-world environments. We release the source code to facilitate research reproducibility and community advancement.
• We introduce an information-filter-based surfel fusion method that achieves stable, high-precision reconstruction by dynamically updating geometric information matrices, while significantly accelerating optimization convergence.
• Extensive experimental results demonstrate that the proposed method outperforms current GS-based SOTA methods in tracking accuracy, reconstruction quality, and rendering quality, while running in real-time at 24 FPS.

AMB3R

• https://hengyiwang.github.io/projects/amber
• MASt3R 기반의 frontend + Transformer 기반의 backend

Language Embedded Gaussian Splats (LEGS)

• 실시간 Language embedding 3DGS

[jy6757]

Neural Rendering + Dynamics

---

D-NeRF: Neural Radiance Fields for Dynamic Scenes(https://www.albertpumarola.com/research/D-NeRF/index.html)

Motivation

기존 NeRF는 정적인 장면만 가능하며, 장면 내의 사물이 시간이 흐르며 변형되거나 움직이는 경우를 처리할 수 없었음. 논문에서는 다음과 같이 동적 장면 문제를 지적
→시간에 따라 변화하는 세계를 표현할 수 있는 3D 표현의 필요성이 Motivation임
사물이 움직이고 변형될 때 같은 위치 (x,y,z)가 시간마다 다른 물체에 해당. 이를 표현하려면 시간 t 를 포함한 6D representation 이 필요

Goal

카메라 위치 뿐 아니라 시간까지 조절 가능한 novel view synthesis
장면의 3D 구조 + appearance + 시간적 변형(dynamics)을 동시에 표현하는 Neural Field을 학습하는 것

Method

Canonical Space + Deformation Field
D-NeRF는 두 개의 네트워크를 사용:

Canonical Network Ψx(x,d) → (c,σ) : 시간과 무관한 기준 3D 형태를 학습
Deformation Network Ψt(x,t) → ∆x : 특정 시간 t에서의 위치 변화량(장면의 변형)을 학습

시간 t의 변형을 canonical 공간으로 끌어와서 시간축을 통합된 전역 representation으로 만들고 시간 t의 관측은 deformation field로 흘려보내는 방식

DreamerV3: Mastering Diverse Domains through World Models(https://vitalab.github.io/article/2023/01/19/DreamerV3.html)

Motivation

로봇과 인공지능 에이전트는 다양한 환경(domain)에서 일관된 성능을 보여야 하지만, 기존 world model은 domain-specific하게 학습되어 일반화가 약하다.
→ 하나의 환경에서만 잘 작동하는 world model은 쓸모가 없다.
실제 로봇, 실제 자연환경, 다양한 작업(task), 다양한 물리 조건 등을 하나의 통합된 world model로 처리하고 싶다.

Goal

다양한 환경에서 다르게 관찰되는 관측을 단일 latent world model 상태로 통합하여, 동일 모델이 다양한 task와 domain에서 작동하도록 만든다.
다수의 환경 → 단일 world model representation

Method

1. observation encoder
   각 domain의 observation을 공통 latent state z_t로 인코딩
2. latent world dynamics
   latent 공간에서 transition 수행
   latent state가 있으면 다음 상태는 이 latent 안에서 예측 가능함: z_{t+1} = f(z_t, a_t)
3. consistent latent space alignment
   domain마다 observation은 다르지만 latent 공간에서는 같은 상태로 정렬되도록 유도하는 학습 전략

[chae2chae]

ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction

• VLM 이 단순히 이미지를 인식하는 것을 넘어서 Embodied cognition 능력이 있는지 물리세계의 행동결과를 이해하는 능력을 갖추었는지 평가하기 위한 벤치마크

-https://github.com/StanfordVL/BEHAVIOR-1K

GigaBrain-0: A World Model-Powered Vision-LanguageAction Mode

• https://gigaai.cc/
• https://github.com/open-gigaai

• Asset 생성:
  • EmbodiedGen (Wang et al., 2025) - https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html
  • ArtVIP (Jin et al., 2025) https://arxiv.org/pdf/2506.04941
• Human demonstration dataset: EgoDex (Hoque et al., 2025): https://arxiv.org/pdf/2505.11709 -> 상체 손에 대한 3D 주석