2025.10.15 - #51 - OKVIS2-X, Open-YOLO 3D, CoT-VLA, π0.5, RND1, SuperDec

[changh95]

Interesting papers

OKVIS2-X: Open Keyframe-based Visual-Inertial SLAM Configurable with Dense Depth or LiDAR, and GNSS

• https://youtu.be/K8oZvbI7I58?si=sT1NK6rYN982dSFW
• https://github.com/ethz-mrl/OKVIS2-X
• https://arxiv.org/pdf/2510.04612
• visual, inertial, measured or learned depth, LiDAR, GNSS를 마음대로 활용할 수 있는 SLAM 시스템
• Dense volumetric map을 이용한다는게 특징. 그럼에도 submap 구조를 잘 활용해서, 9km 까지 scale이 가능함.
• Camera extrinsic online calibration도 가능

Open-YOLO 3D: Towards Fast and Accurate Open-Vocabulary 3D Instance Segmentation

• https://github.com/aminebdj/OpenYOLO3D
• https://arxiv.org/pdf/2406.02548
• SAM 이나 CLIP을 매 프레임마다 추출해서 multi-view reconstruction을 통해 3D instance segmentation을 하는 모델들이 많았음. 굉장히 무거운 연산들이라 속도가 많이 느림.
• 2D object detection + 3D network 두개만으로 기존의 Sota보다 16배나 빠른 속도를 얻어낼 수 있음.

[chae2chae]

[CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models]

(https://arxiv.org/abs/2503.22020)

• Problem Formulation

  • 기존 VLA(Vision-Language-Action) model은 observation을 입력받아 바로 행동을 예측하는 구조를 사용함. 이러한 방식은 복잡한 조작 혹은 multi-step manipulation 에서 중간 추론 단계가 없어 효율적인 계획 수립이 어려움. + 대규모 unlabeled video 데이터를 사용하지 못해 시각적인 일반화 능력이 제한적임
    • CoT-VLA 는 이 문제를 해결하기 위해 시각적 추론 단계를 명시적으로 도입

• Proposed Method

  • CoT-VLA는 행동을 예측하기 전에 미래 subgoal image를 생성해서 이를 기반으로 행동을 결정하여 시각적 추론이 모델 내부에서 가능하도록 함.

• Training Method & Dataset

  • 모델은 Open-X-Embodiment(OXE) 로봇 데이터와 EPIC-KITCHENS, Something-Something V2 등의 unlabled video 데이터를 함께 사용해 사전학습(pretraining)됨. 백본(backbone)은 7B 규모의 VILA-U 모델이며, subgoal 이미지 예측 손실(L2 또는 perceptual loss)과 행동 예측 손실(cross-entropy 또는 regression loss)을 동시에 최적화하는 joint training 방식을 사용. 모델은 “다음 상태가 어떻게 생길 것인가”를 먼저 학습하고, 이어 “그 상태를 만들기 위한 행동”을 예측하도록 훈련됨.

• 홈페이지 (영상 1:20)

π0.5: a Vision-Language-Action Model with Open-World Generalization

• https://github.com/Physical-Intelligence/openpi
• https://github.com/huggingface/lerobot

• Problem Formulation

  • 실제 로봇이 학습에 사용되지 않은 가정 환경에서 길고 복잡한 조작 작업을 수행하도록 하는 것이 핵심 과제임. 기존 Vision-Language-Action(VLA) 모델은 제한된 데이터 분포에 과적합되는 경향이 있으며, 새로운 물체, 공간 배치, 언어 명령에 대한 일반화 능력이 부족함. 이러한 한계로 인해 로봇이 일상적인 환경에서 장기적이고 다단계의 조작을 수행하기 어려움.

• Proposed Method

  • π 0.5는 이미지, 언어 명령, 객체 위치, 그리고 고수준 subtask 정보를 하나의 통합된 시퀀스로 인코딩함. 모델은 입력으로부터 수행해야 할 subtask를 먼저 예측하고, 그 결과를 바탕으로 저수준 행동을 생성함. 저수준 행동은 flow matching 기반의 action expert 모듈을 통해 연속 제어 신호로 변환됨. 이를 통해 고수준 reasoning과 저수준 control을 분리하여 학습함으로써 복잡한 작업을 효율적으로 수행할 수 있도록 함.

• Training Method & Dataset

  • 280k 스텝 동안 모든 데이터를 FAST tokenizer를 이용해 이산화(discretization)하여 학습함. 이후 80k 스텝 동안 flow matching 기반의 연속형 action expert로 조정함. 이 과정에서 모바일 및 비모바일 로봇 데이터, 웹 기반 시각·언어 데이터, 그리고 고수준 subtask 라벨을 함께 사용함. 이러한 multi-source 결합 학습을 통해 모델은 시각적 맥락, 언어적 명령, 동작 패턴을 동시에 이해하고 표현할 수 있게 됨.

• Expereiment & Results

실험 종류	주요 태스크	성공률 / 결과	태스크 길이	논문 내 출처
1. Real-World Homes	• Drawer• Dishes•Laundry	60% ~ 100% (환경별 상이)• Home 2에서 빨래 90-100% 달성• Home 1, 3에서는 60~80% 수준	2-5분 (단일 태스크), 10-15분 (연속 수행)	• Figure 7: 각 집(Home 13)에서의 태스크별 성공률 그래프• Figure 1 (Caption): 1015분 소요 언급• Section V-B: 실험 상세 기술
2. Mock	• 위 3개 태스크+ Make Bed	~80% (평균 점수)• 104개 장소 데이터 사용 시 오라클과 유사• $\pi_0$ (기존) 대비 3배 이상 성능	-	• Figure 8: 훈련 장소 수(3 vs 104)에 따른 성능 비교• Figure 12: $\pi_{0.5}$와 $\pi_0$ 등 베이스라인 모델 성능 비교• Section V-C: Scaling 법칙 분석
3. Language & OOD	• OOD를지시대로 집어서 옮기기	~70% OOD 물체• 훈련된 물체(In-Dist)는 ~90%• 웹 데이터 제거 시 성능 급락	-	• Figure 9: In-Distribution vs OOD 물체 조작 성공률 비교• Figure 10: 웹 데이터(Web Data) 유무에 따른 성능 분석• Section V-C: 언어 조건 일반화 분석

[james-joobs]

🧠 RND1: AR에서 Diffusion으로

(https://www.radicalnumerics.ai/blog/rnd1)[https://www.radicalnumerics.ai/blog/rnd1]

HowAIWorks이 공개한 RND1은
현재까지 가장 큰 공개형 확산 언어모델(Diffusion Language Model, DLM) 이다.
기존 Qwen3-30BA3B라는 30B 파라미터의 AR(Autoregressive) 모델을
Mixture-of-Experts 구조로 변환해 확산 방식으로 재훈련했다.

---

🚀 핵심 아이디어: AR → Diffusion 전환

기존 AR 모델은 텍스트를 왼쪽에서 오른쪽으로 순차적으로 생성한다.
반면 RND1은 AR 모델을 확산 기반 모델로 바꿔,
병렬 생성이 가능하면서도 사전학습된 지식을 유지한다.

핵심 학습 전략 – Simple Continual Pretraining (SCP)

1. 강력한 AR 체크포인트에서 시작
2. causal mask → 양방향(bidirectional) mask로 변경
3. 확산 목표(diffusion objective)로 계속 학습

> Transformer 기반 확산 모델의 내부 구조 예시 (attention + MLP 흐름) > 노이즈 추가 → 복원 (denoising) 흐름 설명 이미지 > 마스크 방식 (causal mask vs 양방향 mask) 및 attention 구조 예시 > 확산 학습 과정 (마스킹 → 노이즈 → 복원) 개념 도식

🧩 지식 보존 전략

AR 모델을 Diffusion 구조로 바꾸면 “지식 소실(catastrophic forgetting)” 위험이 있다.
RND1은 계층별 학습률(layer-specific learning rate) 로 이를 완화했다.

• Attention 레이어: 높은 학습률 → 새 패턴에 빠르게 적응
• MLP/임베딩: 낮은 학습률 → 기존 지식 보존

⚙️ 대규모 배치의 중요성

확산 학습은 마스킹된 토큰만 학습 신호로 쓰이므로
손실 신호가 절반 이하로 줄어든다.
따라서 배치 크기를 크게 해야 안정적으로 학습이 가능하다.

실험 결과, 최대 8M 토큰 배치까지 성능이 꾸준히 개선됨을 확인했다.
즉, 확산형 모델은 병렬 학습에서 효율이 더 높다.

---

🧪 성능 결과

RND1은 기존 DLM들
(Dream-7B, LLaDA-8B 등) 보다 높은 성능을 기록했다.

• 추론·상식: MMLU, ARC-C, RACE, BBH
• 수학·논리: GSM8K
• 코드 생성: MBPP

즉, 확산 기반의 병렬성을 얻으면서도
AR 모델 수준의 성능을 유지한다.

[james-joobs]

SUPERDEC: 수퍼쿼드릭 기반 3D 씬 분해

입력 포인트클라우드 → 트랜스포머 디코더 → 수퍼쿼드릭 파라미터 + 세그멘테이션 행렬 → LM(Levenberg–Marquardt) 최적화
3D 씬을 해석 가능한 수퍼쿼드릭 집합으로 압축 표현

---

🎯 개요

SUPERDEC (3D Scene Decomposition with Superquadric Primitives) 은
복잡한 3D 씬을 소수의 수퍼쿼드릭(superquadric) 으로 분해해
압축적이고 해석 가능한 표현(compact & interpretable representation) 을 생성하는 방법이다.
ETH Zürich와 Stanford, Microsoft가 공동으로 연구했다

---

🧩 핵심 아이디어

• 목표: NeRF, Gaussian Splatting처럼 포토리얼리즘보다는
  “기하학적으로 정확하고 계산 효율적인” 표현을 지향
• 접근:
  1. 개별 객체 수준에서 포인트클라우드를
     11차원 수퍼쿼드릭 파라미터(3 scale + 2 shape + 6 pose) 로 분해
  2. Mask3D 같은 인스턴스 세그멘테이션 네트워크를 이용해
     이를 전체 씬 단위로 확장

---

⚙️ 아키텍처

• 입력: 임의의 객체의 포인트클라우드
• 디코더: 트랜스포머 기반 구조가
  • P개의 수퍼쿼드릭 파라미터
  • N×P 형태의 소프트 파트 할당 행렬을 예측
• 최적화:
  Levenberg–Marquardt(LM) 방식으로 파라미터를 미세 조정
  → 빠른 학습 + 높은 정확도 + 구조적 일관성 확보

---

📊 성능 요약

• ShapeNet: L2 오차 6배 감소, 프리미티브 수 절반 수준
• ScanNet++: 실제 물체에서도 L2 손실 30배 감소
• Replica: 학습된 객체 모델을 그대로 적용해도 전체 씬을 안정적으로 복원.

ShapeNet / ScanNet++ / Replica 세 데이터셋에서의 정량 결과.

---

🤖 응용

로보틱스

• Boston Dynamics Spot 로봇에 탑재하여
  iPad 스캔으로 얻은 포인트클라우드 기반 경로 계획 + grasp pose 계산 수행.
  로봇이 지정된 물체(예: 우유병)를 성공적으로 탐색 및 집어 올림
  → 수퍼쿼드릭 표현이 실제 물리 환경에서 제어 가능한 3D 기반으로 작동함을 입증.

Spot 로봇의 실제 그리핑 실험.

---

생성형 비전(Generative Vision)

• ControlNet 에 수퍼쿼드릭에서 렌더링한 깊이맵(depth map) 을 조건으로 제공.
• 결과:
  • 공간 제어(Spatial Control) → 물체 이동·삭제가 이미지 생성 결과에 반영
  • 의미 제어(Semantic Control) → “Pink living room”, “Modern living room” 등
    프롬프트 변화에 따라 스타일만 바뀌고 구조는 유지

---

🧠 의미

SUPERDEC은 “3D Gaussian Splatting의 반대축” 에 있다.
즉, ‘더 고해상도’가 아니라 ‘더 간결하고 이해 가능한 구조’를 목표로 한다.
결과적으로 AI 모델이 3D 공간을 논리적으로 이해하고 조작하는 단위 표현을 제시한다.

---

🔗 참고

• 논문: SUPERDEC: 3D Scene Decomposition with Superquadric Primitives
• 프로젝트 페이지: https://super-dec.github.io
• 주요 실험: ShapeNet, ScanNet++, Replica
• 공동 연구: ETH Zürich, Stanford, Microsoft