LaWAM

lawam은 동적 인식 로봇 정책을 위한 잠재 세계 행동 모델인 LaWAM의 LeRobot 어댑터입니다. Qwen3-VL 백본, 잠재 행동/세계 모델, flow-matching 행동 헤드를 결합하면서 표준 LeRobot 정책, 학습, 평가 인터페이스를 노출합니다.

리소스:

설치

LaWAM 추가 항목과 함께 LeRobot을 설치합니다:

pip install -e ".[lawam]"

LaWAM의 공개된 LIBERO 평가 결과를 재현할 경우, LIBERO 벤치마크의 종속성을 설치하고 MuJoCo를 3.3.2로 고정하세요:

pip install -e ".[lawam,libero]" "mujoco==3.3.2"

LIBERO 벤치마크의 성공률은 MuJoCo 시뮬레이터 버전에 민감합니다. 새로운 MuJoCo 릴리스는 LaWAM을 포함한 다양한 정책의 측정된 LIBERO 성공률을 현저히 낮출 수 있습니다. 이는 LaWAM 어댑터의 문제가 아니라 평가 환경의 호환성 문제입니다. 공개된 LaWAM의 LIBERO 및 논문 결과를 정확히 재현하려면 mujoco==3.3.2를 사용하세요.

LaWAM 체크포인트는 LeRobot의 네이티브 model.safetensors 형식을 사용합니다. LAM, VLM 어댑터 및 flow-head 상태 전체는 policy.path를 통해 복원되며, 원래의 LaWAM .pt 파일은 어댑터에 의해 로드되지 않습니다. LAM 및 DINOv3 아키텍처는 LaWAMConfig에 의해 직접 표현되므로 별도의 체크포인트 다운로드가 필요하지 않습니다.

policy.base_vlm은 휴대용 Hub 모델 ID로 설정해 두세요. HF_HOME과 같은 Hugging Face의 표준 캐시 설정은 정책 또는 프로세서 구성에 머신 특정 경로를 추가하지 않고도 Qwen 파일이 로컬에 저장되는 위치를 제어합니다.

파인튜닝

네이티브 사전 학습된 LaWAM 정책에서 파인튜닝:

lerobot-train \
  --policy.path=jialei02/lawam-pretrain-lerobot \
  --dataset.repo_id=jialei02/libero_merged_no_noops_20hz \
  --dataset.image_transforms.enable=false \
  --rename_map='{"observation.images.wrist_image":"observation.images.image2"}' \
  --policy.action_horizon=8 \
  --policy.n_action_steps=8 \
  --policy.clip_normalized_actions=true \
  --policy.pre_snap_gripper_action=true \
  --policy.binarize_gripper_action=true \
  --policy.repo_id=your_org/lawam_sft

어댑터는 LaWAM 학습 배치 생성 전에 LeRobot 데이터셋 통계량을 사용하여 동작 및 상태 정규화를 수행합니다. 자세(Pose) 동작은 min-max 정규화를 사용하며, LIBERO 레시피는 네이티브 LaWAM 학습 계약과 일치하도록 그리퍼 채널을 명시적으로 이진 0/1 값으로 고정합니다. 이를 통해 -1/+1 및 0/1 데이터셋 규약 모두를 동일한 모델 타깃으로 매핑합니다. 사전 학습된 체크포인트는 action_horizon=24 및 n_action_steps=24의 사전 학습 값을 유지하며, LIBERO SFT 레시피는 chunk_size=50을 패딩된 Flow 시퀀스 길이로 유지하면서 이 두 값을 모두 8으로 재정의합니다. 학습은 LaWAM의 자연 시간 인코딩을 위해 현재 데이터셋의 FPS를 사용하며, 프로세서가 해당 주파수를 평가용 폴백으로 영속화합니다. policy.num_video_frames은 관찰 프레임 윈도우를 제어합니다.

공개된 LaWAM 사전 학습 및 LIBERO SFT 레시피는 무작위 이미지 증강을 사용하지 않습니다. 정책 프로세서에서는 Qwen 및 LAM 백본에 필요한 결정적 리사이즈와 ImageNet 정규화만 적용합니다. LeRobot의 데이터셋 수준 이미지 변환은 별도로 설계된 학습 레시피를 위해 계속 사용할 수 있습니다.

Released LaWAM 체크포인트는 내부적으로 32차원의 패딩된 액션/상태 공간을 사용합니다. 다른 flow 차원으로 체크포인트를 학습한 경우를 제외하고는 policy.flow_action_dim=32와 policy.flow_state_dim=32를 유지하세요.

평가

…

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --env.type=libero \
  --env.task=libero_object \
  --eval.n_episodes=10

Hub 저장소에는 정책 설정과 정규화 텐서 및 LIBERO 그리퍼 처리를 포함한 완전한 전처리 및 후처리 파이프라인이 포함되어 있습니다.

공개된 LIBERO SFT 체크포인트를 사용하여 재현 가능한 LIBERO 벤치마크 실행을 위해, 모든 스위트와 작업 ID를 한 번의 호출로 평가하려면:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --policy.device=cuda \
  --env.type=libero \
  --env.task=libero_spatial,libero_object,libero_goal,libero_10 \
  --env.task_ids='[0,1,2,3,4,5,6,7,8,9]' \
  --eval.n_episodes=50 \
  --output_dir=outputs/lawam_libero

각 스위트의 모든 10개 작업에 대한 성공률을 보고합니다. 벤치마크 수치를 보고할 때 작업당 최소 50개의 에피소드를 사용하세요.

50에피소드/태스크로 학습된 공개된 LIBERO SFT 체크포인트의 기준 결과입니다. 이 수치는 MuJoCo 3.3.2로 생성되었습니다. 환경 확인을 위해, libero_spatial 태스크 5의 성공률이 MuJoCo 3.8.1에서는 18/50에서 MuJoCo 3.3.2에서는 47/50으로 향상되었습니다.

카메라 선택

LaWAM 체크포인트는 image2와 같은 이름에서 의미를 추론하는 대신 주 카메라와 손목 카메라 역할을 명시적으로 저장합니다. 새로운 멀티 카메라 LaWAM 정책을 구성할 때는 두 역할을 모두 설정하세요:

--policy.primary_image_features='["observation.images.front"]' \
--policy.wrist_image_features='["observation.images.wrist"]'

policy.lam_image_feature는 잠재적 동작 모델이 소비하는 시간 프레임이 있는 주요 카메라를 선택합니다. 기본값으로 구성된 첫 번째 주요 카메라가 사용되며, 정책 구성이 저장될 때 명시적으로 기록됩니다.

런타임 필드

LaWAM에 특화된 일반적인 정책 필드:

인용

@misc{chen2026lawam,
  title = {LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies},
  author = {Chen, Jialei and Wang, Kai and Chen, Kang and Chen, Shuaihang and Gao, Feng and Tang, Wenhao and Li, Zhiyuan and Liu, Weilin and Yao, Zhuyu and Li, Boxun and Xu, Yuanbo and Yu, Chao},
  journal = {arXiv preprint arXiv:2606.15768},
  year = {2026},
  archiveprefix = {arXiv},
  primaryclass = {cs.RO},
}