Edouard Silvestre
Retour aux projets

PoC Innovation · R&D en équipe

LeWM-Robot

Un world model qui apprend à un bras robotisé à saisir un objet et à le déposer.

  • Python
  • PyTorch
  • LeRobot
  • World models
Essayer
Période
Avril – oct. 2026
Équipe
Projet d’équipe, 4 contributeurs
Code
Voir le codeDataset sur Hugging Face
cam 1SO-101DINOv3 + LoRA · CEMprédictionfig. 03 — LeWM-Robot · un world model pilote le bras

Le projet

Nous entraînons un bras robotisé LeRobot SO-101 à une tâche de saisie et dépose, avec un objectif : qu’il généralise à des situations jamais vues à l’entraînement.

L’architecture est un world model inspiré de DINO-WM : un encodeur visuel DINOv3 gelé, un prédicteur entraînable, du LoRA pour le transfert de la simulation au réel, et une planification par CEM.

Nous avons construit et publié un jeu de données augmenté de 360 épisodes, à partir de 40 épisodes enregistrés, avec un pipeline maison.

En chiffres

épisodes dans le dataset publié
360
techniques d’augmentation
8
caméras : poignet et face
2

Ce qui a été difficile

  • Fusionner deux caméras. Nous avons implémenté et comparé cinq stratégies de fusion : la cross-attention l’emporte, avec une erreur de validation de 8,45 contre 11 à 12 pour les autres.
  • Travailler sans GPU assez puissant sur place : le pipeline a été adapté à une RTX 4090, avec un script qui estime d’abord le temps de chaque étape.
  • Généraliser à partir de 40 démonstrations seulement.

Ce que j’ai appris

  • Construire et publier un dataset LeRobot propre sur Hugging Face, et le multiplier par 9 avec des augmentations.
  • Garder un grand encodeur gelé et n’entraîner que ce qui doit l’être : le prédicteur et LoRA.
  • Valider chaque brique seule, de l’encodage à la planification, avant d’entraîner l’ensemble.

Essayer.

Le bras, vu par ses deux caméras

Des épisodes du jeu de données publié : la caméra de face à gauche, la caméra du poignet à droite.

Épisodes du dataset

  • Épisode enregistré

    Le bras saisit le canard et le dépose dans la boîte.

  • Le même épisode, augmenté

    Variation de luminosité, de contraste et de saturation : une des 8 techniques d’augmentation.

  • Un autre épisode

    Un autre des 40 épisodes enregistrés.

L’architecture

Un world model action-conditionné, inspiré de DINO-WM.

  1. Étape 12 caméras

    Observation

    Les images de la caméra de face et de celle du poignet.

  2. Étape 2gelé

    Encodeur DINOv3

    Un encodeur visuel pré-entraîné, dont les poids ne bougent pas, puis la fusion des deux vues.

  3. Étape 3entraînable

    Prédicteur

    Un transformer prédit la représentation suivante à partir de l’état et de l’action. LoRA adapte de la simulation au réel.

  4. Étape 4CEM

    Planification

    La méthode d’entropie croisée cherche la suite d’actions dont l’issue prédite s’approche le plus du but.

  5. Étape 56 moteurs

    Action

    La commande est envoyée aux moteurs du bras.