PoC Innovation · R&D en équipe
LeWM-Robot
Un world model qui apprend à un bras robotisé à saisir un objet et à le déposer.
- Python
- PyTorch
- LeRobot
- World models
- Période
- Avril – oct. 2026
- Équipe
- Projet d’équipe, 4 contributeurs
Le projet
Nous entraînons un bras robotisé LeRobot SO-101 à une tâche de saisie et dépose, avec un objectif : qu’il généralise à des situations jamais vues à l’entraînement.
L’architecture est un world model inspiré de DINO-WM : un encodeur visuel DINOv3 gelé, un prédicteur entraînable, du LoRA pour le transfert de la simulation au réel, et une planification par CEM.
Nous avons construit et publié un jeu de données augmenté de 360 épisodes, à partir de 40 épisodes enregistrés, avec un pipeline maison.
En chiffres
- épisodes dans le dataset publié
- 360
- techniques d’augmentation
- 8
- caméras : poignet et face
- 2
Ce qui a été difficile
- Fusionner deux caméras. Nous avons implémenté et comparé cinq stratégies de fusion : la cross-attention l’emporte, avec une erreur de validation de 8,45 contre 11 à 12 pour les autres.
- Travailler sans GPU assez puissant sur place : le pipeline a été adapté à une RTX 4090, avec un script qui estime d’abord le temps de chaque étape.
- Généraliser à partir de 40 démonstrations seulement.
Ce que j’ai appris
- Construire et publier un dataset LeRobot propre sur Hugging Face, et le multiplier par 9 avec des augmentations.
- Garder un grand encodeur gelé et n’entraîner que ce qui doit l’être : le prédicteur et LoRA.
- Valider chaque brique seule, de l’encodage à la planification, avant d’entraîner l’ensemble.
Essayer.
Le bras, vu par ses deux caméras
Des épisodes du jeu de données publié : la caméra de face à gauche, la caméra du poignet à droite.
Épisodes du dataset
Épisode enregistré
Le bras saisit le canard et le dépose dans la boîte.
Le même épisode, augmenté
Variation de luminosité, de contraste et de saturation : une des 8 techniques d’augmentation.
Un autre épisode
Un autre des 40 épisodes enregistrés.
L’architecture
Un world model action-conditionné, inspiré de DINO-WM.
Étape 12 caméras
Observation
Les images de la caméra de face et de celle du poignet.
Étape 2gelé
Encodeur DINOv3
Un encodeur visuel pré-entraîné, dont les poids ne bougent pas, puis la fusion des deux vues.
Étape 3entraînable
Prédicteur
Un transformer prédit la représentation suivante à partir de l’état et de l’action. LoRA adapte de la simulation au réel.
Étape 4CEM
Planification
La méthode d’entropie croisée cherche la suite d’actions dont l’issue prédite s’approche le plus du but.
Étape 56 moteurs
Action
La commande est envoyée aux moteurs du bras.