Edouard Silvestre
Retour aux projets

Epitech · 2e année · Binôme

StarTrek

Un agent DQN qui apprend à poser un module lunaire.

  • Python
  • PyTorch
  • Gymnasium
  • DQN
Essayer
Période
Avril 2026
Équipe
Projet en binôme
Code
Dépôt privé
Q(s, a)riengaucheprincipaldroiteLunarLander · Gymnasiumfig. 08 — StarTrek · un DQN apprend à se poser

Le projet

De l’apprentissage par renforcement avec un DQN, sur l’environnement LunarLander de Gymnasium.

Le cœur du travail : concevoir la fonction de récompense et optimiser les hyperparamètres pour stabiliser le modèle.

Ce qui a été difficile

  • Un DQN est instable : sans target network, l’agent apprend vite, puis s’effondre et devient chaotique.
  • Trouver le bon équilibre entre exploration et exploitation, et lire une récompense façonnée par l’environnement.

Ce que j’ai appris

  • Prouver l’utilité d’un composant par une étude d’ablation : on le retire, et on mesure ce qui se passe.
  • Pourquoi un replay buffer et un target network stabilisent l’apprentissage.
  • Analyser la fin des épisodes, crash, atterrissage ou temps écoulé, pour comprendre ce que l’agent a appris.

Essayer.

L’agent aux commandes

Modèle entraîné

  • Trois atterrissages

    Trois épisodes joués par le DQN entraîné, sans intervention.