Informatique

Pré-requis

Les pré-requis pour cette UE :

• toutes les UEs de M1 Info ML listées sur cette page ;
• l'UE PDI en M2.

Organisation

Cette unité se déroule au S3 du M2 Info ML. Il s'agit d'une UE obligatoire de cette mention.

Volume horaire : 2h de cours/TD, 2h de TD/TP semaine, pendant 6 semaines.

Crédits

Responsable

Philippe Preux

Objectifs

L'objectif de cette UE est de présenter le domaine de l'apprentissage par renforcement pour être capable de résoudre de tels problèmes, ou pour être capable de réaliser un travail de recherche dans ce domaine (stage dans le domaine, poursuite en thèse). À l'issue de cette UE, l'objectif est qu'un étudiant :

• soit capable de reconnaître un problème d'apprentissage par renforcement quand il est face à lui, voire qu'il soit capable de formuler un problème comme un problème d'apprentissage par renforcement ;
• connaisse le principe des méthodes de résolution de ces problèmes ;
• connaisse et manipule les principaux algorithmes de résolution de ces problèmes ;
• connaisse les limites et les principales questions ouvertes du domaine, que ce soit pour ses applications ou d'un point de vue fondamental.

Contenu

• Définition du problème d'apprentissage par renforcement ;
• Approche exacte ; algorithme Q-Learning tabulaire ;
• Espaces d'états continus ; algorithmes DQN, puis acteur-critique ;
• Limites et grandes questions actuelles du domaine.

Bibliographie

• Mes notes de cours, et les références qui y sont indiquées.