Informatique

Le champ d’applications de l’apprentissage pour le traitement de la langue est multiple. À la fois scientifique, il établit des liens avec les sciences humaines et sociales, dans le but de fournir des outils et des hypothèses pour comprendre les mécanismes de la langue. Il est aussi économique par les nombreuses applications nécessaires à la valorisation des masses de données textuelles. Ce cours fournit des compétences pour ces deux objectifs.

À l’issue du cours, les étudiants seront familiers avec les tâches de classification de textes, de Tagging, de Parsing, d’analyse en dépendances et de prédiction de structures rhétoriques ou temporelles ou de co-références. Il connaîtra les représentations sous forme de n-grams, par tf-idf, les techniques récentes de Word2vec, skipgram, Glove, les Topic models, LSA,… Les architectures neuronales et leur apprentissage associé comme les LSTM, RNN, GRU, …

Le cours introduit les méthodes d’apprentissage machine modernes pour le traitement automatique de la langue. Une première partie est consacrée au positionnement du sujet dans l’ensemble des traitements automatiques des textes. En particulier elle distingue les tâches de texte et de parole, puis de fouille de texte, la génération de texte, la traduction, de dialogue pour se concentrer sur la prédiction de structures et relations linguistiques. Des éléments de base de linguistique sont apportés pour introduire ensuite la problématique de représentation des textes, et de l’apprentissage de ces représentations. Une seconde partie est consacrée aux méthodes d’apprentissage pour les données structurées (modèles de Markov, champs conditionnels aléatoires, modèles de paires et modèles d’arbres ou de graphes). Une troisième partie présente les modèles neuronaux pour la prédiction structurée et à partir de données structurées.

• Connaître les notions de linguistique de base
• Comprendre les différentes représentation vectorielles des textes
• Mettre en œuvre et évaluer des techniques d’apprentissage de représentation, de prédiction structurée, et des méthodes basées sur des réseaux de neurones récurrents.