Doctorant - Projet MAD (H/F)

Nous recherchons notre futur/future Doctorant - Projet MAD
Le Laboratoire Jean Alexandre Dieudonne se situe parmi les meilleurs centres de recherche internationaux en mathematiques. Sa vocation est de développer les mathématiques fondamentales et appliquées sur un spectre large, leurs applications et interactions avec d'autres disciplines (physique, biologie, neurosciences, medecine, environnement,...). En parallèle de ses activités en mathématiques, le LJAD développe également des recherches interdisciplinaires, notamment avec la mecanique des fluides, la biologie, la chimie, la physique, et il accueille pour cela des chercheurs et enseignants-chercheurs provenant de disciplines autres que les mathematiques.
L'alignement des grands modèles de langage repose aujourd'hui sur des procédures largement empiriques, dont les fondements mathématiques restent mal compris. Cette thèse vise à en développer une analyse rigoureuse, à l'interface de l'optimisation non lisse, de la statistique en grande dimension et de l'apprentissage profond. On s'intéressera d'abord à l'effet des méthodes de réglage fin par adaptateurs de faible rang sur le comportement du modèle, en cherchant à quantifier le déplacement induit dans l'espace des distributions de sortie. On étudiera ensuite les garanties statistiques que l'on peut espérer d'un alignement construit à partir d'un nombre fini de données de préférence, ainsi que leur robustesse aux imperfections des annotations et aux décalages de distribution. Enfin, on cherchera à formuler l'alignement comme un problème d'optimisation structuré, de manière à en caractériser les solutions et à concevoir des algorithmes dont la convergence puisse être établie. Les développements théoriques seront confrontés à des expériences numériques sur des modèles de langue de taille modérée, afin d'évaluer leur pertinence pratique et d'orienter la conception de procédures d'alignement plus fiables.

Le ou la doctorant-e sera amené-e à:

• développer et analyser des modèles mathématiques de l'alignement, en mobilisant les outils de l'optimisation non lisse, de l'analyse variationnelle et de la statistique en grande dimension;
• établir des résultats théoriques (bornes, garanties de convergence, conditions d'optimalité);
• concevoir et implémenter des algorithmes, et mener des expériences numériques sur des modèles de langue de taille modérée, y compris sur infrastructures de calcul haute performance (GPU, mésocentres nationaux);
• maintenir un code reproductible et documenté, et contribuer à sa diffusion en accès ouvert
• rédiger des articles scientifiques et les soumettre dans des conférences et revues internationales du domaine (NeurIPS, ICML, ICLR, JMLR, revues d'optimisation et de statistique);
  effectuer une veille bibliographique active sur un domaine en évolution rapide;
• participer à la vie scientifique du laboratoire et interagir avec les autres membres de l'équipe et les collaborateurs du projet;

Competences:

• formation en mathématiques appliquées, niveau master, avec un goût marqué pour la théorie;
• bonnes bases en optimisation (convexe et non convexe), analyse et probabilités; des connaissances en statistique en grande dimension ou en théorie de l'apprentissage constituent un atout;
• familiarité avec l'apprentissage automatique et, idéalement, avec les architectures de type Transformer et les modèles de langue;
• maîtrise de la programmation scientifique en Python et d'un cadre de différentiation automatique (PyTorch, JAX); une expérience du calcul sur GPU et des bonnes pratiques de développement (git, tests, reproductibilité) est appréciée;
• capacité à mener un travail de recherche de manière autonome tout en s'intégrant dans une équipe;
• bonne maîtrise de l'anglais scientifique, à l'écrit comme à l'oral.