STAGE – Master 2 Informatique H/F

Sujet : Optimisation de Grid Search basée sur des distributions d'échantillonnages d'hyperparamètres.

Le poste proposé

Contexte Scientifique et Problématique

Le but de ce stage est de concevoir et d’implémenter une méthodologie pour améliorer la technique de Grid Search par le bootstrap. Le stagiaire sera amené à concevoir une nouvelle version de Grid Search basée sur des distributions d’échantillonnages d’hyperparamètres afin d’améliorer la qualité des réseaux de neurones et d’accélérer la convergence de Grid Search.

Parmi les problèmes liés à l’usage de Grid Search pour optimiser un réseau de neurones, deux sont particulièrement handicapants :

·      L’usage de l’accuracy en tant que métrique de performance d’un jeu d’hyper-paramètres. Le fait de considérer l’accuracy ne permet pas de tenir compte des problèmes de stabilité du fonctionnement de certains réseaux générés par Grid Search. Or, dans de nombreux cas industriels, il est fondamental de pouvoir sélectionner une configuration de réseau de neurones qui offre, au-delà de la performance moyenne, de bonnes garanties de stabilité.

·      Grid Search requiert du développeur qu’il précise, pour chaque hyper-paramètre concerné, les bornes et le nombre d’itérations à tester. Or ce paramétrage de Grid Search reste très arbitraire et difficile à anticiper.

Mission

Le travail de ce stage se déclinera en deux parties, correspondant aux deux problèmes de Grid Search qu’il faut corriger :

1.   Proposer un opérateur de comparaison de jeux d’hyper-paramètres basé sur la technique de rééchantillonnage (bootstrap). L’objectif de ce travail est de remplacer l’accuracy en tant que métrique de performance d’un jeu d’hyper-paramètres

2.   Proposer une méthode itérative de génération d’intervalle d’hyper-paramètre par bootstrap hiérarchique. Dans cette partie, l’objectif est d’automatiser le paramétrage de Grid Search CV en générant itérativement les bornes des hyper-paramètres à faire varier.

Le travail suivra le planning suivant :

1.   Faire un état de l’art pour identifier des cas d’usage de la littérature pouvant bénéficier de ces méthodes.

2.   Concevoir et tester les méthodes sur une architecture avec une seule couche cachée.

3.   Implémenter les techniques dans Tensorflow (scikit learn) ou Keras

4.   Si le temps le permet : Généraliser l’approche sur une architecture générique

Mots-clés: Réseaux de neurones, hyperparamètres, bootstrap, Grid Search, méthodes de rééchantillonnage.

Encadrants:

Dr. Genane YOUNESS, Enseignante-Chercheuse, gyouness@cesi.fr  et Dr. Benjamin COHEN BOULAKIA, Enseignant-Chercheur, bcohen@cesi.fr.

Laboratoire : Laboratoire d’Innovation Numérique pour les Entreprises et les Apprentissages au service de l’Entreprise et de la Compétitivité des Territoires ( CESI LINEACT).

Localisation: Campus CESI Nanterre

Date de démarrage : Février/ mars 2022

Durée : 6 mois

Date limite de dépôt des candidatures : 31/01/2023

Mots-clés: Réseaux de neurones, hyperparamètres, bootstrap, Grid Search, méthodes de rééchantillonnage. 

Le profil souhaité

Pour postuler :

Merci de fournir un CV et une lettre de motivation en format pdf (NOM prénom – CV.pdf et NOM prénom – LM.pdf), les bulletins de notes et le classement du MASTER 1 et 2, ainsi que toutes autres pièce jugée utiles.

Profil du candidat : Master 2 recherche ou diplôme d’ingénieur en Informatique.

Compétences souhaitées: R ou Python, TensorFlow, scikit learn, keras, esprit de synthèse, capacité rédactionnelle, et maitrise de l’anglais.

Références:

– Zoller M-A, Huber MF. Benchmark and survey of automated machine learning frameworks, arXiv preprint arXiv: 1904.12054, 2019.

– Hutter F, Kotthoff L, Vanschoren J. Automated machine learning: methods, systems, challenges. Springer Nat. 2019;1: 219.

– Claesen M, Simm J, Popovic D, et al. Easy hyperparameter search using optunity, arXiv preprint arXiv: 1412.1114, 2014.

– Lorenzo PR, Nalepa J, Kawulok M, et al. Particle swarm optimization for hyper-parameter selection in deep neural networks. Proc Genet Evolution Comput Conf. 2017: 481–488.

– Pedregosa F, Varoquaux G, Gramfort A, et al. Scikit-learn: machine learning in python. J Mach Learn Res. 2011;12:2825–2830.

– Efron, Bradley and Robert Tibshirani. “An Introduction to the Bootstrap”,1993. https://cindy.informatik.uni-bremen.de/cosy/teaching/CM_2011/Eval3/pe_efron_93.pdf