Au cours des dernières années, notre laboratoire s'est concentré sur la compréhension et l'amélioration des grands modèles pré-entraînés (fondamentaux) selon plusieurs axes : leur évolutivité (en termes de taille, de données, d'architecture), leur robustesse (face aux changements de distribution, aux perturbations adverses ou aux perturbations d'entrées) et la manière dont ils peuvent être adaptés ou étendus de manière continue plutôt que réentraînés à partir de zéro. 

Parmi les principales contributions, citons les "benchmarks" pour les prévisions de séries chronologiques à l'aide de signaux textuels/contextuels ; les lois d'inférence et de mise à l'échelle efficaces pour les architectures spécialisées (par exemple, les modèles linguistiques ternaires et les mélanges d'experts) ; des études sur la prévention de l'effondrement de la représentation dans les couches intermédiaires des transformateurs afin d'améliorer le raisonnement ; des recherches sur les changements de domaine et la généralisation hors distribution ; et des méthodes de pré-entraînement continu, de compression et d'adaptation économe en ressources. Dans cette présentation, je donnerai un aperçu de nos travaux récents sur ces sujets, en vue de créer des modèles d'IA plus efficaces, plus résilients et plus adaptables au fil du temps et à travers les tâches et les domaines.

Déroulement de la soirée :

• 17:00 : Accueil
• 18:00 : Assemblée générale, S1-139 du Pavillon Jean-Coutu (diplômés seulement)
• 18:30 : Buffet,  Agora du Pavillon Jean-Coutu (inscription obligatoire)
• Début de la conférence qui sera présentée en anglais, S1-151 du Pavillon Jean-Coutu (admission générale)

Inscription: 

• L'inscription est nécessaire pour le buffet, vous pouvez le faire directement sur le site de l'ADDIROUM, régulier : 30$ - étudiant : 10$
• Conférence gratuite, admission générale

Lieu : Université de Montréal - Pavillon Jean-Coutu Salle S1-151