Bonjour à tous,

Vous êtes cordialement invité.e.s à la soutenance de thèse de Sifan Wu le 26 mars à 8h30 EST (mode hybride).

Title: The Spectrum of Structured Reasoning in Multimodal Foundation Models.

Date: 26 mars à 8h30 

Salle: Pavillon André-Aisenstadt, 2920 Ch. de la Tour, au AA-3195

Jury

Abstract:

Les avancées récentes des grands modèles de langage multimodaux (MLLM) ont démontré des capacités remarquables en matière de compréhension du langage naturel et de la vision à usage général. Cependant, un fossé important subsiste lorsque ces modèles probabilistes sont déployés dans des domaines scientifiques et d’ingénierie spécialisés, qui exigent un respect rigoureux de contraintes explicites, une cohérence logique et des principes physico-chimiques. Pour relever ce défi, cette thèse propose le « Spectre du Raisonnement Structuré » (Spectrum of Structured Reasoning), un cadre conceptuel qui caractérise les tâches de raisonnement multimodal selon trois axes orthogonaux : la Modalité, l’Intensité Structurelle et l’Agentivité.

Cette recherche étudie systématiquement ce spectre à travers quatre contributions méthodologiques. Premièrement, en abordant la structure implicite dans le texte, la thèse introduit KADE, un cadre augmenté par la connaissance qui exploite des graphes de connaissances externes et la recherche analogique pour identifier la causalité latente des événements dans des récits textuels caractérisés par la rareté des données. Deuxièmement, ciblant la structure explicite en ingénierie, le travail présente CAD-LLM et CadVLM. Ces modèles traitent les esquisses CAO paramétriques comme des séquences régies par des contraintes, utilisant le pré-entraînement vision-langage pour générer des conceptions d’ingénierie géométriquement et topologiquement valides à partir d’entrées multimodales. Troisièmement, pour les domaines scientifiques faiblement structurés, la thèse développe MatVQA, un banc d’essai (benchmark) pour le raisonnement visuel en science des matériaux. En introduisant le pipeline automatisé MArxivAgent, ce travail construit des tâches de raisonnement rigoureuses sur la relation Structure-Propriété-Performance (SPP), obligeant les modèles à intégrer une perception visuelle fine avec une logique scientifique spécifique au domaine. Enfin, traitant du raisonnement actif sous rareté d’information, la thèse présente TurtleSoup-Bench et le cadre Mosaic-Agent. Cette recherche explore le raisonnement imaginatif, évaluant la capacité des agents à formuler activement des hypothèses, à sélectionner des requêtes informatives et à reconstruire des récits cachés dans des énigmes de pensée latérale. Collectivement, ces contributions démontrent que pour développer des assistants IA fiables pour la découverte scientifique et la conception technique, il est essentiel de dépasser l’alignement multimodal de surface pour doter les modèles de fondation de capacités de perception de la structure et d’exploration active.