Bonjour à tous et à toutes,

Hello everyone,

Vous êtes tous et toutes cordialement invité.es à assister à la soutenance de thèse de Ivan Puhachov.

You’re cordially invited to the PhD defence of Ivan Puhachov.

Title: Interpreting and Generating Drawings via Learning, Geometry Processing, and Optimization

Date: lundi 21 juillet 19h00 (21st July 7PM (ET))

Location:  AA3195 (Pavillon André-Aisenstadt)

Jury

Résumé:

Les processus créatifs dans les domaines de l’animation et de la conception reposent sur des itérations rapides. Pour soutenir ces cycles d’idéation, les artistes se tournent souvent vers les croquis comme support naturel de discussion. Mais la traduction de ces croquis en représentations géométriques spécialisées pour les logiciels industriels, comme les graphiques vectoriels ou les maillages 3D, reste un blocage de la production qui demande un temps considérable. Un système qui facilite cette transition doit produire des résultats visuellement attrayants et facilement modifiables, tout en maintenant un contrôle par l’utilisateur et en s’intégrant de manière transparente dans les chaînes de production existantes. Cette thèse propose plusieurs méthodes pour créer automatiquement des représentations géométriques à partir de croquis et de descriptions textuelles. Nos méthodes combinent le traitement de la géométrie avec l’apprentissage automatique et l’optimisation pour créer des représentations géométriques pratiques, compatibles avec les logiciels professionnels. Le premier article, ‘Keypoint-Driven Line Drawing Vectorization via PolyVector Flow’, utilise l’apprentissage automatique et les algorithmes graphiques pour déduire la connectivité entre les courbes d’un dessin au trait, ainsi qu’un nouveau flux PolyVector qui aligne les courbes avec un champ de trame. Le deuxième article, intitulé ‘Reconstruction of Machine-Made Shapes from Bitmap Sketches’, utilise l’apprentissage automatique pour extraire des primitives géométriques et résout un problème d’optimisation pour aligner les courbes où les primitives se croisent sur le dessin au trait d’entrée. Enfin, le troisième article, intitulé ‘Generative Cutout Animation’, associe l’optimisation à des modèles génératifs texte-image pour créer des ressources graphiques réutilisables pour l’animation 2D et 3D à partir d’un squelette animé et d’une description textuelle.Dans cette thèse, nous démontrons comment une combinaison de techniques peut être utilisée pour extraire des représentations géométriques adaptées aux applications en aval, y compris l’édition, l’animation, le rendu 3D et la fabrication. Nos recherches facilitent la transition entre les croquis et la représentation géométrique industrielle, ce qui profite aux flux de travail créatifs et à la production.

Abstract:

Creative processes in animation and design rely on fast iterations. To support these ideation cycles, artists often turn to sketches as a natural medium for discussions. However, translating these sketches into specialized geometric representations for industrial software, like vector graphics or 3D meshes, remains a time-consuming bottleneck in production. A system that facilitates this transition to geometric representations must produce visually appealing and easily editable results, while maintaining user-driven control and integrating seamlessly with existing production pipelines. This thesis proposes several methods to automatically create geometric representations from sketches and text description. Our methods combine geometry processing with machine learning and optimization to create practical geometric representations, compatible with professional software. The first article ‘Keypoint-Driven Line Drawing Vectorization via PolyVector Flow’ uses machine learning and graph algorithms to infer connectivity between curves in a line drawing, and a novel PolyVector flow that aligns curves with a frame field. The second article, ‘Reconstruction of Machine-Made Shapes from Bitmap Sketches’ uses machine learning to extract geometric primitives, and solves an optimization problem to align curves where primitives intersect each other to the input line drawing. Finally, the third article ‘Generative Cutout Animation’ combines optimization with text-to-image generative networks to create reusable graphical assets for 2D and 3D animation from an animated skeleton and a text description.In this thesis we demonstrate how a combination of techniques can be used to extract geometric representations suitable for downstream applications, including editing, animation, 3D rendering, and manufacturing. Our research assists in the transition between sketches and industrial geometry representation, benefiting creative workflows and production.