Lieu : AA 3195Date : vendredi le 20 juillet à 13h00

Résumé :

Les algorithmes de traitement de la langue naturelle manipulent et produisent du texte. Ils se basent de plus en plus sur l’apprentissage automatique et exploitent les régularités statistiques présentes dans les corpora. Les approches dites “distributionnalistes” supposent que le sens des mots est correlé avec la distribution des mots dans leurs contextes. Cette hypothèse a engendré une multitude de techniques qui utilisent des textes sans annotations, mais de manière sous-optimale et qui ne capture
pas encore toutes les facettes du sens des mots. Dans ce rapport, nous nous intéressons à des alternatives pour généraliser plus rapidement. En particulier, nous expérimentons avec des techniques d’apprentissage “en un seul coup” pour apprendre des représentations de mots via des définitions
de dictionaires. Cette technique est assez économe en données et permet d'’obtenir des représentations qualitativement différentes, et donc complémentaire, des méthodes traditionnelles. Dans le futur, nous proposons de travailler sur des modèles de langages à l’échelle des documents. Cela nécessiterait de gérer l’aspect temporaire et dynamique des mots déjà connus ainsi que des nouveaux mots. Pour cela, nous pourrions prendre en compte la morphologie de ces mots et affiner
itérativement leurs représentations.

Résumé en anglais :

Natural language processing algorithms manipulate and produce text. They rely increasingly on machine learning to leverage statistical regularities present in large corpora. The distributional hypothesis states that the meaning of a word is correlated with the distribution of its contexts.
This hypothesis has bred a variety of techniques which are not yet as data efficient as needed, or do not capture every facet of meaning. In this work, we investigate alternatives for generalizing faster. In particular, we experiment with one-shot learning techniques for learning word representations from dictionary definitions. This allows us to capture qualitatively different and complementary aspects of meaning with a relatively small sample complexity. For future work, we propose to work on
language modeling at the discourse-level. This requires to deal with more dynamical and temporary representations for both known and out-of-vocabulary words. For that purpose, we could account for their morphology and design methods that iteratively refine their representations.

 
Vous êtes cordialement invité.