lundi 8 décembre 2025

par BUTEL Nathalie

Alexandre BONLARRON, soutiendra sa thèse le le lundi 8 décembre 2025 à 14h, au laboratoire i3S dans la salle 007.

Sa thèse intitulée  « Programmation par contraintes pour la génération de texte sous contraintes » a été réalisée dans le pôle MDSC, sous la direction de Jean-Charles REGIN.

La présentation sera en français.

Résumé :

Générer un texte à la fois naturel et garantissant des contraintes non locales et englobantes, comme dans un poème, relève à la fois d’un défi de résolution de problèmes et de modélisation. Cette thèse présente la génération contrainte de texte comme une collaboration neuro-symbolique entre un « Système 1 » rapide et intuitif et un « Système 2 » lent et assertif [1]. Les modèles de langue (LM) fournissent au Système 1 un a priori de continuités plausibles et d’imitation stylistique, tandis que la programmation par contraintes (CP) apporte la précision du Système 2. 

Deux stratégies complémentaires structurent les contributions. Dans « Contraindre-puis-Prédire », l’ensemble de solutions est d’abord calculé à l’aide de diagrammes de décision à valeurs multiples (MDD) et de modélisation CSP. Une ossature en n-grammes encode des contraintes markoviennes, restreignant l’expansion aux transitions localement admissibles ; d’autres contraintes comme les largeurs de ligne dues à la typographie, la longueur globale, le vocabulaire autorisé, le nombre de syllabes et de ponctuation sont intersectées à la volée lors de la compilation. Les phrases admissibles sont ensuite classées par des scores de LM (par exemple, perplexité), permettant d’extraire des ensembles de phrases intelligibles avec des garanties strictes. [2,3,4] 

Dans « Prédire-et-Contraindre » (GenCP), le couplage est plus étroit : un LM auto-régressif (produisant du texte de gauche à droite) propose de petits domaines prometteurs pour prendre des décisions et affectations dans le solveur ; la CP impose et propage des contraintes sur ces domaines ; et le retour arrière corrige les mauvaises décisions. Pour atténuer la myopie de la prédiction de gauche à droite, des modèles de langue masqués offrent un regard anticipatif bidirectionnel, rétablissant un élagage puissant à travers des contraintes distantes et non locales. Ce coup d’œil dans le futur de la séquence permet de limiter le nombre de retours en arrière en évitant les chemins menant à des contradictions, et a surtout un impact très positif sur la facilité d’obtention de solutions. L’approche combine l’intuition du Système 1 guidée par le raisonnement du Système 2 : produire du texte intelligible quand c’est possible, rigoureux quand c’est nécessaire. [5,6] 

Les méthodes sont validées sur des tests de lecture standardisés sensibles à la mise en page, où les phrases sont rares et les contraintes interagissent de manière subtile. Les expériences montrent que « Contraindre-puis-Prédire » énumère efficacement de grands ensembles admissibles et que le classement basé sur des LM corrèle avec la vitesse de lecture humaine ; « Prédire-et-Contraindre », de son côté, satisfait des spécifications strictes plus fiablement que le décodage glouton classique avec vérifications a posteriori, en particulier sur les tâches de génération de texte sous contraintes extraites du benchmark COLLIE [7]. 

Au-delà de cette étude de cas, la thèse propose un schéma général pour la génération de texte contrainte : (i) ériger les garanties en éléments de première classe via la CP ; (ii) encoder les propriétés linguistiques au moyen de contraintes markoviennes et de MDD ; (iii) laisser les LM guider la recherche sans sacrifier la faisabilité ; et (iv) boucler la boucle par une prévisualisation bidirectionnelle des domaines et un retour arrière fondé sur des principes bien connus de la programmation par contraintes. Il en résulte une approche neuro-symbolique pratique de la modélisation et de la génération, produisant du contenu valide par construction et qui a vocation à rester naturel à la lecture, avec des applications potentielles aux tâches créatives, aux clauses juridiques classiques (e.g.,, confidentialité, plagiat ou droit d’auteur), aux prompts critiques pour la sécurité (e.g., éviter les contenus nocifs), et plus généralement à d’autres tâches de génération de séquences contraintes où l’aspect prédictif du Système 1 coexiste avec l’assertivité du Système 2. 

[1] Daniel Kahneman. Thinking, Fast and Slow. Macmillan, 2011. 
[2] Bonlarron et al. « Constraints First: A New MDD-based Model to Generate Sentences Under Constraints ». IJCAI-23.  https://doi.org/10.24963/ijcai.2023/210 
[3] Bonlarron & Régin. « Markov Constraint as Large Language Model Surrogate ». IJCAI-24. https://doi.org/10.24963/ijcai.2024/204 
[4] Bonlarron & Régin. « Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences ». IJCAI-24. https://doi.org/10.24963/ijcai.2024/841 
[5] Régin, De Maria & Bonlarron. « Combining Constraint Programming Reasoning with Large Language Model Predictions ». CP 2024, LIPIcs, vol. 307. https://doi.org/10.4230/LIPIcs.CP.2024.25 
[6] Bonlarron et al. « Large Language Model Meets Constraint Propagation ». IJCAI-25. https://doi.org/10.24963/ijcai.2025/1115 
[7] Yao et al. « COLLIE: Systematic Construction of Constrained Text Generation Tasks ». ICLR 2024. https://arxiv.org/abs/2307.08689