L’équipe-projet Flowers ou l’éloge de la curiosité

Comment apprend-on ? Tel est le questionnement à la base des travaux de l’équipe-projet Flowers AI & CogSci, portée par Inria et l’université de Bordeaux. « Nous nous intéressons à la capacité d’apprendre de nouvelles connaissances et savoir-faire tout au long de la vie, précise Pierre-Yves Oudeyer, son responsable. Cela, dans des environnements complexes comme ceux des enfants. Comment font-ils pour apprendre autant de choses en un temps aussi limité et avec si peu de ressources ? Nous pensons que la curiosité est l’un des ingrédients clés pour y parvenir. » 

Pour explorer les différents angles de ce vaste champ de recherche, l’équipe réunit de nombreuses disciplines. Autour de ses trois chercheurs permanents – Pierre-Yves Oudeyer, directeur de recherche Inria et spécialiste en intelligence artificielle (IA) et sciences cognitives, Hélène Sauzéon, professeure de psychologie, et Cécile Mazon, maître de conférences en sciences cognitives –, évoluent une vingtaine de doctorants et postdoctorants, auxquels s’ajoutent des partenaires externes, issus de multiples domaines : informatique, mathématiques, psychologie, neurosciences, technologies éducatives… 

Premier axe de recherche de Flowers : développer des modèles pour mieux comprendre la curiosité chez les humains. Pour cela, l’équipe a façonné la "théorie du progrès en apprentissage" (learning progress hypothesis). L’idée ? « Dans notre cerveau, les circuits neuronaux récompensent les situations où l’on progresse, orientant nos apprentissages vers ceux qui sont les plus payants en termes de satisfaction, » explique Pierre-Yves Oudeyer. Cette théorie a été imaginée entre 2003 et 2004, puis développée théoriquement et en simulation pendant presque deux décennies, et enfin confirmée en 2021 par Flowers - et d’autres équipes dans le monde par la suite - grâce à des dispositifs expérimentaux nouveaux permettant d’étudier l’exploration curieuse chez les humains.

Aujourd’hui, l’équipe teste les modèles obtenus notamment à travers des expériences en psychologie cognitive associées à de l’imagerie cérébrale, avec ses partenaires du programme européen DevCur, dont l’objectif est de suivre le développement de la curiosité et de la métacognition au cours de l’adolescence. 

Autre avancée majeure liée à ces travaux : la mise au point et le développement du concept de "curiosité autotélique" (du grec "auto", soi-même, et "telos", but). « Il s’agit d’une forme de curiosité dans laquelle les individus créent leurs propres objectifs, comme les enfants quand ils inventent des jeux aux règles arbitraires, décrit Pierre-Yves Oudeyer. Ces deux théories ouvrent de nombreuses directions nouvelles pour comprendre l’apprentissage chez l’humain. » 

Second axe exploré par Flowers : transposer les principes de compréhension de la curiosité à des systèmes d’intelligence artificielle, dotés d’une certaine forme de curiosité autotélique, qui leur permet d’apprendre de leur expérience et de s’améliorer en essayant d’atteindre des objectifs qu’ils ont auto-générés. « En dehors de notre petite communauté de "robotique développementale" - comme nous l’appelions il y a 10 ans -, les algorithmes de curiosité n’étaient pas connus, souligne Pierre-Yves Oudeyer . Nous avons été parmi les premiers à les tester sur des machines. Aujourd’hui, les choses ont beaucoup évolué et la curiosité est couramment utilisée en IA et en apprentissage automatique. » 

Il y a encore quelques années, la limite des expérimentations avec les robots était liée à des buts très basiques : déplacer des objets, les entasser… L’équipe a donc cherché à modéliser des formes d’objectifs plus créatifs, plus abstraits, en exploitant le langage. Celui-ci ne sert pas seulement à communiquer, mais devient un outil cognitif pour inventer des buts chez un "agent curieux", par exemple dans un environnement de jeu vidéo. Cet agent utilise ainsi le langage pour créer des objectifs nouveaux et abstraits. 

En 2022, Flowers a intégré les algorithmes de curiosité autotélique avec des modèles fondationnels (grands modèles de langage, LLMs). Cela a permis de mettre au point des agents d’IA générative curieux et autotéliques, capables de générer leurs propres objectifs de plus en plus complexes et de s’entrainer dessus, permettant un apprentissage ouvert (open-ended) dans lequel ils peuvent s’auto-améliorer. Deux travaux clés pour arriver à ce résultat ont été le système GLAM (International Conference on Machine Learning ICML 2023), transformant des LLMs en des agents qui apprennent à résoudre des tâches dans des environnements interatifs, et le système Magellan (ICML 2024), apportant à ces agents d’IA générative une capacité de prédiction métacognitive de leurs propres progrès en apprentissage, et ainsi une navigation efficace dans de très grands espaces de buts. 

L’équipe travaille maintenant à appliquer cette approche pour permettre à des agents d’IA générative de s’auto-améliorer dans les domaines du code et de la preuve formelle en mathématiques, en collaboration avec le défi Inria LLM4Code.

Troisième axe des travaux de l’équipe : les applications des algorithmes de la curiosité, dans les domaines de la recherche et de l’éducation. « Les scientifiques ont un point commun avec les enfants vis-à-vis de la curiosité : ils cherchent à explorer les connaissances, à faire des découvertes, tout en ayant des ressources limitées. Ils doivent donc être efficaces, rapporte Pierre-Yves Oudeyer. Nous avons par exemple utilisé les algorithmes de la curiosité pour aider des biologistes à étudier des réseaux complexes, comme ceux de régulation des gènes. Nous avons ainsi découvert des comportements inédits, jusque-là inconnus en biologie. » 

Les algorithmes de la curiosité s’avèrent aussi particulièrement utiles dans le domaine de la vie artificielle, qui étudie des questions de biologie théorique, sur l’origine de la vie ou la formation de motifs organisés, comme ceux sur la peau des zèbres ou des léopards. « Dans un article récent publié dans Science Advances, où les algorithmes de curiosité autotéliques sont utilisés pour explorer l’auto-organisation dans des automates cellulaires, nous avons montré la possibilité de créer des protocellules capables de se déplacer, de contourner des obstacles, ou de se régénérer à l’instar de ce que l’on le trouve chez les êtres vivants les plus simples. » 

Dans le domaine de l’éducation, l’équipe Flowers a mis à profit ses recherches pour développer des outils pédagogiques qui stimulent la motivation et l’apprentissage, à tous les âges de la vie. Sur la base des avancées sur la compréhension de la curiosité chez l’humain, notamment la théorie du progrès en apprentissage, les chercheurs ont ainsi développé des méthodes pédagogiques et des méthodes d’IA permettant d’identifier pour chaque élève quels exercices lui apportent le plus de progrès à un moment donné.

« Le sujet de la curiosité est inépuisable, résume Pierre-Yves Oudeyer. Le renouvellement de notre équipe-projet Inria nous permet de poursuivre nos explorations, à la fois de manière fondamentale et appliquée. » Cette nouvelle étape ouvre aussi à Flowers un nouveau champ : la curiosité à l’échelle collective, plus seulement au niveau individuel. Ainsi, comment un groupe d’individus curieux peut-il innover ? Quel rôle joue l’environnement culturel et social dans l’émergence de la curiosité ? 

« Nous avons amorcé cette étude au cours de l’été, en nous affranchissant des modèles humains occidentaux qui guidaient jusqu’alors nos travaux.» confie le responsable de Flowers. « Un de nos doctorants s’est rendu en Afrique pour confronter nos théories d’apprentissage à deux populations vivant au cœur de la forêt congolaise. L’objectif : déterminer comment les différences culturelles entre d’un côté, des villageois sédentaires et de l’autre, une tribu nomade de chasseurs-cueilleurs, agissent sur les modes de fonctionnement de la curiosité. Les résultats sont en cours d’analyse. Nous avons hâte de les connaître !»

• Open-endedness, curiosity-driven AI and automated search in artificial life, présentation de Pierre-Yves Oudeyer à IMOL 2024, 20/1/2025.
• Curiosity-driven Autotelic AI Agents that Use and Ground Large Language Models, présentation de Pierre-Yves Oudeyer (2024)
• Curiosité et méta-cognition : sciences cognitives, IA et éducation, vidéo de Pierre-Yves Oudeyer, présentation faite au Conseil scientifique de l'Éducation nationale (CSEN), 20/3/2024.
• Des machines curieuses pour des humains curieux, vidéo d’Hélène Sauzéon et Clément Moulin-Frier, 6/4/2023.
• Adaptiv'Math, le compagnon numérique adaptatif pour l'apprentissage des mathématiques en cycle 2 (vidéo), EvidenceB, 16/12/2021.