Comment rendre l’IA plus frugale ?
— Quelles sont vos pistes de recherche à ce sujet ?
La frugalité dans l’intelligence artificielle peut prendre plusieurs formes. Il est d’abord possible de s’attaquer au problème du besoin en données, puisque nos algorithmes d’apprentissage s’appuient sur une quantité assez importante de données. Il s’agit d’essayer de faire de l’IA « efficace en données », donc de réduire le besoin de données pour nos algorithmes. D’un autre côté, il faut s’intéresser aux modèles eux-mêmes : quel que soit le nombre de données en face de ces modèles, comment concevoir de plus petits modèles en termes de paramètres et de place en mémoire également.
— Mais comment cela se fait-il ? Il faudrait des modèles plus perspicaces, qui se rapprochent en quelque sorte de l’intelligence humaine, notamment en termes d’apprentissage ?
Effectivement, pour apprendre avec moins de données, les paradigmes du machine learning sont revisités. Il faut essayer d’apprendre à partir de données partiellement étiquetées, parce que le coût en annotations est souvent énorme. Cela signifie ne pas nécessairement fournir à l’algorithme d’apprentissage des données de chaque classe, ne pas forcément aller annoter toutes les données, et avoir des algorithmes qui s’appuient aussi, d’une part sur des données étiquetées, peut-être en assez petit nombre, et sur un grand nombre de données étiquetées qui ne nécessiteront pas d’annotations.
Puis il est possible de choisir les données à annoter, celles qui sont utiles à l’apprentissage. Il s’agit alors de l’apprentissage actif. Là aussi, c’est un pan important de l’apprentissage appelé « en ligne », où sera adaptée la notation à la tâche à réellement réaliser. Dans ce cas de figure, c’est l’aspect « efficacité en données » qui est traité. Enfin, la taille des modèles est aussi interrogée, parce qu’elle va impacter bien entendu l’étape d’inférence, l’étape soit de prédiction pour les modèles prédictifs, soit de génération pour les modèles de langage.
— Est-ce un des sujets sur lesquels vous travaillez actuellement avec votre équipe de recherche ?
Plusieurs directions et pistes sont actuellement explorées à Télécom Paris. Pour obtenir des modèles de moindre taille, nous allons essayer de les « contraindre mathématiquement », en incluant des propriétés mathématiques ne nécessitant pas un très grand nombre de paramètres.
Ou bien nous allons utiliser les lois physiques du problème traité si cela s’y prête, pour à nouveau imposer que ces modèles vérifient certaines assertions, certaines propriétés, de manière à s’appuyer sur un nombre limité de paramètres.
Et la dernière façon, très poussée ici à Télécom Paris, est la compression et l’élagage des modèles, c’est-à-dire imposer un certain niveau de réduction de paramètres, tout en travaillant sur des garanties théoriques permettant de montrer que les approximations réalisées restent raisonnables et maintenir un niveau de performance élevé.
— Je voudrais aborder la notion d’hybridation : comment croiser les modèles mathématiques et la réalité du terrain, par exemple des modèles météorologiques s’appuyant sur les données réelles ; l’une des pistes de frugalité ne serait-elle pas justement de travailler plus en fonction des usages afin de créer des modèles différents, en fonction de ce qui est recherché ?
En effet, l’hybridation consiste à disposer d’un algorithme d’apprentissage qui s’appuie sur les données, qui s’intéresse à calibrer un modèle, mais en tenant compte également des connaissances disponibles de la tâche à traiter.
L’hybridation est intéressante, par exemple quand je cherche à prédire l’énergie produite par une éolienne. Je vais tenir compte d’un certain nombre de paramètres mécaniques de cette éolienne et finalement des lois de la mécanique, mais aussi de modèles météorologiques, par exemple de prévisions, qui vont finalement me permettre de ne pas avoir une source unique en termes de données, mais aussi une source d’information en termes de modèles.
Citons aussi l’exemple de la biologie ou du médical, en cherchant à faire du ciblage thérapeutique, à découvrir et à prédire si une protéine va permettre d’effectuer une certaine tâche dans la cellule. Bien évidemment, il ne faut pas utiliser un modèle à l’aveugle en s’appuyant sur des données absentes par exemple, mais il convient d’insérer des informations, des connaissances biologiques qui contraignent ce modèle. Donc l’hybridation est une possibilité pour obtenir de la frugalité.
