Faire mieux avec moins, comment l'équipe Manao bouscule les images de synthèse

À travers les jeux vidéo, les films d'animation, ou n'importe quel autre medium, nous sommes en permanence entourés d'images de synthèse. Un environnement qui nous ferait presque oublier l'importance des modèles informatiques qui se cachent derrière chacune de ces visualisations. Au Centre Inria de l’université de Bordeaux, l'équipe-projet Manao cherche à perfectionner la création de ces images, et tout particulièrement ce qui touche à la lumière. Car lorsqu'une image de synthèse est représentée, elle est éclairée par une source de lumière qu'il faut prendre en compte.

Cette lumière éclaire plus ou moins certaines zones de l'objet, se reflète différemment selon sa puissance, l'angle, et la composition de la surface visée, et ajoute au réalisme de la scène. À ce travail informatique, peut se greffer une difficulté supplémentaire : la fluorescence. Un phénomène qui nécessite traditionnellement de ne pas s'intéresser uniquement à la lumière en tant qu'ondes qui se propagent, mais aussi au spectre qui est absorbé puis réémis.

« Si l'on veut un rendu réaliste, on ne va pas propager une seule couleur, détaille Pascal Barla, responsable de l'équipe-projet Manao. Il vaut mieux produire un spectre, ce qui se traduit par une certaine plage de longueurs d'ondes. Mais pour ce qui se rapporte à la fluorescence, la difficulté est que la lumière est absorbée dans une partie du spectre et est réémise dans une autre. »

Concrètement, la lumière visible correspond à un spectre situé approximativement entre 400 et 800 nanomètres de longueurs d'ondes. Celui-ci comprend tout un ensemble de couleurs allant du violet au rouge, en passant par le bleu, le vert ou le jaune. En raison des propriétés physiologiques de l’œil humain qui ne possède que trois photorécepteurs pour capter la lumière, il est possible de reconstituer un spectre lumineux avec uniquement trois couleurs primaires : rouge, vert et bleu. Cette méthode est appelée le rendu RGB (red-green-blue). Elle permet de créer des images de synthèse tout en présentant plusieurs avantages : elle est rapide, facile à utiliser et suffisamment précise pour une grande palette d’applications. Toutefois, si cette technique a fait ses preuves, elle n'est pas efficace quand il s'agit de représenter la fluorescence.

« L'autre méthode est le rendu spectral, explique Pascal Barla. Celle-ci demande davantage de ressources et de puissance de calcul, mais aussi des caméras spectrales très complexes lorsqu’il est question de mesurer lumières et matériaux, ce qui est très lourd et coûteux à utiliser. On a longtemps pensé que tout cela était indispensable pour représenter la fluorescence, mais nous nous sommes rendus compte que nous pouvions finalement faire sans. »

Traditionnellement, la fluorescence est représentée par une grande matrice qui prend en compte toutes les longueurs d'ondes du spectre en entrée et en sortie. La solution trouvée par l'équipe-projet Manao est d’utiliser une matrice bien plus petite, dite matrice réduite, qui permet de traiter directement des couleurs. Face à un matériau fluorescent, cette matrice va déterminer comment une couleur en entrée donne lieu à une couleur en sortie. Par exemple, lorsqu'il s'agit d'un gilet jaune, porté de nuit sur les routes, la matrice va représenter les caractéristiques de ce matériau. Si l’on dispose d’une mesure spectrale de ce matériau dans une base de données, il suffit alors de la convertir en matrice réduite de sorte à ce que lorsqu’une lumière blanche l'éclaire, la couleur de sortie sera d'un jaune fluo très vif.

Grâce à cette matrice réduite, le rendu RGB peut être utilisé sans avoir à utiliser le lourd rendu spectral. Pour tenir compte de la lumière en dehors du spectre visible, la méthode est également étendue au rendu RGB-U pour prendre en compte les ultraviolets. Cette méthode innovante a fait l'objet en 2024 d'un premier article scientifique. « Ce que nous avons aussi voulu, précise Pascal Barla, c'est que les artistes puissent s'en servir facilement. » Toutefois, le logiciel ne répond pas encore alors parfaitement aux besoins : « Nous nous sommes rendus compte qu'il n'était pas très pratique de s’en tenir à une base de données lorsque l'on veut créer quelque chose de spécifique », confie le chercheur.

Ce constat a conduit à l’élaboration d’un logiciel encore plus sophistiqué pour construire des images de synthèse incluant la fluorescence. « Ici, les artistes peuvent vraiment tout contrôler, affirme Pascal Barla. Ils ont à disposition une base de données reprenant les propriétés de différents matériaux, mais en plus ils peuvent les mélanger, les modifier, en créer des nouveaux à leur guise et avec une interface accessible. » Cette nouvelle technique a conduit à la publication d'un deuxième article scientifique en 2025.

Le logiciel fonctionne si bien qu'il peut même être utilisé dans le jeu vidéo, un secteur qui exige une puissance de calcul considérable et une rapidité d'exécution. « Le procédé est extrêmement simplifié, résume Pascal Barla. Il suffit de caractériser le modèle dans n'importe quelle configuration et le logiciel déterminera la couleur de sortie en fonction de la couleur d’entrée. Et le rendu s’avère très proche de ce qu'on aurait en réalité. » Avec ce logiciel, il est donc facile pour les artistes de représenter de manière réaliste, par exemple, l'effet d'une lumière invisible à nos yeux, comme celle d'une lampe à rayons ultraviolets qui éclaire certains matériaux fluorescents.

Globalement, ce rendu RGB amélioré offre un résultat très satisfaisant avec beaucoup moins de ressources, pour la plupart des utilisations. Néanmoins, le procédé présente encore des limites. Par exemple, il ne peut pas réellement servir pour certains usages comme en architecture où l’image produite doit prédire au mieux l’apparence, ce qui nécessite encore un outil de rendu spectral.  

Même si le logiciel est avant tout destiné aux créateurs et artistes numériques, Pascal Barla et son équipe visent également d'autres fins, notamment la conservation du patrimoine. Ainsi, un partenariat a été noué avec un musée aux Pays-Bas autour d'œuvres du peintre Frank Stella. Le but : repérer la détérioration des pigments qui perdent peu à peu leur fluorescence, un phénomène rendu visible grâce à des casques de réalité augmentée équipés de la méthode RGB développée par Manao.  

L'équipe planche aussi sur la problématique du métamérisme, ce mécanisme par lequel l'œil humain voit deux couleurs identiques selon l'éclairage, même si elles s’avèrent différentes. « Notre approche scientifique reste la même : représenter des phénomènes spectraux, mais sans se servir du rendu spectral, résume Pascal Barla. Nous parlons alors d'imagerie pseudo-spectrale avec laquelle nous obtenons non seulement les avantages d'une représentation fidèle et précise, mais aussi la puissance de calcul d'une imagerie sommaire. Bref, nous voulons le beurre et l’argent du beurre ! ».