VT2015 Rendu Expressif

Présentation

• Enseignants : Georges-Pierre Bonneau, Didier Donsez (VT2015)
• Sujet : Rendu expressif
• Date : 9 octobre 2015
• Auteur : Christophe Adam

Résumé

Le rendu expressif est une branche assez jeune de la synthèse d'image qui a pour but non pas de créer des images qui sont le résultat de simulations de phénomènes physiques réalistes mais qui cherche plutôt à transmettre visuellement des informations sur les objets représentés grâce à une grande variété de styles (dessin, aquarelle, etc.). Ce type de rendu est par exemple très utilisé dans le domaine de l'archéologie. En effet, il permet de représenter des monuments archéologiques lors de reconstruction 3D sans pour autant biaiser l'interprétation par une représentation trop réaliste.

Mots clefs

Rendu expressif, infographie, synthèse d’image, reconstruction 3D, filtre, effet, stylisation.

Abstract

The expressive rendering is a young branch of computer graphics. Its aims is not to create images that are the result of realistic simulations of physical phenomena but rather seeks to visually convey information about the objects represented by a wide variety of styles (drawing, watercolor, etc.). This type of rendering is widely used in the field of archeology for example. Indeed, it is used to represent archaeological monuments in 3D reconstruction without sidestep the interpretation by a too realistic representation.

Key Words

Expressive rendering, computer graphics, image synthesis, 3D reconstruction, filter, effect, stylisation.

Synthèse sur le rendu expressif

Introduction

Le rendu expressif est une branche récente de la synthèse d'image qui a considérablement évolué durant ces dernières années. Il avait d'abord pour but d'imiter les styles artistiques existant (peinture à l’huile, aquarelle, dessin au crayon, etc.) ou d'en créer de nouveaux grâce à l'ordinateur. C'est pour cela que cette branche de l'infographie a d'abord été appelée non-photoréaliste (NPR en anglais). Le rendu expressif ne cherchait pas à reproduire les lois de la physique de façon fidèle au sein d'une scène. Par la suite, ce domaine a évolué est ne se bornait plus uniquement à reproduire des styles existant mais aussi à transmettre un message spécifique dans un style donné.

Fig. 1 : Image non réaliste générée à partir d’algorithmes physiquement réalistes. Shrek 4 c. PDI Dreamworks.

Différentes méthodes de rendu expressif

Les hachures

Les hachures ont donné suite à de nombreuses recherches dans le domaine du rendu expressif. Le style des hachures est constitué de traits se chevauchant dans différentes directions. On les retrouve généralement dans les bandes dessinés ou encore dans les illustrations scientifiques. Elles permettent de représenter le volume d'un objet ainsi que l'intensité lumineuse s'y reflétant.

Fig. 2 : Les Tonal Art Maps (à gauche) sont plaquées sur un objet 3D (à droite) pour obtenir un rendu hachuré.

Les pointillés

Les pointillés ont également fait l'objet d'études approfondies en informatique. Comme pour les hachures, ils ont pour but de montrer les contrastes entre zones d’ombres et zones éclairées sur un objet ou dans une image.

Fig. 3 : (a) Style “Hedcut” utilisant des lignes et des pointillés pour représenter le visage de personnalités. (b) Imitation de peinture à l’huile sur une image.

Les peintures à l’huile

Les peintures à l’huile ont pour but de représenter les styles artistiques traditionnels comme l’impressionnisme, l’expressionnisme ou le pointillisme. Pour arriver à un tel résultat, il est nécessaire de créer de petites régions texturées sur l'intégralité d'une image de façon a représenter les coups de pinceau.

Fig. 4 : Rendu peinture à l'Huile à partir d'une photographie.

Les aquarelles

Les aquarelles ne sont pas constituées de coup de pinceaux mais plutôt d'aplats de couleurs possédant leurs propres caractéristiques. L’objectif est encore une fois de reproduire un style existant pour produire des effets visuels plaisants.

Fig. 5 : (a) Aquarelle physiquement réaliste de Curtis et al. (b) Rendu temps-réel de Bousseau et al.

Les styles cartoon

Les styles cartoon ont aussi été très étudiés. Ils sont utilisés dans l'industrie lors de la réalisation de film, de dessins animés et de jeux vidéo. Le rendu cartoon est constitué d'aplats et des discontinuités entre les couleurs, d'abstractions de formes et de matériaux ainsi de segmentations.

Fig. 6 : Rendu de type cartoon sur des images fixes de Kang et al.

Les dessins techniques

Les dessins techniques ont moins un côté artistique. Ils sont plutôt utilisés pour la représentation de carte, de dessin explicatif ainsi qu'en Conception Assistée par Ordinateur (CAO). Ils sont donc plus d'ordre explicatif qu'artistique.

Fig. 7 : Par comparaison avec une photographie satellite, la carte routière a été conçue de manière à montrer des éléments indispensables pour se repérer dans l’espace : les couleurs spécifiques des routes, leurs directions, certains lieux, etc. c. Google maps.

Les analogies

Les analogies ont pour objectifs de reproduire des styles existants. Par exemple, il est possible de créer des fonctions permettant de transférer les couleurs d’une image vers une autre.

D’autres styles

Le domaine du rendu expressif étant très large, de nombreux autres styles peuvent être créés grâce à l'informatique. Il est donc possible de transmettre toute sorte de message en utilisant les bons styles. Il y a donc une infinité de message et de style possible.

Les techniques classiques du rendu expressif

Le rendu « cartoon », aussi appelé « cel shading » en anglais, est principalement composé de deux éléments : une stylisation de l'éclairage et une accentuation des contours. C'est deux technique sont misent ensemble pour créer le style « cartoon » mais travaillent de façon radicalement différentes.

La stylisation de la lumière

Le « cel shading » est un terme anglais qui signifie littéralement « ombrage de celluloïd ». Il s'agit ici de donner du volume aux objets en utilisant les techniques d'ombrage qui étaient utilisées dans les dessins animés classiques.

Fig. 8 : Le rendu cartoon du jeu « Jet Set Radio ». À gauche, le rendu avec ombrage de Gouraud, et à droite avec cel-shading. Image emunova.net

Figure 9 : Cel-shading classique. Rendu classique (à gauche) et rendu cel-shading au pixel, avec prise en compte d'une texture de normale (au centre). À droite, la texture 1D qui sert à régler le dégradé de lumière. Modèle issu de RenderMonkey

Les effets de contours

Le style « cartoon » accentuent les bords des objets par des traits de contour comme le font les dessinateurs de bandes dessinées. Ils servent à la fois au style plastique, mais également à la lisibilité.

Contours par épaississement du maillage

Fig. 10 : Constructions des contours d'une forme par épaississement du maillage. La forme à détourer (a.) va voir ses bords s'écarter en fonction des normales des sommets (b.), puis dessinée en noir (c.). La forme originale est ensuite dessinée normalement par dessus.

La technique ci-dessus est redoutablement efficace mais n'est cependant pas parfaite. En effet, la forme doit avoir des normales douces pour que tout ce passe bien. Dans le cas contraire, il risque d'y avoir des trous dans le maillage qui seront encore plus visible si le contour est épais. Pour des objets organiques comme les mains d'un personnage par exemple, cela fonctionnera bien mais pour un objet tel qu'une caisse, cette technique ne permettra pas d'obtenir des contours corrects comme le montre l'illustration ci-dessous.

Fig. 11 : Les artefacts liés à l'épaississement. À gauche, l'extrusion des bords sur une forme douce produits un contour correct. À droite, l'extrusion des bords sur une forme dure laisse des trous dans le contour.

Cependant, la technique précédente peut être améliorée pour obtenir les contours intérieurs de l'objet aux endroits concaves qui se replient sur eux même alors que la technique basique ne dessine que les contours extérieurs, la frontière entre l'objet et le décor.

Fig. 12 : Contours extérieurs et intérieurs en 3D. Contours extérieurs d'un l'objet dessiné fin (a.) et épais (b.). Utilisation du Z-buffer pour l'obtention des contours extérieurs et intérieurs de l'objet, dessinés fin (c.) et épais (d.). Les contours intérieurs épais avec la méthode du Z-buffer créent des artefacts indésirables à certains endroits. Modèle issu de RenderMonkey

Contours au pixel en fonction de la normale de la surface

Une seconde technique consiste à utiliser directement la normale de l'objet dans le pixel shader pour dessiner la couleur du contour lorsque la normale de la surface est suffisamment perpendiculaire à la direction de la caméra. Ainsi, une sphère verra ses bords correctement détourés. Cette technique est utile, mais montre de grandes limites. Tout d'abord, elle ne fonctionne qu'avec des objets organiques, encore une fois, mais à un niveau plus fort que la technique d'épaississement des bords. Ici, il est nécessaire que les courbes des surfaces soient douces et suffisamment subdivisées pour que les contours puissent apparaître.

Fig. 13 : Comparaison des techniques de dessins des contours. Affichage de contours selon la normale de la surface (à gauche), par épaississement du maillage (au centre) et une combinaison des deux techniques (à droite).

Contours par extrusion des arêtes de bords

Cette technique consiste à sélectionner précisément les arêtes qui constituent un bord, c'est-à-dire un repli dans la surface du point de vue de la caméra. Ces arêtes sont identifiées en comparant la direction de la normale des deux faces qui constituent une arête. La direction de la normale d'une face par rapport à la caméra définit si c'est une « front face » (vers la caméra) ou une « back face » (dos à la caméra). Si une face pointe vers l'avant et qu'une face adjacente pointe vers l'arrière, c'est que l'arête entre les deux est un repli dans la surface, donc un bord.

Fig. 14 : Extraction des arêtes de contours d'un maillage. En bleu, les normales des faces qui pointent vers la caméra et en rouge les autres. Les arêtes rouges séparent des faces des deux types et sont dons des arêtes de contours.

Une fois toutes ces arêtes sélectionnées, il est possible de créer un maillage constitué d'un rectangle le long de chaque arête et orienté vers la caméra. L'épaisseur du rectangle détermine l'épaisseur des contours. Cette technique permet d'obtenir des contours très manipulables. Il est notamment possible d'afficher une texture sur les rectangles afin de dessiner des contours moins réguliers, avec par exemple un aspect « coups de crayons » qui ouvre la voie vers des styles de rendus très travaillés.

Fig. 15 : Placement de rectangles sur les arêtes de contour (à gauche) et placement d'une texture dessinées manuellement sur les rectangles (à droite)

Contours par filtre de détection

Enfin, cette dernière technique de dessin de contours est celle de la détection bidimensionnelle des contours par l'application d'un filtre.

Le filtre « sobel »

Le filtre « sobel » s'applique en deux passes successives, chacune détectant les contours selon un des axes de l'image. Une fois le filtre appliqué, l'image contient les contours.

Fig. 16 : Exemple d'application du filtre de sobel sur une photographie Image Wikipedia (Greudin)

Utilisation de la profondeur et de la normale

Cette technique utilise les images de profondeur (z-buffer) et de normales (orientation de la surface en espace-écran ou en espace-monde) dans la détection des contours.

Fig. 17 : Filtre de détection de contours. Image de profondeur (a.) et de normale (b.) et les détections de contours respectives (c. et d.) Combinaison des détections avec profondeur et avec normale (e.). Modèle 3D de R.Taylor - archive3D.net

Utilisation de couleurs unies

Il est également possible produire une image avec des couleurs unies pour faire de la détection de contours. Dans cette image, chaque objet sera dessiné avec une couleur uniforme et différente des autres objets. La détection de contours dessine alors parfaitement les contours extérieurs des objets.

Fig. 18 : Extraction des contours à partir d'un rendu spécifique. Le rendu, constitué essentiellement d'aplats et de dégradés (a.). Extraction de contours d'un pixel de large (b.) et de 8 pixels de large (c.). La version à 8 pixels de large présente des artefacts aux coins des objets. Les contours peuvent être adoucis par l'application d'un léger flou gaussien sur des contours de 2 pixels de large (d.).

Faire varier le contour

Il est également possible d'additionner plusieurs détections de contours avec un décalage différent de façon à obtenir des contours en plusieurs traits et plus complexes. L'ajout d'un flou gaussien puis d'une augmentation du contraste adoucira les traits dans leur forme et dans leur trajectoire.

Figure 19 : Application d'une déformation sur les contours. De gauche à droite : détection des contours avec déformation en espace-écran, moyenne de trois détections avec des décalages différents, ajout d'un filtrage gaussien et amplification du contraste pour un effet « encre de chine ». Modèle 3D de R.Taylor - archive3D.net

Les techniques modernes du rendu expressif

WYSIWYG NPR : un outil de travail du rendu expressif

L'outil WYSIWYG NPR des universités Princeton et Brown est un outil permettant de peindre directement sur les objets 3D d'une scène. Le logiciel adaptera cette peinture lors des changements d'angles de caméra.

Fig. 20 : La technique de WYSIWYG NPR. De gauche à droite : Modèle avec contours basiques, ajout d'un éclairage, stylisation des contours, ajout d'une « décalcomanie », ajout des hachures et résumé des caractéristiques.

Fig. 21 : Exemples de styles graphiques atteignables grâce au projet WYSIWYG NPR.

Journey

Le jeu vidéo « Journey » sorti en 2012 sur le PlayStation Network est un bel exemple des techniques modernes du rendu expressif. Le jeu n'utilise que très peu de texte. La narration implicite du jeu se fait via des indices visuels et par les émotions ressenties chez le joueur. Le jeu repose sur un équilibre entre simplicité et complexité. La simplicité est présente dans l'utilisation d'aplats de couleurs alors que les effets de brumes, de vents de sable ou de neige ajoutent une touche de complexité visuelle. L'essentiel de l'expérience repose ainsi sur la découverte et l'exploration de différentes atmosphères et l'émerveillement devant les modifications que le joueur peut y apporter.

Fig. 22 : Le jeu vidéo « Journey » (2012)

Okami

Le jeu vidéo « Okami » (2006) réalisé par le studio Clover est lui aussi un parfait exemple des techniques modernes du rendu expressif. Il s’inspire des œuvres du peintre japonais Katsushika Hokusai (début du 19ème) et du courant artistique qu'il représente (le ukiyo-e), un style d'estampes japonaises. Les techniques utilisées sont étonnantes et le rendu est très singulier. L'univers du jeu est toujours en mouvements, les bords noirs ondulent, des effets de coulures sont visibles (par exemple lorsque le joueur utilise le pinceau dans le jeu), et de nombreux effets de fumées sont utilisés lors des apparitions et disparitions des monstres du jeu.

Fig. 23 : Les dessins d'ambiance du jeu vidéo « Okami » (2006)

Fig. 24 : Deux peintures de Katsushika Hokusai

Création de techniques expressives

Il est également possible de créer ses propres techniques expressives.

L'effet « rêve »

L'idée est de flouter certaines parties de l'image afin de concentrer le regard et l'attention du spectateur sur les points importants du souvenir. Pour cela, il est nécessaire de jouer sur la profondeur de champ et sur la liaison entre la déformation et le flou.

Fig. 25 : Utilisation de l'effet « rêve » pour un prototype.

Fig. 26 : L'effet "rêve" déforme et rend flou différentes parties du décor en fonction du temps.

Intégration des fluides dans le rendu expressif

Certaines techniques utilisent la physique réelle, d'autres s’intéressent uniquement à reproduire les effets visuels de manière purement déterministe et d'autres les deux en même temps. Comme le montre la figure ci-dessous, il est possible de représenter des fluides sans simuler la vélocité d'un objet. Le mouvement du fluide ne suit alors pas une logique physique mais le rendu est très esthétique. Cette technique a l'avantage d'être très peu coûteuse et très contrôlable.

Fig. 27 : Application d'un effet de fluide en espace écran afin de briser les contours nets de la surface.

Enfin, il est également possible d'utiliser les fluides pour déformer l'image de la scène, et notamment les contours.

Fig. 28 : Projet interactif regroupant les fluides en espaces-écran et les effets de rendu au trait.

Le travail de la matière hachurée

Les textures hachurées peuvent être utilisées pour représenter les ombres et les dégradés. Elles sont constituées d'un groupe de lignes dans différentes directions ayant pour but de donner des informations sur la direction où l'épaisseur d'un objet. Les hachures sont des indices visuels illustrant l'éclairage, les propriétés d'un matériau, ou encore la forme de la surface. Ce type de visuel est directement hérité du dessin traditionnel et du croquis. On le trouve également beaucoup dans la bande dessinée.

Les « Tonal Art Map »

Fig. 29 : Les Tonal Art Maps (à gauche) sont plaquées sur un objet 3D (à droite) pour obtenir un rendu hachuré.

Dessin manuel des textures

Il est très important de rajouter les hachures entre chaque niveau de texture et de ne pas recommencer à zéro à chaque fois. Il est ainsi possible de passer d'une texture à l'autre avec une transition douce et logique, car certaines hachures restent persistantes entre les différents niveaux de luminosité.

Fig. 30 : Exemple de Tonal Art Map dessinée manuellement. La luminosité moyenne diminue de gauche à droite.

Résultat après placage des textures dessinées manuellement :

Fig. 31 : Application d'une Tonal Art Map sur un modèle de statue. Modèle issu de RenderMonkey

Conclusion

Le rendu expressif s'inspire des œuvres de la peinture et du dessin afin de proposer un degré d'expression plastique plus poussé. Le rendu expressif rejoint donc la recherche en rendu dit « photoréaliste ». Les deux domaines sont en train de converger et de s'échanger des techniques et des outils. De nombreux jeux vidéo s'inspirent du rendu expressif pour styliser leur rendu et éviter la comparaison avec la réalité photographique. Il existe de nombreuse méthodes de rendu expressif tel que les hachures, les pointillés, les peintures à l’huile, les aquarelles, les styles cartoon, les dessins techniques et de nombreux autres. Les techniques classiques du rendu expressif utilisent la stylisation de la lumière ainsi que par les effets de contours (par épaississement du maillage, au pixel en fonction de la normale de la surface, par extrusion des arêtes de bords, par filtre de détection). Les techniques modernes du rendu expressif telles que WYSIWYG NPR, ainsi que les techniques utilisées dans les jeux vidéo Journey et Okami vont plus loin en ajoutant des effets tel que le vent, la neige, les fluides, etc. mais ne respecte pas les lois de la physique comme le fait le rendu « photoréaliste ». Le rendu expressif permet donc de créer une infinité de style différent adapté à toute sorte de besoin.

Notes et Références

Thèse de doctorat en « Histoire de l'Art », École Doctorale Montaigne Humanités (ED 480), Université Michel de Montaigne Bordeaux 3, "Infographie, images de synthèse et patrimoine monumental, Espace de représentation, espace de médiation", Jessica Fèvres – de Bideran, 2012

Thèse de doctorat en Esthétique, Science et Technologie des Arts, U.F.R Arts, Philosophie, Esthétique, Université Paris 8, Vincennes-Saint-Denis, « Du photoréalisme au rendu expressif en image 3D temps réel dans le jeu vidéo : programmation graphique pour la profondeur de champ, la matière, la réflexion, les fluides et les contours », Antoine Zanutinni, 2012

Thèse de doctorat en Informatique, École de doctorale de mathématiques et d'informatique, Université Bordeaux 1, « Communication expressive de la forme au travers de l’éclairement et du rendu au trait », Romain Vergne, 2010

Habilitation à diriger des recherches, « Le rendu expressif, un ensemble d’outils et techniques pour la communication visuelle », Joëlle Thollot, 2008