[PC] Filtre d'IA pour améliorer le rendu des jeux!

Hola les geeks

Enhancing Photorealism Enhancement est un filtre qui utilise des IA pour améliorer le rendu des jeux, et sur cette page nous pouvons voir les résultats actuels sur GTA V:

https://intel-isl.github.io/PhotorealismEnhancement/

Ainsi qu'une vidéo explicative (malheureusement qu'en 720p actuellement):

C'est quand même pas mal du tout tout ça. Et de leurs dires, il ne s'agira pas de faire ça uniquement avec GTA V.

https://image.noelshack.com/fichiers/2017/18/1493800710-fine-herbe.png

Je suis ingénieur en IA et c'est vraiment énorme ce qu'ils ont fait

Le 12 mai 2021 à 15:47:36 :
Je suis ingénieur en IA et c'est vraiment énorme ce qu'ils ont fait

Si nofake, peux-tu donner quelques infos sur les IA utilisées?

Le 12 mai 2021 à 15:48:54 :

Le 12 mai 2021 à 15:47:36 :
Je suis ingénieur en IA et c'est vraiment énorme ce qu'ils ont fait

Si nofake, peux-tu donner quelques infos sur les IA utilisées?

Nofake, je regarde un peu plus en détail et je te dis

Le 12 mai 2021 à 15:49:42 :

Le 12 mai 2021 à 15:48:54 :

Le 12 mai 2021 à 15:47:36 :
Je suis ingénieur en IA et c'est vraiment énorme ce qu'ils ont fait

Si nofake, peux-tu donner quelques infos sur les IA utilisées?

Nofake, je regarde un peu plus en détail et je te dis

Merci khey

C'est moche la réalité putain

Mais c'est impressionnant

Dispo quand ?

Le 12 mai 2021 à 15:51:45 :
C'est moche la réalité putain

Mais c'est impressionnant

Ah bah c'est sûr que c'est pas la même chose, on sort presque du jeux vidéo. Comme dans la peinture et le mouvement de l’hyperréalisme.

j'ose pas imagine la gueule de la CG après quelques heure de jeuhttps://image.noelshack.com/fichiers/2017/19/1494343590-risitas2vz-z-3x.png

Sur le site, c'est vraiment pas mal.

J'ai hâte d'en voir plus.

Le 12 mai 2021 à 15:54:07 :
Dispo quand ?

Aucune idée, je ne sais même pas si ce sera dispo pour le public où s'il s'agira d'une technologie qu'ils vendront justement pour les développeurs .

faudrait qu'ils retire l'aspect veile photo dégueulasse

Le 12 mai 2021 à 15:55:52 :
j'ose pas imagine la gueule de la CG après quelques heure de jeuhttps://image.noelshack.com/fichiers/2017/19/1494343590-risitas2vz-z-3x.png

S'il s'agit de différentes IA, c'est aussi le proco qui peut trinquer j'imagine.

J'avais fait un autre topic, l'intérêt ça va être surtout dans des simulateurs/jeux se voulant réalistes (ARMA, MFS etc)

La révolution du JV, ok la réalité c'est terne mais à partir de là tu peux modifier les curseurs comme tu veux pour atteindre l'identité visuelle du jeu

J'avais fait un autre topic, l'intérêt ça va être surtout dans des simulateurs/jeux se voulant réalistes (ARMA, MFS etc)

La révolution du JV, ok la réalité c'est terne mais à partir de là tu peux modifier les curseurs comme tu veux pour atteindre l'identité visuelle du jeu

Carrément, même si ça me rappel quand même pas mal d’essais de moddeurs à l'époque sur Crysis qui voulaient s'approcher d'une image comme celle là.

La limite de ce système c'est qu'il crée une image telle que sont les photos, et donc ajoute les defauts des appareils (en particulier la couleur), mais c'est déjà une énorme avancée, je pense que ce sera corrigé plus tard et proposera de "tuner" le rendu photorealiste pour coller avec la vision de la DA du jeu.

Techniquement intéressant mais artistiquement bof

Après de ce qu'ils disent ce sont majoritairement des images de rues allemandes donc la colorimétrie colle pas avec Los Angeles, j'aimerais voir ce que ça donne avec des images de LA

Le 12 mai 2021 à 15:50:45 :

Le 12 mai 2021 à 15:49:42 :

Le 12 mai 2021 à 15:48:54 :

Le 12 mai 2021 à 15:47:36 :
Je suis ingénieur en IA et c'est vraiment énorme ce qu'ils ont fait

Si nofake, peux-tu donner quelques infos sur les IA utilisées?

Nofake, je regarde un peu plus en détail et je te dis

Merci khey

J'ai juste mâté en particulier l'explication de la vidéo donc je vais pas détailler à mort mais apporter plus d'explications pour les non-experts :

En gros les données d'entrée du jeu sont à la fois l'image vue + un buffer (le fameux G-Buffer), contenant des informations supplémentaires non "visuelles" mais géométriques. De ce Buffer on crée un 'feature tensor', en gros un vecteur contenant des caractéristiques tirées de ce G-buffer permettant, pour faire simple, de résumer et de faire comprendre à l'Image enhancement Network ce qui est tiré du G-buffer. Ce qui est vachement poussé c'est la partie segmentation (isoler le ciel, isoler les voitures etc...) de leur encoder. Donc l'encoder va combiner les résultats de segmentations avec un encodage du G-buffer (info géométriques) via réseaux convolutifs (go checker CNN, c'est à la portée de tous) pour enfin passer le tenseur dans un réseau résiduel, encore une fois resnet est facile à comprendre, on fait passer des infos directement entre des couches dans l'objectif de garder le plus d'infos plutôt que de manière classique, de manière séquentielle.

Ensuite on utilise le résultat du buffer + image rendue du jeu de base dans l'image enhancement network qui, d'après ce qui est dit, est un HRnet (high resolution network), je m'avance pas trop dessus, si j'ai rapidement bossé sur de la super-resolution, je suis pas un pro de ces réseaux là mais globalement le gros de l'IA est ici.

On passe maintenant au Perceptual dicriminator qui sert à évaluer les performances. Il contient, comme dit dans la vidéo, un réseau de segmentation (à vu d'oeil c'est style U-net à 99%) + VGG16 qui est un réseau très connu et déjà entraîné sur la base imagenet dont le but, à la base, est de classifier des objets. Sauf que souvent, on détourne l'utilité de VGG16 en le découpant un peu pour extraire des infos qui peuvent être utiles depuis une image. Par exemple j'ai utilisé VGG19 (comme vgg16) pour créer des peintures toutes faites à partir de photos (neural style transfer). Là on extrait des infos de l'image de GTA améliorée par le réseau précédent, ce qui est sensé être photoréalistic + vraie photo via VGG16. Avec le u-net on créer une label map (image segmentée) de l'image du jeu + vraie photo et grosso modo on compare les labels similaires entre ce qui est rendu par notre réseau et la vraie image. On veut comparer la voiture du jeu améliorée avec une vraie voiture grâce à une fonction permettant de quantifier cette différence, de la discriminer (d'où le 'discriminator') pour obtenir un 'realism score' qui nous servira à améliorer le réseau.

Voilà globalement ce que j'ai compris.

Le 12 mai 2021 à 15:57:22 :
faudrait qu'ils retire l'aspect veile photo dégueulasse

S'ils le règlent en flat ( en gros ultra dessaturé, limite noir et blanc, juste des variations de gris) comme dans la vidéo/cinéma, les développeurs peuvent gérer l'étalonnage comme bon leur semble derrière

ça dénature trop le rendu du jeu, on perd trop le côté ensoleillée de Los Angeles. Ils auraient du faire travaillé l'ia à Los Angeles et non en Allemagne.