[PC] Filtre d'IA pour améliorer le rendu des jeux!

Le 12 mai 2021 à 16:17:39 :

Le 12 mai 2021 à 15:50:45 :

Le 12 mai 2021 à 15:49:42 :

Le 12 mai 2021 à 15:48:54 :

Le 12 mai 2021 à 15:47:36 :
Je suis ingénieur en IA et c'est vraiment énorme ce qu'ils ont fait

Si nofake, peux-tu donner quelques infos sur les IA utilisées?

Nofake, je regarde un peu plus en détail et je te dis

Merci khey

J'ai juste mâté en particulier l'explication de la vidéo donc je vais pas détailler à mort mais apporter plus d'explications pour les non-experts :

En gros les données d'entrée du jeu sont à la fois l'image vue + un buffer (le fameux G-Buffer), contenant des informations supplémentaires non "visuelles" mais géométriques. De ce Buffer on crée un 'feature tensor', en gros un vecteur contenant des caractéristiques tirées de ce G-buffer permettant, pour faire simple, de résumer et de faire comprendre à l'Image enhancement Network ce qui est tiré du G-buffer. Ce qui est vachement poussé c'est la partie segmentation (isoler le ciel, isoler les voitures etc...) de leur encoder. Donc l'encoder va combiner les résultats de segmentations avec un encodage du G-buffer (info géométriques) via réseaux convolutifs (go checker CNN, c'est à la portée de tous) pour enfin passer le tenseur dans un réseau résiduel, encore une fois resnet est facile à comprendre, on fait passer des infos directement entre des couches dans l'objectif de garder le plus d'infos plutôt que de manière classique, de manière séquentielle.

Ensuite on utilise le résultat du buffer + image rendue du jeu de base dans l'image enhancement network qui, d'après ce qui est dit, est un HRnet (high resolution network), je m'avance pas trop dessus, si j'ai rapidement bossé sur de la super-resolution, je suis pas un pro de ces réseaux là mais globalement le gros de l'IA est ici.

On passe maintenant au Perceptual dicriminator qui sert à évaluer les performances. Il contient, comme dit dans la vidéo, un réseau de segmentation (à vu d'oeil c'est style U-net à 99%) + VGG16 qui est un réseau très connu et déjà entraîné sur la base imagenet dont le but, à la base, est de classifier des objets. Sauf que souvent, on détourne l'utilité de VGG16 en le découpant un peu pour extraire des infos qui peuvent être utiles depuis une image. Par exemple j'ai utilisé VGG19 (comme vgg16) pour créer des peintures toutes faites à partir de photos (neural style transfer). Là on extrait des infos de l'image de GTA améliorée par le réseau précédent, ce qui est sensé être photoréalistic + vraie photo via VGG16. Avec le u-net on créer une label map (image segmentée) de l'image du jeu + vraie photo et grosso modo on compare les labels similaires entre ce qui est rendu par notre réseau et la vraie image. On veut comparer la voiture du jeu améliorée avec une vraie voiture grâce à une fonction permettant de quantifier cette différence, de la discriminer (d'où le 'discriminator') pour obtenir un 'realism score' qui nous servira à améliorer le réseau.

Voilà globalement ce que j'ai compris.

Merci pour tes renseignements dont je n'ai pas compris le quart, mais je vais regarder ce que tu dis être accessible

Le 12 mai 2021 à 16:35:55 :
ça dénature trop le rendu du jeu, on perd trop le côté ensoleillée de Los Angeles. Ils auraient du faire travaillé l'ia à Los Angeles et non en Allemagne.

Je pense qu'ils y ont réfléchi, mais le but n'est pas ici d'optimiser ça au max POUR GTA V simplement de développer la techno.

j'imagine que cela couterait très cher de faire ça la bas aussi.