Est-ce-que les GPU sont les meilleurs système pour entraîner l'IA ?

Perso j'ai un doute

C'est vrai, expliquez à un noob (comme me) pourquoi c'est le gpu qui taf pour produire du texte et pas le cpu

Ca a rien a voir avec le travail sur image ou pas c'est le type de calcul

[09:16:04] <fefbnh>
C'est vrai, expliquez à un noob (comme me) pourquoi c'est le gpu qui taf pour produire du texte et pas le cpu

Tu as 1000000 de différentes sources pour te montrer pourquoi

Par contre par rapport à un fpga ou asic...

Parce qu'un GPU est câblé pour faire du calcul parallèle massif et pas un CPU.

Dit grossièrement un GPU c'est "juste" énormément de processeurs mis en parallèles.

[09:16:04] <fefbnh>
C'est vrai, expliquez à un noob (comme me) pourquoi c'est le gpu qui taf pour produire du texte et pas le cpu

Un GPU est optimisé pour faire des additions et des multiplications a la chaîne

Exactement ce qu'on a besoin pour l'IA

Un cpu est beaucoup moins rapide mais beaucoup plus versatile

De mémoire pour l'IA il l'entraîne avec des grappes de serveur GPU pas des CPU car plus puissant

Si je dit pas de connerie

Le 19 septembre 2024 à 09:16:04 :
C'est vrai, expliquez à un noob (comme me) pourquoi c'est le gpu qui taf pour produire du texte et pas le cpu

En fait quand tu veux entraîner un modèle d'IA, beaucoup de calculs peuvent être faits en parrallèle (c'est à dire les faire en même temps, plus top que les faire les uns après les autres).

Le processeur (CPU), si je ne dis pas de bêtises, est designé pour faire des opérations plus rapidement, mais il n'est pas capable d'en faire beaucoup en même temps.

La carte graphique (GPU) est designé différemment, sont architecture permet de réaliser des opérations moins rapidement que le CPU, par contre elle peut enfaire beacoup plus en même temps.

Si tu as des opétations à faire les unes après les autres (ce n'est pas toujours possible des les faire en même temps, c'est par exemple le cas, si une opération dépend de l'opération précédente) le CPU est plus efficace, en revance, s'il y a énormemment d'opérations à faire en même temps, le GPU est beaucoup plus efficace.

Je pense qu'on peut trouver mieux mais faudrait carrément changer de paradigme et ça c'est difficile pour l'être humain..

Le 19 septembre 2024 à 09:24:38 :
Je pense qu'on peut trouver mieux mais faudrait carrément changer de paradigme et ça c'est difficile pour l'être humain..

Il est exite les TPU, qui ont été developpé exprès je crois, je ne sais pas ce que ça vaut par rapport au GPU