Si. GPT-3 prédit la fin des phrases (bon gpt a une architecture un peu particulière mais ça reste assez standart). Chat-GPT est "finetuné" en utilisant le retour de personnes pour le mettre dans "l'humeur" de quelqu'un qui te répond comme un assistant.
Le 26 mars 2023 à 13:44:06 : Si. GPT-3 prédit la fin des phrases (bon gpt a une architecture un peu particulière mais ça reste assez standart). Chat-GPT est "finetuné" en utilisant le retour de personnes pour le mettre dans "l'humeur" de quelqu'un qui te répond comme un assistant.
donc en input il prend ta phrase et puis te retourne la meilleure réponse grâce aux pré entrainements de paramètres du NN ?
Je vois pas bien comment c'est possible sur les devinettes ...
Le 26 mars 2023 à 13:44:06 : Si. GPT-3 prédit la fin des phrases (bon gpt a une architecture un peu particulière mais ça reste assez standart). Chat-GPT est "finetuné" en utilisant le retour de personnes pour le mettre dans "l'humeur" de quelqu'un qui te répond comme un assistant.
donc en input il prend ta phrase et puis te retourne la meilleure réponse grâce aux pré entrainements de paramètres du NN ?
Je vois pas bien comment c'est possible sur les devinettes ...
Ce sont des réseaux récurrents, donc il y a une boucle dans le réseaux pour chaque mot entrée, qui va modifier l'état interne du réseau et influencer la sortie.
Après il y a indéniablement une partie "magique" non intuitive qui fait que depuis qu'on a les capacité de faire tourné des modèles énormes, on ne comprend pas tout à fait pourquoi ça marche aussi bien
Le 26 mars 2023 à 13:47:29 : Ok autant pour moi j'avais pas vu, apparemment déjà rien que le 3 a 75Md de paramètres
75 MILLIARDS BORDEL
Et après ca vient chialer pour l'écologie
Ca coute pas tellement d'énergie de faire l'inférence et donc de répondre, par contre entrainer le modèle ouais ça leurs a couté des millions d'euros d'électricité.
Le 26 mars 2023 à 13:44:06 : Si. GPT-3 prédit la fin des phrases (bon gpt a une architecture un peu particulière mais ça reste assez standart). Chat-GPT est "finetuné" en utilisant le retour de personnes pour le mettre dans "l'humeur" de quelqu'un qui te répond comme un assistant.
donc en input il prend ta phrase et puis te retourne la meilleure réponse grâce aux pré entrainements de paramètres du NN ?
Je vois pas bien comment c'est possible sur les devinettes ...
Ce sont des réseaux récurrents, donc il y a une boucle dans le réseaux pour chaque mot entrée, qui va modifier l'état interne du réseau et influencer la sortie.
Après il y a indéniablement une partie "magique" non intuitive qui fait que depuis qu'on a les capacité de faire tourné des modèles énormes, on ne comprend pas tout à fait pourquoi ça marche aussi bien
Ouai ça je sais, la descente de gradient et le back propagation mais enfin je veux dire c'est quand même incroyable que seul un réseau de neurone permet ça
Le 26 mars 2023 à 13:47:29 : Ok autant pour moi j'avais pas vu, apparemment déjà rien que le 3 a 75Md de paramètres
75 MILLIARDS BORDEL
Et après ca vient chialer pour l'écologie
Ca coute pas tellement d'énergie de faire l'inférence et donc de répondre, par contre entrainer le modèle ouais ça leurs a couté des millions d'euros d'électricité.
Mais au moins maintenant on connait les bons paramètres donc c'est déjà ça
Parcontre ils risquent de se créer une excuse écologique pour être le seul à entrainer une IA et ça c'est relou
API disponible. Utilisez le paramètre "api" en GET, peu importe le contenu, sur une page du site.
Notes
Partenaire: JVFlux Ce site n'est pas associé à Jeuxvideo.com ou Webedia. Nous utilisons seulement des archives publiques. Il est inutile de me spammer par e-mail pour supprimer un topic. Au contraire, en conséquence, je mettrais votre topic dans le bloc ci-dessous.
