Messages de PneuTueur67

Le 28 avril 2024 à 15:22:08 GusFringale a écrit :

Le 28 avril 2024 à 15:20:53 :

Le 28 avril 2024 à 15:19:44 https://www.jeuxvideo.com/profil/gusfringale?mode=infos a écrit :

Mais tes dialogues ont une forme particulières ? Pourquoi fine-tuner un chatbot qui fonctionne déjà parfaitement comme ça ?

oui une forme très particulièrehttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

Dans ce cas :
https://huggingface.co/docs/autotrain/llm_finetuning

merci je cherchais une doc comme ça

Le 28 avril 2024 à 15:22:23 pavillon15 a écrit :

Le 28 avril 2024 à 15:20:17 https://www.jeuxvideo.com/profil/alvin_brindille?mode=infos a écrit :
l'op veut faire un bot forumeur, répondez lui pas il va flood le forum avec sa merde

Bof deja qu'il galere a faire un truc aussi simple, je pense pas qu'il soit en capacité de flood

j'ai jamais fait de machine learning mais je sais poster sur le forum depuis un script t'inquiète pashttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

Le 28 avril 2024 à 15:21:10 GusFringale a écrit :

Le 28 avril 2024 à 15:20:01 :

Le 28 avril 2024 à 15:18:17 https://www.jeuxvideo.com/profil/gusfringale?mode=infos a écrit :

Le 28 avril 2024 à 15:16:55 :

Le 28 avril 2024 à 15:15:00 https://www.jeuxvideo.com/profil/gusfringale?mode=infos a écrit :

> Le 28 avril 2024 à 15:13:41 :

> N'ecoutes pas les jean-prepa ici, ils y connaissent rien.

>

> T'as juste a finetuner un modele open source pour avoir ce que tu veux

>

> Sinon t'as le service d'openai qui permet de finetuner gpt3.5

>

> https://platform.openai.com/docs/guides/fine-tuning

Bah du coup il entraine pas son modèle le singe, il récupère un modèle entrainé

En plus ta méthode est payante l'ahurin. Tu réponds au hasard c'est ça ?

Qu'est ce que tu raconte t'as meme pas compris la demande initiale de l'auteur.

" Comment je fais pour entraîner un modèle type GPT-2 sur ce jeu de données en Python ? Quelles librairies utiliser ? "

en plus à quoi ça servirait de finetuner GPT 3.5 ? Autant directement l'utiliser en tant que chatbot

il veut un LLM finetuné a partir d'un CSV, le low

" le low " , tu sais pas lire une phrase ?

Soit c'est pas ce qu'il veut soit il sait pas s'exprimer, dans les deux cas tu comprends rien

oui je veux fine tuner khey il a raison

Le 28 avril 2024 à 15:19:44 GusFringale a écrit :

Le 28 avril 2024 à 15:18:51 :

Le 28 avril 2024 à 15:18:17 https://www.jeuxvideo.com/profil/gusfringale?mode=infos a écrit :

Le 28 avril 2024 à 15:16:55 :

Le 28 avril 2024 à 15:15:00 https://www.jeuxvideo.com/profil/gusfringale?mode=https://www.jeuxvideo.com/profil/infos?mode=infos a écrit :

> Le 28 avril 2024 à 15:13:41 :

> N'ecoutes pas les jean-prepa ici, ils y connaissent rien.

>

> T'as juste a finetuner un modele open source pour avoir ce que tu veux

>

> Sinon t'as le service d'openai qui permet de finetuner gpt3.5

>

> https://platform.openai.com/docs/guides/fine-tuning

Bah du coup il entraine pas son modèle le singe, il récupère un modèle entrainé

En plus ta méthode est payante l'ahurin. Tu réponds au hasard c'est ça ?

Qu'est ce que tu raconte t'as meme pas compris la demande initiale de l'auteur.

" Comment je fais pour entraîner un modèle type GPT-2 sur ce jeu de données en Python ? Quelles librairies utiliser ? "

non mais khey il a raison je me suis peut-être mal exprimé mais je veux partir d'un modèle existant

Mais tes dialogues ont une forme particulières ? Pourquoi fine-tuner un chatbot qui fonctionne déjà parfaitement comme ça ?

oui une forme très particulièrehttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

Le 28 avril 2024 à 15:18:54 Feleftin a écrit :

Le 28 avril 2024 à 15:18:07 :

Le 28 avril 2024 à 15:17:56 https://www.jeuxvideo.com/profil/feleftin?mode=infos a écrit :

Le 28 avril 2024 à 15:14:49 :

Le 28 avril 2024 à 15:14:03 https://www.jeuxvideo.comom/profil/colverito?mode=https://www.jeuxvideo.com/profil/infos?mode=infos a écrit :
Premières données achetées sur le darknet

tu devineras jamais où j'ai trouvé çahttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

jvarchives ?

https://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

https://image.noelshack.com/fichiers/2022/14/1/1649074102-vieuxahi.png

bon il a fallu PARSER un peu la DATA mais c'est un MOVE de géniehttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

Le 28 avril 2024 à 15:18:17 GusFringale a écrit :

Le 28 avril 2024 à 15:16:55 :

Le 28 avril 2024 à 15:15:00 https://www.jeuxvideo.com/profil/gusfringale?mode=infos a écrit :

Le 28 avril 2024 à 15:13:41 :
N'ecoutes pas les jean-prepa ici, ils y connaissent rien.

T'as juste a finetuner un modele open source pour avoir ce que tu veux

Sinon t'as le service d'openai qui permet de finetuner gpt3.5

https://platform.openai.com/docs/guides/fine-tuning

Bah du coup il entraine pas son modèle le singe, il récupère un modèle entrainé

En plus ta méthode est payante l'ahurin. Tu réponds au hasard c'est ça ?

Qu'est ce que tu raconte t'as meme pas compris la demande initiale de l'auteur.

" Comment je fais pour entraîner un modèle type GPT-2 sur ce jeu de données en Python ? Quelles librairies utiliser ? "

non mais khey il a raison je me suis peut-être mal exprimé mais je veux partir d'un modèle existant

Le 28 avril 2024 à 15:17:56 Feleftin a écrit :

Le 28 avril 2024 à 15:14:49 :

Le 28 avril 2024 à 15:14:03 https://www.jeuxvideo.com/profil/colverito?mode=infos a écrit :
Premières données achetées sur le darknet

tu devineras jamais où j'ai trouvé çahttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

jvarchives ?

https://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

Le 28 avril 2024 à 15:14:03 Colverito a écrit :
Premières données achetées sur le darknet

tu devineras jamais où j'ai trouvé çahttps://image.noelshack.com/fichiers/2021/23/5/1623422583-ahiaffaire.png

Le 28 avril 2024 à 15:11:12 pavillon15 a écrit :
https://huggingface.co/autotrain

T'as juste a foutre ton CSV ici.
Derien.

cimer chef

Le 28 avril 2024 à 15:09:51 GusFringale a écrit :

Le 28 avril 2024 à 15:08:27 :

Le 28 avril 2024 à 15:08:06 https://www.jeuxvideo.com/profil/gusfringale?mode=infos a écrit :
Tu ne peux pas, ce n'est pas comme ça que s'entrainent les transformers, les transformers sont des compléteurs de textes, ensuite ils sont réentrainés pour faire du chatbot

ok donc je fais quoi avec mon dataset ? je me branle dessus ?

Oui il ne sert strictement à rien en l'état

Je t'aurais bien dit de faire de la classification avec la bibliothèque transformers mais même pas, c'est pas une tache de classification

Forme toi en machine learning depuis le début, tu sembles ne pas avoir les bases

ok t'as un lien ?

Le 28 avril 2024 à 15:09:18 TheLelouch4 a écrit :

Le 28 avril 2024 à 15:07:46 :

Le 28 avril 2024 à 15:06:38 https://www.jeuxvideo.com/profil/thelelouch4?mode=infos a écrit :

Le 28 avril 2024 à 15:00:55 :
mais je peux pas le charger en mémoire avec pandas puisque le fichier fait 8,5 Go

T'as 8.5 go de ram j'espère quand même
Et tu mets en vram par batch

j'ai 16 Go mais à aucun moment je charge un fichier de 8.5 Go en mémoire

Mais t'as un bon gpu au moins ? . Tu veux entraîner quoi avec ta machine merdique la

oui, mais je pense plutôt le faire sur colab

Le 28 avril 2024 à 15:08:06 GusFringale a écrit :
Tu ne peux pas, ce n'est pas comme ça que s'entrainent les transformers, les transformers sont des compléteurs de textes, ensuite ils sont réentrainés pour faire du chatbot

ok donc je fais quoi avec mon dataset ? je me branle dessus ?

Le 28 avril 2024 à 15:06:38 TheLelouch4 a écrit :

Le 28 avril 2024 à 15:00:55 :
mais je peux pas le charger en mémoire avec pandas puisque le fichier fait 8,5 Go

T'as 8.5 go de ram j'espère quand même
Et tu mets en vram par batch

j'ai 16 Go mais à aucun moment je charge un fichier de 8.5 Go en mémoire

Le 28 avril 2024 à 15:05:14 Feleftin a écrit :

Le 28 avril 2024 à 15:00:55 :
mais je peux pas le charger en mémoire avec pandas puisque le fichier fait 8,5 Go

Tu peux utiliser dask pour partitionner tes dataframes volumineux

j'avais fait ça avec transformers mais il n'accepte pas les dataframes dask

Le 28 avril 2024 à 14:58:59 Ragnarlockbrok a écrit :
Je te répond 2 sec

ok khey

J'ai un fichier CSV composé de 67 000 000 de lignes et deux colonnes avec du texte, une colonne qui contient des messages et une autre colonne qui contient des réponses humaines à ces messages.

Comment je fais pour entraîner un modèle type GPT-2 sur ce jeu de données en Python ? Quelles librairies utiliser ?