[MACHINE LEARNING] Nouvel ORDINATEUR ou LOUER des SERVEURS ?

Le 08 septembre 2022 à 18:18:48 :

Le 08 septembre 2022 à 18:15:54 :

Le 08 septembre 2022 à 18:14:19 :

Le 08 septembre 2022 à 18:12:23 :

Le 08 septembre 2022 à 18:07:55 :

Le 08 septembre 2022 à 18:07:22 :

Le 08 septembre 2022 à 18:01:04 :

Le 08 septembre 2022 à 18:00:02 :
Et pour le "parce que c'est bruyant" tkt pas que quand ton portable va bien chauffer, tu sera pas déçu niveau bruit

Les M1 sont réputés pour être hyper silencieux.

Mais pas pour les performances du chipset graphiquehttps://image.noelshack.com/fichiers/2018/13/4/1522325846-jesusopti.png

Si, aussi.

Même si c’est plutôt pour leur CPU.

Donc je notes : dans la dimension parallèle des suceurs d'apple 30 fps sur gta v = grosse puisssance de calculhttps://image.noelshack.com/fichiers/2018/25/2/1529422413-risitaszoom.png

Parce que le jeu est codé pour x86, c’est de l’émulation.

Hein ? C'est du 32bits ? Je comprends pas..

x64 pardon.

Ah

Le 08 septembre 2022 à 18:19:11 :

Le 08 septembre 2022 à 18:15:23 :
Je bosse dans le deep learning et la meilleure solution que j'ai trouvé c'est Gradient Notebook par PaperSpace
Abordable, bonne puissance, honnêtement regarde

Ça a l’air super cool.

Tu utilises quelle formule ?

Celle à 8 ou celle à 40 ?

8 ça suffit largement, la grosse addition de la formule à 40 c'est clairement le Distributed training qui arrive mais si t'en es à des projets de débutant tu t'en fous de ça

1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Le 08 septembre 2022 à 18:10:57 :

Le 08 septembre 2022 à 18:09:43 :
Go Microsoft azure

Je me méfie des clouds, j’ai tenté un EC2 sur AWS, j’ai supprimé parce qu’il n’y a pas de plafonnement, et j’ai pas envie de me réveiller un matin avec -50000€ sur mon compte en banque.

Je te comprends.. je flippe tous les mois avec Google Cloud.. alors que j'ai rien de lancé

Le 08 septembre 2022 à 18:23:27 :
1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Sauf que ce que fera le serveur en 1mn, son portable le fera en 10heures

Le 08 septembre 2022 à 18:24:14 :

Le 08 septembre 2022 à 18:10:57 :

Le 08 septembre 2022 à 18:09:43 :
Go Microsoft azure

Je me méfie des clouds, j’ai tenté un EC2 sur AWS, j’ai supprimé parce qu’il n’y a pas de plafonnement, et j’ai pas envie de me réveiller un matin avec -50000€ sur mon compte en banque.

Je te comprends.. je flippe tous les mois avec Google Cloud.. alors que j'ai rien de lancé

Ayaa c’était pareil pour moi.

Le 08 septembre 2022 à 18:24:49 :

Le 08 septembre 2022 à 18:23:27 :
1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Sauf que ce que fera le serveur en 1mn, son portable le fera en 10heures

Après, si ça me coûte que 8$/mois, rien m’empêche de changer mon ordinateur.

Je me demandais, comment tu fais si tu veux développer ailleurs que sur leurs notebooks ?

Y’a moyen d’utiliser des API ?

De lancer des containers docker ?

Le 08 septembre 2022 à 18:28:00 :

Le 08 septembre 2022 à 18:24:49 :

Le 08 septembre 2022 à 18:23:27 :
1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Sauf que ce que fera le serveur en 1mn, son portable le fera en 10heures

Après, si ça me coûte que 8$/mois, rien m’empêche de changer mon ordinateur.

Je me demandais, comment tu fais si tu veux développer ailleurs que sur leurs notebooks ?

Y’a moyen d’utiliser des API ?

De lancer des containers docker ?

Ça marche que par containers, tu peux utiliser leur API pour tout faire en local

Le 08 septembre 2022 à 18:32:33 :

Le 08 septembre 2022 à 18:28:00 :

Le 08 septembre 2022 à 18:24:49 :

Le 08 septembre 2022 à 18:23:27 :
1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Sauf que ce que fera le serveur en 1mn, son portable le fera en 10heures

Après, si ça me coûte que 8$/mois, rien m’empêche de changer mon ordinateur.

Je me demandais, comment tu fais si tu veux développer ailleurs que sur leurs notebooks ?

Y’a moyen d’utiliser des API ?

De lancer des containers docker ?

Ça marche que par containers, tu peux utiliser leur API pour tout faire en local

Ah génial.

Merci !

Le 08 septembre 2022 à 18:32:33 :

Le 08 septembre 2022 à 18:28:00 :

Le 08 septembre 2022 à 18:24:49 :

Le 08 septembre 2022 à 18:23:27 :
1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Sauf que ce que fera le serveur en 1mn, son portable le fera en 10heures

Après, si ça me coûte que 8$/mois, rien m’empêche de changer mon ordinateur.

Je me demandais, comment tu fais si tu veux développer ailleurs que sur leurs notebooks ?

Y’a moyen d’utiliser des API ?

De lancer des containers docker ?

Ça marche que par containers, tu peux utiliser leur API pour tout faire en local

https://docs.paperspace.com/gradient/notebooks/runtimes/#how-to-create-a-custom-docker-container-to-use-with-gradient-notebooks

Le 08 septembre 2022 à 18:33:20 :

Le 08 septembre 2022 à 18:32:33 :

Le 08 septembre 2022 à 18:28:00 :

Le 08 septembre 2022 à 18:24:49 :

Le 08 septembre 2022 à 18:23:27 :
1$/heure

Ton portable durera plus de 2000h large donc c'est déjà rentabilisé
Go pc

Sauf que ce que fera le serveur en 1mn, son portable le fera en 10heures

Après, si ça me coûte que 8$/mois, rien m’empêche de changer mon ordinateur.

Je me demandais, comment tu fais si tu veux développer ailleurs que sur leurs notebooks ?

Y’a moyen d’utiliser des API ?

De lancer des containers docker ?

Ça marche que par containers, tu peux utiliser leur API pour tout faire en local

https://docs.paperspace.com/gradient/notebooks/runtimes/#how-to-create-a-custom-docker-container-to-use-with-gradient-notebooks

J’adore Jupyter mais c’est pas top pour du dev…

C'est pour deeplearner pour qui ?

Le 08 septembre 2022 à 18:51:14 :
C'est pour deeplearner pour qui ?

Pour moi-même.

Le 08 septembre 2022 à 19:10:51 :

Le 08 septembre 2022 à 18:51:14 :
C'est pour deeplearner pour qui ?

Pour moi-même.

Les données seront forcément récupérées par un gros. C'est comme le minage de crypto, c'est un projet "collectif".

Je fais du NLP et du deep pour l'audio.
Aucun intérêt d'acheter quoi que ce soit, il faut avoir accès à des serveurs qui ont des noeuds de A100 en parallèle. Tu pourras rien faire de ton côté.
Aucun intérêt non plus d'avoir un ordi à plus de 500e. Je fais tout sur un thinkpad à 250e acheté sur LBC.

Le 08 septembre 2022 à 19:18:28 :

Le 08 septembre 2022 à 19:10:51 :

Le 08 septembre 2022 à 18:51:14 :
C'est pour deeplearner pour qui ?

Pour moi-même.

Les données seront forcément récupérées par un gros. C'est comme le minage de crypto, c'est un projet "collectif".

Ça ne marche pas comme ça.

Le 08 septembre 2022 à 19:22:48 :
Je fais du NLP et du deep pour l'audio.
Aucun intérêt d'acheter quoi que ce soit, il faut avoir accès à des serveurs qui ont des noeuds de A100 en parallèle. Tu pourras rien faire de ton côté.
Aucun intérêt non plus d'avoir un ordi à plus de 500e. Je fais tout sur un thinkpad à 250e acheté sur LBC.

Un khey a parlé de Gradient Notebook, t’en penses quoi ?

Le 08 septembre 2022 à 19:31:15 :

Le 08 septembre 2022 à 19:22:48 :
Je fais du NLP et du deep pour l'audio.
Aucun intérêt d'acheter quoi que ce soit, il faut avoir accès à des serveurs qui ont des noeuds de A100 en parallèle. Tu pourras rien faire de ton côté.
Aucun intérêt non plus d'avoir un ordi à plus de 500e. Je fais tout sur un thinkpad à 250e acheté sur LBC.

Un khey a parlé de Gradient Notebook, t’en penses quoi ?

C'est bien pour faire des trucs scolaires. Sinon aucun intérêt si c'est la version gratuite, on fait pas grand chose avec 8gb.
Perso sur de l'audio (pour du CV ou du NLP c'est pareil ou pire), c'est 32gb mini pour avoir des batch size correctes.
En plus le format notebook est pas adapté pour des projets plus gros je trouve. Je préfère un truc plus classique.

Perso je vois pas l'intérêt de faire du NLP de son côté en mode geek. Les technologies en question ne sont intéressantes que si tu as des moyens digne d'une université ou d'une entreprise. Voire même d'un géant. Les modèles en question (Transformers etc) n'ont pas vraiment d'intérêt théoriques, y a pas vraiment de maths derrière (go lire l'article wikipedia si tu veux t'en convaincre, elle contient quasiment tout et fait 1 page et demi ) ... Toute la puissance des modèles ne s'exprime que si tu as des datasets énormes. Bref si tu t'appelles Google/Facebook etc ...

Les trucs à la portée du geek moyen c'est du fine tuning de modèle pré existant (genre GPT) ou des modèles d'analyse du texte. Bref c'est pas vraiment ce qu'il y a de plus excitant ...

Si tu comptes vraiment te former sur des trucs qui passent à l'échelle en NLP, go TPU de google. Y a pas vraiment mieux à ma connaissance. Mais c'est pas un truc de débutant, et ça coûte 5x plus cher au tarif horaire.

Si t'es pas à l'aise go CPU+GPU classiques.

Dans tous les cas je te conseille de jeter un oeil à JAX. Perso j'ai abandonnée PyTorch et Tensorflow pour JAX car j'y gagne en performance dans quasi tous les cas et de toute façon à un moment donné, il faut savoir mettre les mains dans le cambouis pour faire des modèles rigolos.

J'ajouterai, si tu veux faire des maths et du deep, regarde du côté des modèles génératifs probabilistes. Les VAE, la modèles de diffusions etc ... c'est largement plus intéressant que les transformers

Le 08 septembre 2022 à 17:55:48 :
Oublie le Mac déjà c'est pas prévu pour. Si tu fais du Deep learning il y a même pas de drivers et il te faudra une carte nvidia

Oui je suis d'accord, je suis pro mac et je bosse dans une boite IA. Ceux qui font du machine learning sont sous XPS ou sinon on a des serveurs k8shttps://image.noelshack.com/fichiers/2018/27/4/1530827992-jesusreup.png