Messages de carrycature
Le 27 octobre 2020 à 21:32:27 yNd a écrit :
Le 27 octobre 2020 à 21:30:40 carrycature a écrit :
Le 27 octobre 2020 à 21:27:51 yNd a écrit :
Le 27 octobre 2020 à 21:27:11 Lkheyny a écrit :
Le 27 octobre 2020 à 21:26:34 yNd a écrit :
L'op tu a déjà publié à NeurIPS / ICLR et autres ?Issou
Tu m'as pris pour Yann LeKun ?
Non je n'ai pas fait phd, trop risqué à mon gout et pas le niveau en math
Je sais ça a pas l'air si difficile de publier dans ce domaine non plus
Si tu as un bon encadrant de thèse ça passe ! ICLR ou NEURips c'est pas donné à tout le monde en plus la limite de page est ignoble et tu te fais tacler par le reviewer car t'as pas mis assez d'xp ou tu as pas assez développé ta preuve ou tu n'as pas assez détaillé les related works.
Évidement il faut que ça rendre en 8 pagesDurant un stage de recherche de 6 mois en M1 c'est faisable de publier dans une bonne conf tu penses ?
Même si la "course aux publications" est un peu ridicule c'est cool pour le dossier je pense
Je pense que c'est short à part si tu es très très très bon et que tu as un très bon encadrant !
Le 27 octobre 2020 à 21:27:51 yNd a écrit :
Le 27 octobre 2020 à 21:27:11 Lkheyny a écrit :
Le 27 octobre 2020 à 21:26:34 yNd a écrit :
L'op tu a déjà publié à NeurIPS / ICLR et autres ?Issou
Tu m'as pris pour Yann LeKun ?
Non je n'ai pas fait phd, trop risqué à mon gout et pas le niveau en math
Je sais ça a pas l'air si difficile de publier dans ce domaine non plus
Si tu as un bon encadrant de thèse ça passe ! ICLR ou NEURips c'est pas donné à tout le monde en plus la limite de page est ignoble et tu te fais tacler par le reviewer car t'as pas mis assez d'xp ou tu as pas assez développé ta preuve ou tu n'as pas assez détaillé les related works.
Évidement il faut que ça rentre en 8 pages 
Le 27 octobre 2020 à 21:24:48 Lkheyny a écrit :
Le 27 octobre 2020 à 21:20:10 carrycature a écrit :
Le 27 octobre 2020 à 21:16:24 Sylves a écrit :
Le 27 octobre 2020 à 21:10:17 carrycature a écrit :
Le 27 octobre 2020 à 21:08:38 Sylves a écrit :
L'auteur, le meilleur master de maths pour l'apprentissage à part MVA ?Sinon, quels domaines de recherches te semblent prometteurs en ML ?
Dernière question : des boîtes à conseiller en France pour de la R&D / recherche pure ?
En domaine de recherche tu as le RL, les GNN, la causalité, le Federated learning, le contrastive learning qui sont pas mal
Merci. C'est ouf je fais un stage de recherche en ML (que de l'apprentissage supervisé mais bon), à part le RL vite fait le reste j'ai jamais lu de papiers dessus.
Là je cherche des stages je partais plus sur des trucs style similarity learning, model compactization (les boîtes ont l'air de pas mal en faire), transfer learning, mais je garde en tête !
Merci l'auteur aussi !
Model compactization regarde du côté de Nice pour la province . Regarde comme publi l'hypothèse du ticket de loterie, les méthodes de pruning, distillation et quantization!
J'aime bien les reseaux binaire pour ça aussi!L'hypothèse ticket lotterie y'a un rapport avec problème des bandits manchots ou rien à voir ?
Non pas du tout, je t'invite à lire le papier : https://arxiv.org/abs/1803.03635
Pas contre si quelqu'un a de bonnes ressources sur les bandit contextuel je suis preneur...
Le 27 octobre 2020 à 21:16:24 Sylves a écrit :
Le 27 octobre 2020 à 21:10:17 carrycature a écrit :
Le 27 octobre 2020 à 21:08:38 Sylves a écrit :
L'auteur, le meilleur master de maths pour l'apprentissage à part MVA ?Sinon, quels domaines de recherches te semblent prometteurs en ML ?
Dernière question : des boîtes à conseiller en France pour de la R&D / recherche pure ?
En domaine de recherche tu as le RL, les GNN, la causalité, le Federated learning, le contrastive learning qui sont pas mal
Merci. C'est ouf je fais un stage de recherche en ML (que de l'apprentissage supervisé mais bon), à part le RL vite fait le reste j'ai jamais lu de papiers dessus.
Merci l'auteur aussi !
Model compactization regarde du côté de Nice pour la province . Regarde comme publi l'hypothèse du ticket de loterie, les méthodes de pruning, distillation et quantization!
J'aime bien les reseaux binaire pour ça aussi!
Le 27 octobre 2020 à 21:15:49 toncartarpe a écrit :
Le 27 octobre 2020 à 21:14:05 carrycature a écrit :
Le 27 octobre 2020 à 21:12:50 toncartarpe a écrit :
Est ce que tu penses que les autres devs qui font des choses moins complexes seront bientot dans la merde?
je suis bon dev full stack JS(entre autres)
mais je m'intéresse au deep learning, je suis en train d'essayer GPT-3 en ce moment, et j'ai l'impression que l'IA va vraiment nous remplacer. GPT-3 genere plutot bien du code par exemple, avec assez peu d'instructions
et j'ai l'impression que si je me mets pas à fond sur les maths et le deep learning je serais dans la merde bientotest ce que je me trompe?
Non t'inquiète c'est du bullshit au mieux cela sera un assistant pour coder (TabNine a déjà commencé à faire ça)
ouais mais tabnine utilise surement pas GPT-3
t'as accès à l'API d'OpenAI?
GPT-3 me terrifie vraiment, c'est un putain de truc de malade mental
J'ai eu un accès oui, mais c'est over hype ! Non tab nine utilisait gpt ou gpt2
Le 27 octobre 2020 à 21:12:50 toncartarpe a écrit :
Est ce que tu penses que les autres devs qui font des choses moins complexes seront bientot dans la merde?
je suis bon dev full stack JS(entre autres)
mais je m'intéresse au deep learning, je suis en train d'essayer GPT-3 en ce moment, et j'ai l'impression que l'IA va vraiment nous remplacer. GPT-3 genere plutot bien du code par exemple, avec assez peu d'instructions
et j'ai l'impression que si je me mets pas à fond sur les maths et le deep learning je serais dans la merde bientotest ce que je me trompe?
Non t'inquiète c'est du bullshit au mieux cela sera un assistant pour coder (TabNine a déjà commencé à faire ça)
Le 27 octobre 2020 à 20:51:41 Sprycotcot a écrit :
Si je veux faire un réseau de neurone pour une ia qui joue au snake, c'est quoi les grosses étapes pour y parvenir ?T'aurais des livres / formations qui traitent de cet aspect là à conseiller ?
Theorie reinforcement learning an introduction de richard Sutton, après tu as le papier de 2014 de deep mind sur le deep q learning ! Après tu as sur le tutoriel pytorch un dqn codé et tu peux t'inspirer pour résoudre le snake ! Après tu as d'autres algorithmes mais lui est très simple à coder
Le 27 octobre 2020 à 20:50:27 Lkheyny a écrit :
Le 27 octobre 2020 à 20:49:48 carrycature a écrit :
Le 27 octobre 2020 à 20:49:06 RusczykDeter a écrit :
utilité de lire la bible de murphy quand on peut juste lire géron ?Aucune je le trouve pas top et il y a ses ressources sur le net 100 fois mieux
A quelles ressources fais tu allusion ?
Fast ai, tu as the élément of statistical learning, la doc de scikit learn, tu as dataflower (les cours de ULM) etc... Il suffit juste de chercher
Le 27 octobre 2020 à 20:49:06 RusczykDeter a écrit :
utilité de lire la bible de murphy quand on peut juste lire géron ?
Aucune je le trouve pas top et il y a ses ressources sur le net 100 fois mieux
Le 27 octobre 2020 à 20:46:33 Lkheyny a écrit :
Le 27 octobre 2020 à 20:45:21 carrycature a écrit :
Le 27 octobre 2020 à 20:40:14 Lkheyny a écrit :
Le 27 octobre 2020 à 20:38:28 Free_benalla a écrit :
Le 27 octobre 2020 à 20:37:52 carrycature a écrit :
Connais tu des methodes pour éviter que la self attention soit quadratique selon la taille de l'input (facile celle là)need la reponse
https://arxiv.org/abs/1810.00825
Et j'ai dit expert ML pas deep
Avec tous les modèles possibles en deep, c'est peu crédible d'être expert deep
Enfin, les thésards se concentrent sur des catégories de modèles (là c'est NLP)Je n'ai pas fait thèse btw
Ok pas mal !
Petite question en ML classique alors ! Quel est la limite computationnelle des arbres de Mondrian (celle là est pas facile)
Euh connais pas arbre de Mondrian
Ca n'a rien à voir avec les CART ?
C'est un type d'arbre de décision que tu peux utiliser en apprentissage en ligne
https://arxiv.org/abs/1406.2673