Je suis chercheur en intelligence artificielle 🤖 (Deep lourning)

Le 15 juin 2022 à 22:56:37 :

Le 15 juin 2022 à 22:54:28 :
La finité de l'ia donc c'est que les machines feront le travail de l'homme ?

oui

non ça c'est pour les mondialistes progressistes, les vrai hommes travaillerons d'eux meme en vivant dans des maisons pierre tout en construisant des pc-quantique et des fusées

Le 15 juin 2022 à 22:57:21 :
les gens du milieux aimeraient une nouvelle lib 100x plus simple de DL que les kernel de tensorflow / caffee ... ?
Les gens savent programmer en C/C++ (bien) dans le domaine ou c'est vraiment full python ?

Full python perso
Et full pytorch donc caffee c'est nextr

Le 15 juin 2022 à 22:58:11 :
Aujourd'hui pour le public y a quelque chose de plus avancé que GPT 3 ?
Tu penses que l'IA équivaut à un humain aujourd'hui en terme neurologique ?

Gopher mais c'est pas public
En terme neurologique non, ou alors de très très loin

Le 15 juin 2022 à 22:57:35 :

Le 15 juin 2022 à 22:52:08 :

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

T'entraine quoi avec ce lr ?
Perso sur un transformer à 5e-5 c'est déjà assez et je converge mieux qu'avec 1e-4 par ex

et pk pas un LR variable.
pk pas faire un model et le DL pour donner un meilleur dl ?

Le 15 juin 2022 à 22:57:21 :
les gens du milieux aimeraient une nouvelle lib 100x plus simple de DL que les kernel de tensorflow / caffee ... ?
Les gens savent programmer en C/C++ (bien) dans le domaine ou c'est vraiment full python ?

Tu peux te débrouiller en full python
Mais si tu veux faire des extensions c++ et kernels cuda et bien faut savoir coder en c. Ceux qui développent PyTorch jax etc par exemple

Le 15 juin 2022 à 22:58:03 :

Le 15 juin 2022 à 22:55:56 :

Le 15 juin 2022 à 22:54:47 :
Ton avis sur le fait que ta vie tourne autour de ta carrière de chercheur ?

C'est triste mais c'est le cas de pas mal de monde quand on travaille plus de 35h

Pas autant que les chercheurs tout de même

J'arrive vraiment pas à comprendre comment on peut consacrer sa vie à ça. Si t'es le nouveau génie du domaine oui pourquoi mais si t'es un chercher lambda c'est vraiment dommage

C'est pas faux mais j'aurais du mal à faire autre chose

Le 15 juin 2022 à 23:00:25 :

Le 15 juin 2022 à 22:57:35 :

Le 15 juin 2022 à 22:52:08 :

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

T'entraine quoi avec ce lr ?
Perso sur un transformer à 5e-5 c'est déjà assez et je converge mieux qu'avec 1e-4 par ex

et pk pas un LR variable.
pk pas faire un model et le DL pour donner un meilleur dl ?

Adam marche souvent bien
Adam est déjà un LR adaptatatif
Mais c'est un gros problème c'est vrai, il y a des dizaines de papiers qui proposent des solutions mais c'est souvent décevant

C'est quoi ton analyse sociologique sur l'apport de l'IA dans l'avenir pour notre société

Pourquoi tu refais le même topic à peu près tous les ans au lieu de up les anciens ?

Le 15 juin 2022 à 23:01:58 :

Le 15 juin 2022 à 23:00:25 :

Le 15 juin 2022 à 22:57:35 :

Le 15 juin 2022 à 22:52:08 :

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

T'entraine quoi avec ce lr ?
Perso sur un transformer à 5e-5 c'est déjà assez et je converge mieux qu'avec 1e-4 par ex

et pk pas un LR variable.
pk pas faire un model et le DL pour donner un meilleur dl ?

Adam marche souvent bien
Adam est déjà un LR adaptatatif
Mais c'est un gros problème c'est vrai, il y a des dizaines de papiers qui proposent des solutions mais c'est souvent décevant

Dans mon cas ce qui a toujours marché le mieux c'est un OneCycle lr, qui part de quasi 0 puis monte à 5e-5 pendant 5k / 20k steps (selon la batch size) puis redescend
Ca converge super vite, et mieux qu'avec les autres schedulers (plateau, cyclical ...)

Le 15 juin 2022 à 23:04:13 :
Pourquoi tu refais le même topic à peu près tous les ans au lieu de up les anciens ?

c'est plus vivant

Le 15 juin 2022 à 23:00:28 :

Le 15 juin 2022 à 22:57:21 :
les gens du milieux aimeraient une nouvelle lib 100x plus simple de DL que les kernel de tensorflow / caffee ... ?
Les gens savent programmer en C/C++ (bien) dans le domaine ou c'est vraiment full python ?

Tu peux te débrouiller en full python
Mais si tu veux faire des extensions c++ et kernels cuda et bien faut savoir coder en c. Ceux qui développent PyTorch jax etc par exemple

bah justement perso je n'avais aucune envie d'apprendre les libs d'IA et ça fait 2 ans que je fais ma lib de deep learning. J'ai commencé avec du Python et juste des reseaux de neurones, mtn je fait tt C/Cuda.
Et je veux savoire si y a d'autres personnes comme ça, et si les gens dans la haute sphere de l'IA seraient fatigué par ce Python et voudraient s'evader vers des choses bcp plus basique/simple et from scratch

Tu veux pas coder un bot qui nous réponde sur le topic et qui évolue en fonction des discussions sur le fofo ? Histoire de voir si le bot devient boucled ou non.

Est ce que ton apprentissage est profond

Le 15 juin 2022 à 23:03:53 :
C'est quoi ton analyse sociologique sur l'apport de l'IA dans l'avenir pour notre société

ça va péter

Le 15 juin 2022 à 23:05:31 :
Est ce que ton apprentissage est profond

12 layers

Le 15 juin 2022 à 23:04:23 :

Le 15 juin 2022 à 23:01:58 :

Le 15 juin 2022 à 23:00:25 :

Le 15 juin 2022 à 22:57:35 :

Le 15 juin 2022 à 22:52:08 :

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

T'entraine quoi avec ce lr ?
Perso sur un transformer à 5e-5 c'est déjà assez et je converge mieux qu'avec 1e-4 par ex

et pk pas un LR variable.
pk pas faire un model et le DL pour donner un meilleur dl ?

Adam marche souvent bien
Adam est déjà un LR adaptatatif
Mais c'est un gros problème c'est vrai, il y a des dizaines de papiers qui proposent des solutions mais c'est souvent décevant

Dans mon cas ce qui a toujours marché le mieux c'est un OneCycle lr, qui part de quasi 0 puis monte à 5e-5 pendant 5k / 20k steps (selon la batch size) puis redescend
Ca converge super vite, et mieux qu'avec les autres schedulers (plateau, cyclical ...)

donc une sorte de logistic mais Lr.
genre
lr = 1 / (1 + exp(-batch)) * 5e-5

?

Le 15 juin 2022 à 23:07:22 :

Le 15 juin 2022 à 23:04:23 :

Le 15 juin 2022 à 23:01:58 :

Le 15 juin 2022 à 23:00:25 :

Le 15 juin 2022 à 22:57:35 :

Le 15 juin 2022 à 22:52:08 :

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

T'entraine quoi avec ce lr ?
Perso sur un transformer à 5e-5 c'est déjà assez et je converge mieux qu'avec 1e-4 par ex

et pk pas un LR variable.
pk pas faire un model et le DL pour donner un meilleur dl ?

Adam marche souvent bien
Adam est déjà un LR adaptatatif
Mais c'est un gros problème c'est vrai, il y a des dizaines de papiers qui proposent des solutions mais c'est souvent décevant

Dans mon cas ce qui a toujours marché le mieux c'est un OneCycle lr, qui part de quasi 0 puis monte à 5e-5 pendant 5k / 20k steps (selon la batch size) puis redescend
Ca converge super vite, et mieux qu'avec les autres schedulers (plateau, cyclical ...)

donc une sorte de logistic mais Lr.
genre
lr = 1 / (1 + exp(-batch)) * 5e-5

?

Non je vais évoluer le lr selon un cycle pré défini
Avec ça https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.OneCycleLR.html
L'idée vient de ce papier https://arxiv.org/abs/1708.07120

Le 15 juin 2022 à 23:04:58 :

Le 15 juin 2022 à 23:00:28 :

Le 15 juin 2022 à 22:57:21 :
les gens du milieux aimeraient une nouvelle lib 100x plus simple de DL que les kernel de tensorflow / caffee ... ?
Les gens savent programmer en C/C++ (bien) dans le domaine ou c'est vraiment full python ?

Tu peux te débrouiller en full python
Mais si tu veux faire des extensions c++ et kernels cuda et bien faut savoir coder en c. Ceux qui développent PyTorch jax etc par exemple

bah justement perso je n'avais aucune envie d'apprendre les libs d'IA et ça fait 2 ans que je fais ma lib de deep learning. J'ai commencé avec du Python et juste des reseaux de neurones, mtn je fait tt C/Cuda.
Et je veux savoire si y a d'autres personnes comme ça, et si les gens dans la haute sphere de l'IA seraient fatigué par ce Python et voudraient s'evader vers des choses bcp plus basique/simple et from scratch

Y'a peut de chance non
L'avantage de python c'est que c'est très facile à apprendre, utiliser et surtout debugger
Et comme tu peux bind n'importe quoi en c / cuda y'a peu d'intérêt selon moi à se passer du python. Toutes les opérations basiques ou générales sont exécutées en c / cuda, depuis du python. En plus y'a des librairie (jax et numba) qui compilent du code python en C a la volée

Certains parlent de Julia qui permet d'allier les avantages de python et c, mais python est déjà tellement bien installé que je le vois pas se faire remplacer

Je vois que ça a dodge ma question