Je suis chercheur en intelligence artificielle 🤖 (Deep lourning)

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

a quand les dérivées secondes ?

Le 15 juin 2022 à 22:50:53 :

Le 15 juin 2022 à 22:49:52 :
Si on veut faire de la recherche dans le privé dans une boite étrangère est-ce qu'il vaut mieux faire sa thèse en France ou à l'étranger?
Comment s'y prendre pour faire une "bonne" thèse?
Je fais le MVA l'année pro.

C'est quoi la boite ?

Je ne sais pas encore mais j'aimerais bien trouver une boîte avec de la recherche intéressante et un salaire décent
Est ce que t'as un avis sur les thèses CIFRE en IA en France?

Le 15 juin 2022 à 22:53:11 :
a quand les dérivées secondes ?

Je suis pas sûr que ça soit utile vu ce qu'on sait sur les loss landscapes des modèles hyperparamétrisés

Je suis en stage dans le domaine et je suis une quichehttps://image.noelshack.com/fichiers/2020/26/5/1593191191-ahi-marlou.png
Je fais de la prédiction de série temporelle avec un LSTM est-ce que j’aurais un intérêt à utiliser des modèles avec attention ?https://image.noelshack.com/fichiers/2020/26/5/1593191191-ahi-marlou.png
J’ai pas pas encore regardé sous le capot de ces modèles mais j’en entends beaucoup parler, si tu me dis que c’est inutile ça me fera gagner du temps.

La finité de l'ia donc c'est que les machines feront le travail de l'homme ?

Non t'es le secondaire de LeKheyhttps://image.noelshack.com/fichiers/2020/52/6/1608985783-ahi-triangle.png

Ton avis sur le fait que ta vie tourne autour de ta carrière de chercheur ?

Tu recommande quoi pour débuté la dedans (hors étude) et pour faire quelque test chez soi?

Le 15 juin 2022 à 22:53:28 :

Le 15 juin 2022 à 22:50:53 :

Le 15 juin 2022 à 22:49:52 :
Si on veut faire de la recherche dans le privé dans une boite étrangère est-ce qu'il vaut mieux faire sa thèse en France ou à l'étranger?
Comment s'y prendre pour faire une "bonne" thèse?
Je fais le MVA l'année pro.

C'est quoi la boite ?

Je ne sais pas encore mais j'aimerais bien trouver une boîte avec de la recherche intéressante et un salaire décent
Est ce que t'as un avis sur les thèses CIFRE en IA en France?

ça dépend de la boite, si c'est facebook go, si c'est la startup du coin qui veut de la main d'oeuvre gratuite fais attention
En France il y a criteo+facebok qui sont connus mais les grosses boites du cac40 font toutes de la R&D, et les cabinets de conseil aussi

Le 15 juin 2022 à 22:54:47 :
Ton avis sur le fait que ta vie tourne autour de ta carrière de chercheur ?

C'est triste mais c'est le cas de pas mal de monde quand on travaille plus de 35h

Le 15 juin 2022 à 22:54:59 :
Tu recommande quoi pour débuté la dedans (hors étude) et pour faire quelque test chez soi?

Faire un kaggle

Le 15 juin 2022 à 22:54:28 :
La finité de l'ia donc c'est que les machines feront le travail de l'homme ?

oui

Les astuces pour faire fonctionner le PPO ?

les gens du milieux aimeraient une nouvelle lib 100x plus simple de DL que les kernel de tensorflow / caffee ... ?
Les gens savent programmer en C/C++ (bien) dans le domaine ou c'est vraiment full python ?

Le 15 juin 2022 à 22:52:08 :

Le 15 juin 2022 à 22:51:50 :
quel est le meilleur optimizer de maniere generale ?

Adam(lr=3e-4)

T'entraine quoi avec ce lr ?
Perso sur un transformer à 5e-5 c'est déjà assez et je converge mieux qu'avec 1e-4 par ex

Le 15 juin 2022 à 22:54:25 :
Je suis en stage dans le domaine et je suis une quichehttps://image.noelshack.com/fichiers/2020/26/5/1593191191-ahi-marlou.png
Je fais de la prédiction de série temporelle avec un LSTM est-ce que j’aurais un intérêt à utiliser des modèles avec attention ?https://image.noelshack.com/fichiers/2020/26/5/1593191191-ahi-marlou.png
J’ai pas pas encore regardé sous le capot de ces modèles mais j’en entends beaucoup parler, si tu me dis que c’est inutile ça me fera gagner du temps.

J'espère que t'as essayé autre chose qu'un LSTM parce que c'est pas une baseline de folie il me semble en prédiction de série temporelle
L'attention ça dépend vraiment du problème
Le LSTM utilise un mécanisme d'attention en quelque sorte, mais il y plein de manières de faire des choses avec l'attention
Si c'est motivé par le problème oui

Le 15 juin 2022 à 22:55:56 :

Le 15 juin 2022 à 22:54:47 :
Ton avis sur le fait que ta vie tourne autour de ta carrière de chercheur ?

C'est triste mais c'est le cas de pas mal de monde quand on travaille plus de 35h

Pas autant que les chercheurs tout de même

J'arrive vraiment pas à comprendre comment on peut consacrer sa vie à ça. Si t'es le nouveau génie du domaine oui pourquoi mais si t'es un chercher lambda c'est vraiment dommage

Aujourd'hui pour le public y a quelque chose de plus avancé que GPT 3 ?
Tu penses que l'IA équivaut à un humain aujourd'hui en terme neurologique ?

Le 15 juin 2022 à 22:55:19 :

Le 15 juin 2022 à 22:53:28 :

Le 15 juin 2022 à 22:50:53 :

Le 15 juin 2022 à 22:49:52 :
Si on veut faire de la recherche dans le privé dans une boite étrangère est-ce qu'il vaut mieux faire sa thèse en France ou à l'étranger?
Comment s'y prendre pour faire une "bonne" thèse?
Je fais le MVA l'année pro.

C'est quoi la boite ?

Je ne sais pas encore mais j'aimerais bien trouver une boîte avec de la recherche intéressante et un salaire décent
Est ce que t'as un avis sur les thèses CIFRE en IA en France?

ça dépend de la boite, si c'est facebook go, si c'est la startup du coin qui veut de la main d'oeuvre gratuite fais attention
En France il y a criteo+facebok qui sont connus mais les grosses boites du cac40 font toutes de la R&D, et les cabinets de conseil aussi

Facebook j'aimerais bien mais ça a l'air très chaud à intégrer de ce que j'ai compris...