[PhD] Je suis docteur en intelligence artificielle, je réponds aux questions

Ceux qui disent vouloir fusionner réseaux de neurones et systèmes symboliques c'est des doux rêveurs non? J'ai l'impression d'avoir entendu ce discours depuis des années, rien n'a percé à ma connaissance (je ne remets pas en question les travaux qui ont été faits dans cette direction)https://image.noelshack.com/fichiers/2018/25/2/1529422413-risitaszoom.png

Le 22 mars 2024 à 22:15:13 :

Le 22 mars 2024 à 22:13:59 ProutRecurrent a écrit :

Le 22 mars 2024 à 22:12:34 :
tu bosses ou ? et quel salaire ?

je cherche du taf nofake

aya pareil depuis que j'ai démissioné de mon taff il y a 6 mois mais j'ai juste un diplome d'inge dans la 3d (spé en VR/AR), je me demande si un doctorat ce serait interessant à faire

tu cherches un post doc j'imagine ? tu es en france là ? (surement idf)

Une thèse en IA c'est dur
Déjà c'est pas évident à trouver (je parle d'une bonne thèse avec un bon directeur, pas dans un labo de province rempli de planqués)
Et la concurrence est de plus en plus rude avec la hype actuelle, c'est dur de se démarquer dans un milieu qui avance aussi vite
Maintenant si t'es passionné, que t'aime être stimulé et que tu peux encaisser c'est une expérience exceptionnelle

Le 22 mars 2024 à 22:14:22 :

Le 22 mars 2024 à 22:07:45 :

Le 22 mars 2024 à 22:05:37 :

Le 22 mars 2024 à 22:02:01 :

Le 22 mars 2024 à 22:00:03 :
Bon pour remonter le niveau vous en pensez quoi de la position de Le Cun qui prétend que les modèles génératifs autoregressifs sont "condamnés", comme ils peuvent pas "prévoir à l'avance" leurs prédictions et apprennent juste à reproduire les données d'entrainement ?

c'est pas un problème d'AR/NAR à mon avis.
et oui ils sont condamnés à faire ce pour quoi ils sont entrainés.
le parallèle modèle génératif/compression est le plus pertinent pour les appréhender

Tu veux dire quoi par ta dernière phrase ?

un modèle génératif (qui apprend la distribution des données) apprend implicitement un compresseur au sens où tu peux faire du codage entropique par dessus (genre littéralement un compresseur lossless comme zip par ex).
du coup quand on parle "d'hallucinations" on parle vraiment d'un modèle qui "décompresse" les données qu'il a appris

Ok j'avais pas ça en tête
Y'a juste le terme d'appréhender je vois pas trop ce que ça vient faire mais ok

Perso je pense qu'il faudrait se pencher sur des objectifs d'entrainement différents (non MLE) afin de pouvoir vraiment extrapoler des données d'entrainements. Mais c'est plus facile à dire qu'à faire, surtout en language / modalité discrète ou t'es très limité pour faire un loss custom 100% différentiable et stable

appréhender pcq ça reste assez mystérieux comment un n-gram géant peut être aussi cohérent

quand est ce que la hype des LLM va se tasser ?

Le 22 mars 2024 à 22:18:25 :

Le 22 mars 2024 à 22:16:13 :
Est ce que tu dirais avoir fait quelque chose d'important pendant cette thèse ou non?
J'ai l'impression qu'en vérité, il n'y a que 10% des thèses qui ont un tant soit peu d'envergure, si j'en juge par ce que j'ai vu pendant mes années où je travaillais dans la recherche (pas en ia). La plupart des thésards sont des piètres chercheurs en vérité. C'est sans doute un jugement sévère, mais je le pense sincèrementhttps://image.noelshack.com/fichiers/2018/25/2/1529422413-risitaszoom.png

this (je me considère comme moyen)

après faut voir aussi les conditions de taf, genre meme en mettant le salaire de coté, on n'a pas forcément tous les moyens a disposition, souvent tout seul dans notre niche de niche de niche

Mais bon on les voit les DR qui prennent des doc juste pour avoir des papiers avec leurs noms pour pas cher

Oui j'imagine que ça doit être plus facile de faire de la meilleure recherche avec les machines, les données, l'environnement social, etc, pas de doute là-dessushttps://image.noelshack.com/fichiers/2017/13/1490886827-risibo.png

Au passage l'OP comme t'es jeune docteur, t'as pensé à t'expat aux US ?
Si c'est quelque chose qui t'intéresse mieux vaut le faire maintenant avant qu'il soit trop tard.

Le 22 mars 2024 à 22:20:58 :
quand est ce que la hype des LLM va se tasser ?

Perso je pense pas, à la limite voir d'autres types de modèles ? Mais ils seront issus des connaissances acquises via les LLM

Mais trop d'applications indus, et même ça répond à une question très importante en dev (et en plus t'as la montée du dev web qui augmente le nbr d'interactions avec des utilisateurs non experts) qui est: ok là je veux être flexible mais derrière je veux un système carré pour pouvoir le tester/le mettre à l'échelle/le sécuriser/... donc en gros le délire de (si tu connais un peu)

"tu as une entrée utilisateur et tu utilises un LLM qui va utiliser des fonctions que tu as écris toi même" c'est golden

Le 22 mars 2024 à 22:24:34 :
Au passage l'OP comme t'es jeune docteur, t'as pensé à t'expat aux US ?
Si c'est quelque chose qui t'intéresse mieux vaut le faire maintenant avant qu'il soit trop tard.

je préfère rester en europe perso, même en France y a pas mal d'options

Pourquoi chat-gpt raconte que de la merde ?
Et que j'ai mieux faire de lire la doc ou stack overflow ?

Le 22 mars 2024 à 22:25:37 :

Le 22 mars 2024 à 22:24:34 :
Au passage l'OP comme t'es jeune docteur, t'as pensé à t'expat aux US ?
Si c'est quelque chose qui t'intéresse mieux vaut le faire maintenant avant qu'il soit trop tard.

je préfère rester en europe perso, même en France y a pas mal d'options

Ok ça s'entend et c'est vrai
Juste que l'expat est facile à faire, là dans 1.5 ans t'as une green card en self-petitioner qui te permet d'accéder au marché de l'emploi US, c'est dommage de s'en priver même si c'est pas pour y bosser longtemps

Et sinon, c'est pour quand la théorie générale des systèmes de neurones (biologiques ou artificiels)? Il y a forcément une théorie mathématique au coin de la rue (qu'on a pas encore découverte) expliquant comment un réseau général peut naturellement apprendre de signaux un tant soit peu informatifs (sons, images, etc). Après tout, on a bien en physique statistique des théories qui expliquent comment une grandeur macroscopique émerge de grandeurs microscopiques. De la même manière, on devrait pouvoir expliquer comment l'intelligence émerge collectivement des neurones. Y a t-il au moins des gens qui s'intéressent à ce sujet de la plus haute importance ?https://image.noelshack.com/fichiers/2017/13/1490886827-risibo.png

Je me sens idiot quand je lis ce topic.

Tu touches le smic ou un plus ? vu l'importance que l'etat donne aux nouvelles techno

Le 22 mars 2024 à 22:29:36 :
Je me sens idiot quand je lis ce topic.

Normal tu votes Trump. Pardon elle était facile celle-là.

C'est quoi ta spécialisation ?
Image
Text to speech
Speech to text
LMM
etc.

Le 22 mars 2024 à 22:14:41 :
Pas de question mais profil solide pour trouver un bon taff ça

La recherche quoi

Eh l'auteur

Peux-tu décrire une expérience spécifique où tu as dû faire preuve d'innovation pour surmonter un défi de recherche en IA, en incluant les détails techniques de la solution que tu as développée et pourquoi tu as choisi cette approche plutôt qu'une autre ?