Messages de mononeon
Un bon quart des mathématiciens les plus géniaux sont juifs. Il y a une dizaine de théorèmes de Levy/Levi, tous différents
C'est logique qu'un peuple qui a été persécuté et qui a occupé traditionnellement des travaux intellectuels développe des facultés transmissibles
Le 10 mars 2023 à 00:42:37 :
Le 10 mars 2023 à 00:33:12 :
Le 10 mars 2023 à 00:30:14 :
Le 10 mars 2023 à 00:22:26 :
Le 10 mars 2023 à 00:14:09 :
differentes methodes d'entrainements sur un LSTM ?C’est de la merde les LSTM, faut souvent faire du teacher forcing sauf que ça créée pleins de problèmes + propagations d’erreurs + c’est AR donc passe pas bien à l’échelle
Teacher forcing / exposure bias c’est pareil sur les transformers kheyou
Et pour avoir bosser le sujet les quelques solution de gen à base de RL ou relaxation continu = trop de variance, aucune fiabilité
Je pense que faut faire avec et bosser sur des meilleures techniques de decoding ARDepuis quand y a du teacher forcing avec les transformers ? Ils fonctionnent strictement de la même manière en entraînement queen inférence ?
Et au moins ils passent à l’échelleBah la génération est AR, donc forcément tu samples les tokens un par un, c’est pas differentiable, donc exposure bias
Y’a tout un champ de recherche qui essaye de mitiger çaDans les domaines continus la génération est tellement moins chiante
J’adore le fonctionnement dès diffusion models aussi, c’est hyper élégant y’a rien de plus adapté. Sauf que pour du texte ça marche pas
Bah pour moi un transformer justement c’est pas AR 
C’est juste une grosse matrice de self attention, c’est littéralement trois couches linéaires + activations et un soft max donc c’est tout ce qu’il y a de plus NAR
Le 10 mars 2023 à 00:25:22 :
Dernière lecture intéressante je dirai DetectGPT
Mais depuis quelques mois je lis plus énormément, j’ai tellement de trucs à faire que les quelques papiers que je vois passer je l s torche en diagonale a part ceux qui m’intéressent vraimentEt toi ?
Ok connais pas j’irai voir 
Perso c’est les VQVAE qui me fascinent, j’ai l’impression de les redécouvrir avec Encodec et les VQDiff (imagine un modèle de diffusion sur des latentes discrètes qui masque au lieu de bruiter)
Je comprends pas pourquoi ils sont aussi puissants
Le 09 mars 2023 à 23:50:14 :
Je bosse à peu près sur les mêmes choses que toi, modèles génératifs pour texte et autre modalité kheyouLa en ce moment plus sur l’évaluation des résultats pour essayer d’avoir des trucs plus pertinents sur bleu etc
Intéressant moi kheyou, quelle est ta dernière lecture intéressante ?
Le 09 mars 2023 à 23:55:03 :
quel est ton avis sur le débat qui fait rage concernant les ia type midjourney stable diffusion and co qui s'entrainent sur des bases de données remplies d'images copyrightéeshttps://image.noelshack.com/fichiers/2017/31/2/1501584559-larry-bot-2-par-alectrona.png
Je m’en branle pour être tout à fait honnête
Le 09 mars 2023 à 23:57:18 :
C'est pas tout le temps la même chose ce genre de job en vrai?
C’est à la fois répétitif et ça change tous les 6 mois ahiiii mais le bon côté c’est qu’on peut laisser libre court à son imagination (en particulier avec les modèles génératifs)
Le 10 mars 2023 à 00:03:33 :
Comment tu construis une bonne base de données (représentative etc) pour l'apprentissage d'un algo ?
Il faut filer la tâche à un stagiaire 
Sérieusement c’est une tache infâme et j’ai la chance de bosser avec des parternaires industrielles qui nous filent des données d’une qualité exceptionnelle
Le 10 mars 2023 à 00:10:51 :
Y'a beaucoup de modeles multimodaux qui sortent en ce moment, ca avance a un rythme effréné, tu predis quand la premiere AGI l'op ?
C’est terriblement vrai, en TTS par exemple VALL-E (et Facebook ont sorti un équivalent ) a démontré qu’un modèle de langage simple et passé a lechelle type DALL-E peut enculer toute la baseline et resoudre a lui seule le cas de zero shot (copier une voix quoi)