Messages de Banclistologue

c'est à cause des gens comme ceux de ce topic qui veulent juste profiter plutôt que de fonder une famille et de dédier leur vie à quelque chose de plus grand qu'eux que la civilisation française s'effondre

les nouvelles générations critiquent les boomer mais la mentalité boomer est encore plus présente chez eux en réalité

tout ce qu'ils veulent c'est profiter, profiter, profiter, jouir, jouir, jouir, quitte à faire 0 gosse, à ne pas travailler ou alors à faire des trucs qui n'apportent rien au monde et qui consistent grosso modo à arnaquer les autres (dropshipping, rentier dream avec rbnb etc.)

Le 30 avril 2022 à 11:54:26 :
La vrai vie c’est s’éclater avec ses amis tout le temps , voir des gonzesses tout le temps , aller au resto , rouler en belle caisse , voyager , réaliser ces rêves

le boomer dream ouais

Le 29 avril 2022 à 20:24:49 :

Le 29 avril 2022 à 20:23:58 :

Le 29 avril 2022 à 20:20:50 :

Le 29 avril 2022 à 20:20:10 :

Le 29 avril 2022 à 20:18:48 :
Les kevin anti France collab sont de sortis visiblement

Non kevin , si la Russie attaque la France c’est aussi son arrêt de mort , la force de frappe française est suffisamment grande pour renvoyer chaque russes 5000 ans en arrière

Topic clos

Russie 5000ans en arrière, nous 1M

Sauf que y aura pas que la France qui leur nukera la gueule le Golem déficient

Le 29 avril 2022 à 20:20:50 :

Le 29 avril 2022 à 20:20:10 :

Le 29 avril 2022 à 20:18:48 :
Les kevin anti France collab sont de sortis visiblement

Non kevin , si la Russie attaque la France c’est aussi son arrêt de mort , la force de frappe française est suffisamment grande pour renvoyer chaque russes 5000 ans en arrière

Topic clos

Russie 5000ans en arrière, nous 1M

Sauf que y aura pas que la France qui leur nukera la gueule le Golem déficient

Les fameuse alliance

Dans tout les cas on verra si ça arrive, mais à force de dire que les russes sont des merdes etc… ça va nous retomber sur la gueule

Tu crois vraiment que les autres pays laisseraient la France se faire "nuke" sans conséquence en applaudissant "ah ouais beau gosse Poutine"https://image.noelshack.com/fichiers/2020/52/6/1608985783-ahi-triangle.png

je rappelle ce que pensent les US de l'Europe :

"And, you know… Fuck the EU"
https://fr.wikipedia.org/wiki/Victoria_Nuland

Le 29 avril 2022 à 20:03:59 :

Le 29 avril 2022 à 20:02:48 :
Simple question, une bombe nucléaire sur Paris ca va jusqu'à combien de km l explosion ?

t'as des chances d'etre bruler vif à 200km

pas du tout
100km pour une tsar bomba (50MT), sachant que satan2 contiendrait des têtes bien plus légères

Le 29 avril 2022 à 19:51:42 :
Mais en fait a chaque fois qu'une grande puissance veut prendre un pays sans arme de destruction massive c'est un énorme fail.

USA vs Vietman = fail

France vs Algérie = fail

URSS vs Afghanistan = fail

etc, etc...

ça dépend de ce que l'on appelle un fail
parfois on présente ça comme un fail parce que le mainstream présente de faux objectifs de guerre, faux objectifs qui ne sont pas atteints
après derrière le discours mainstream il y a les vrais objectifs de guerre qui généralement sont atteints, donc à la fin il y a une victoire du point de vue des objectifs implicites et une défaite du point de vue des objectifs officiels
le viet nam c'est ça

Le 29 avril 2022 à 19:51:19 :

Le 29 avril 2022 à 19:50:32 :

Le 29 avril 2022 à 19:49:29 :

Le 29 avril 2022 à 19:48:40 :

Le 29 avril 2022 à 19:44:24 :
Ils ont du mal à faire tomber l’ukraine et ils veulent bombarder paris ?

Votre arrogance me fait rire sérieux
l'Ukraine est soutenu par tout le monde dont les usa c'est pas juste l'Ukraine
Prendre la Russie a la légère vous êtes vraiment des gros demeures mais ça vous vous en rendrez compte trop tard

Ouin ouinhttps://image.noelshack.com/fichiers/2017/06/1486613075-rage.png

vous me faites marrer à pleurer toute la journée pour les morts ukrainiens et les villes ravagées par les russes pour ensuite prétendre que ce sont les autres qui pleurent

2 moishttps://image.noelshack.com/fichiers/2017/06/1486613075-rage.png

2 semaines pour les objectifs principaux (destruction des bases militaires de l'otan)

Le 29 avril 2022 à 19:49:29 :

Le 29 avril 2022 à 19:48:40 :

Le 29 avril 2022 à 19:44:24 :
Ils ont du mal à faire tomber l’ukraine et ils veulent bombarder paris ?

Votre arrogance me fait rire sérieux
l'Ukraine est soutenu par tout le monde dont les usa c'est pas juste l'Ukraine
Prendre la Russie a la légère vous êtes vraiment des gros demeures mais ça vous vous en rendrez compte trop tard

Ouin ouinhttps://image.noelshack.com/fichiers/2017/06/1486613075-rage.png

vous me faites marrer à pleurer toute la journée pour les morts ukrainiens et les villes ravagées par les russes pour ensuite prétendre que ce sont les autres qui pleurent

Le 29 avril 2022 à 19:45:36 :

Le 29 avril 2022 à 19:44:10 futurexyoutuber a écrit :

Le 29 avril 2022 à 19:42:10 :
La LOURDEUR des russes

Les mecs se font humilier sur une guerre qui devait durer 48h, du coup ils sont en mode "regardez moi je peux être encore plus méchant hein"https://image.noelshack.com/fichiers/2017/44/3/1509495373-ege.png

Ce comportement d'AW typique bordelhttps://image.noelshack.com/fichiers/2018/27/4/1530827992-jesusreup.png

1) personne n'a dit que ça allait durer 48 h.
2) ils répondent aux menaces que l'OTAN fait sur leurs pays
3) ils humilient les Ukrainiens comme prévu.

Les Français complétement lobotomisé bordel Aya, y a rien qui vahttps://image.noelshack.com/fichiers/2021/50/6/1639796273-8fc521cb-1ed2-4c74-bb21-53f4bca927e3.png

Ca existe encore des bot-Russe ? t'es deter toi. Deux mois entiers d'humiliationhttps://image.noelshack.com/fichiers/2017/19/1494260086-zoom3.png

en tout cas les bots otaniens sont toujours au garde-à-vous visiblementhttps://image.noelshack.com/fichiers/2017/19/1494260086-zoom3.png

Le 29 avril 2022 à 19:41:08 :

Le 29 avril 2022 à 19:38:43 :
C'est plutôt les armes américaines qui font flipper, la plus puissante bombe qu'ils ont testés Castle Bravo c'était un accident, elle devait faire 5 MT elle en a fait 15 , tout les instruments scientifique ont été vaporisé sur youtube vous verrez que c'est un des plus long flash lumineux d'une bombe nucléaire. Plusieurs morts notamment un navire japonais qui s'est fait irradiated (ils ont du se dirent "shit here we are again " )

Et je ne parlerais pas de leurs bombes perdu dans l'océan ou des accidents qui ont faillus atomiser leurs propre pays d'un cheveux "Après étude, il est établi que cinq de ses six dispositifs de sécurité n'ont pas fonctionné : un simple commutateur a empêché l'explosion de cette bombe nucléaire de 2,4 mégatonnes" https://fr.wikipedia.org/wiki/Accident_d%27un_B-52_%C3%A0_Goldsboro

Je croyais que la plus puissante bombe atomique lancée était Tsar Bomba ?

c'est exact

Le 29 avril 2022 à 19:38:43 :
C'est plutôt les armes américaines qui font flipper, la plus puissante bombe qu'ils ont testés Castle Bravo c'était un accident, elle devait faire 5 MT elle en a fait 15 , tout les instruments scientifique ont été vaporisé sur youtube vous verrez que c'est un des plus long flash lumineux d'une bombe nucléaire. Plusieurs morts notamment un navire japonais qui s'est fait irradiated (ils ont du se dirent "shit here we are again " )

Et je ne parlerais pas de leurs bombes perdu dans l'océan ou des accidents qui ont faillus atomiser leurs propre pays d'un cheveux "Après étude, il est établi que cinq de ses six dispositifs de sécurité n'ont pas fonctionné : un simple commutateur a empêché l'explosion de cette bombe nucléaire de 2,4 mégatonnes" https://fr.wikipedia.org/wiki/Accident_d%27un_B-52_%C3%A0_Goldsboro

les russes ont testé une bombe de 50MT en sibérie

Le 29 avril 2022 à 17:25:16 :
https://image.noelshack.com/fichiers/2022/17/5/1651245836-124358069-ukraine-russian-control-areas-map-2x-nc.png

Plus de 2 mois de guerre dans un pays du tiers monde pour ça et ils vont nous faire croire qu'ils ont des nukes capable de détruire la planètehttps://image.noelshack.com/fichiers/2017/30/4/1501188028-risitasbestreup.png

ils ont fait une démonstration de leur technique en ukraine en mettant des missiles conventionnels à la place des têtes nucléaires idiot

Le 29 avril 2022 à 12:50:09 :

Le 29 avril 2022 à 12:49:28 :

Le 29 avril 2022 à 12:47:54 :

Le 29 avril 2022 à 12:46:28 :

Le 29 avril 2022 à 12:34:49 JorgeSansPaoli a écrit :

Le 29 avril 2022 à 12:33:00 :
c'est pas plus ridicule que la foi catholique

En effet le Christ vrai homme et vrai Dieu mort sur la croix pour racheter les péchés des hommes c’est vachement ridicule

Le magistère de l’église catholique romaine fondé par l’apôtre Pierre aussi

Le christ qui se sacrifie 1 jour pour racheter les pêchés qu'il a lui même décider de pas pardonner pour ceux qui refusent son sacrifice. Vous réalisez que ça n'a aucun sens ? C'est quoi qui vous plait les types habillé en dorée avec des grand chapeaux qui défilent dans les villages ?

Allez vazy explique nous pourquoi ça n'a aucun sens, j'espère que t'es solide pcq là tu pars sur la réfutation de 1500 ans de l'histoire de la pensée, si ce n'est plushttps://image.noelshack.com/fichiers/2018/27/4/1530827992-jesusreup.png

d'histoire de la propagande *

Allez vazy développe qu'on rigolehttps://image.noelshack.com/fichiers/2018/27/4/1530827992-jesusreup.png

tu m'as l'air un peu nerveux, détends-toi célestin

Le 29 avril 2022 à 12:47:54 :

Le 29 avril 2022 à 12:46:28 :

Le 29 avril 2022 à 12:34:49 JorgeSansPaoli a écrit :

Le 29 avril 2022 à 12:33:00 :
c'est pas plus ridicule que la foi catholique

En effet le Christ vrai homme et vrai Dieu mort sur la croix pour racheter les péchés des hommes c’est vachement ridicule

Le magistère de l’église catholique romaine fondé par l’apôtre Pierre aussi

Le christ qui se sacrifie 1 jour pour racheter les pêchés qu'il a lui même décider de pas pardonner pour ceux qui refusent son sacrifice. Vous réalisez que ça n'a aucun sens ? C'est quoi qui vous plait les types habillé en dorée avec des grand chapeaux qui défilent dans les villages ?

Allez vazy explique nous pourquoi ça n'a aucun sens, j'espère que t'es solide pcq là tu pars sur la réfutation de 1500 ans de l'histoire de la pensée, si ce n'est plushttps://image.noelshack.com/fichiers/2018/27/4/1530827992-jesusreup.png

d'histoire de la propagande *

Le 29 avril 2022 à 11:21:36 :
Elon Musk, sans son fric c'est littéralement Roger du PMU de la gare qui passe ses journées à parler complots avec ses potes piliers de comptoir

Vous vulgarisez.

Le 27 avril 2022 à 23:39:43 :

Le 27 avril 2022 à 23:37:45 Banclistologue a écrit :

Le 27 avril 2022 à 23:33:40 :

Le 27 avril 2022 à 23:30:54 Banclistologue a écrit :

Le 27 avril 2022 à 23:25:37 :

Le 27 avril 2022 à 23:22:08 Banclistologue a écrit :

Le 27 avril 2022 à 23:15:20 :

Le 27 avril 2022 à 23:10:21 :

Le 27 avril 2022 à 23:04:57 Banclistologue a écrit :

Le 27 avril 2022 à 22:31:25 :

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Penalise s'il est sous performant?

pénaliser un modèle pour sa sous-performance ça s'appelle juste faire de l'optimisation en fait

mais comme a dit le khey c'est pas le cas des termes additifs dans la loss type régularisation L2

le but c'est de forcer tes poids à rester sur des petites valeurs de sorte à restreindre un peu l'espace des états de ton modèle (plus tu pénalises moins ton modèle overfit)

l'idée intuitive c'est qu'en utilisant beaucoup, beaucoup de poids, mais en régularisant pour compenser, on laisse au modèle la possibilité de voir les exemples sous plein d'angles différents et de construire de très nombreuses caractérisations intermédiaires de l'exemple pour nourrir une réflexion riche sans pour autant qu'il se mette à apprendre par coeur

(enfin quand je dis nourrir une réflexion riche c'est une métaphore hein,comme disent les kheys en ML y'a pas vraiment d'intelligence ... à part en reinforcement peut-être)

Je viens de lire un article à propos des vanishing gradient, ya des méthodes connues pour stop ce problème?
Mon réseau sera assez profond du coup je vais forcément me manger ce phénomènehttps://image.noelshack.com/fichiers/2022/17/2/1650981471-karen17.png

bah typiquement les residual dont on parlait tout à l'heure ça aide
comme je disais ça diminue la profondeur apparente de ton réseau

mais en fait je vois pas trop comment tu pourrais te manger ce phénomène vu que tu vas probablement juste prendre une architecture déjà disponible comme un resnet, qui contient déjà une solution au problème
à moins que tu veuilles vraiment bosser sur les architectures nn mais dans ce cas c'est de la recherche pure en ML, pas du ML appliqué à la finance

si je voulais faire une analogie, c'est comme si tu voulais coder un petit jeu opensource qui tourne sur ubuntu mais que tu te sentais limité par des problèmes qui ont historiquement été rencontré lors du développement du noyau linux

Bah mon architecture fait qu'elle aura 8-10 couches environs du coup je vais me manger le problème des gradientshttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png
8 dérivées d'affilées ça donne plus rien non? si je me trompe tant mieux je vais juste utiliser une sigmoidhttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

tu n'as aucune raison de connaître le nombre de couches à l'avance
pour faire les choses proprement tu dois laisser la possibilité à ton optimiseur d'hyperparamètres de "choisir" entre plusieurs architectures

bah ya une raison mais franchement j'aimerais me délester de toute complexité possible car ça commence à faire trophttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png
grâce au dropout c'est ça? il modifie la structurehttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

le dropout ne modifie pas la structure, tu ne l'actives que pendant la phase de training, ensuite tous tes poids sont utilisés
(en fait tu parles plutôt d'approches sparse, ou de régularisation L0 j'ai l'impression ... j'ai mis un lien sur la régularisation L0 plus haut tu peux jeter un oeil)

Je comprends pas à quoi ça sert de les utiliser s'ils ont été drop en training? je croyais que ça les supprimait pour gagner en ressources sans perdre trop d'efficacitéhttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

elles sont pas tout le temps drop pendant le training en fait
à chaque itération tu en drop un certain nombre au pif mais pas toujours les mêmes
intuitivement ça permet de forcer ton modèle à être résilient / à savoir se débrouiller de plusieurs façons différentes pour trouver la solution
mais à la fin quand l'entraînement est fini il vaut mieux qu'il ait toutes ses capacités à disposition

Le 27 avril 2022 à 23:38:09 :

Le 27 avril 2022 à 23:35:33 Banclistologue a écrit :

Le 27 avril 2022 à 23:26:51 :

Le 27 avril 2022 à 23:22:08 Banclistologue a écrit :

Le 27 avril 2022 à 23:15:20 :

Le 27 avril 2022 à 23:10:21 :

Le 27 avril 2022 à 23:04:57 Banclistologue a écrit :

Le 27 avril 2022 à 22:31:25 :

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Penalise s'il est sous performant?

pénaliser un modèle pour sa sous-performance ça s'appelle juste faire de l'optimisation en fait

mais comme a dit le khey c'est pas le cas des termes additifs dans la loss type régularisation L2

le but c'est de forcer tes poids à rester sur des petites valeurs de sorte à restreindre un peu l'espace des états de ton modèle (plus tu pénalises moins ton modèle overfit)

l'idée intuitive c'est qu'en utilisant beaucoup, beaucoup de poids, mais en régularisant pour compenser, on laisse au modèle la possibilité de voir les exemples sous plein d'angles différents et de construire de très nombreuses caractérisations intermédiaires de l'exemple pour nourrir une réflexion riche sans pour autant qu'il se mette à apprendre par coeur

(enfin quand je dis nourrir une réflexion riche c'est une métaphore hein,comme disent les kheys en ML y'a pas vraiment d'intelligence ... à part en reinforcement peut-être)

Je viens de lire un article à propos des vanishing gradient, ya des méthodes connues pour stop ce problème?
Mon réseau sera assez profond du coup je vais forcément me manger ce phénomènehttps://image.noelshack.com/fichiers/2022/17/2/1650981471-karen17.png

bah typiquement les residual dont on parlait tout à l'heure ça aide
comme je disais ça diminue la profondeur apparente de ton réseau

mais en fait je vois pas trop comment tu pourrais te manger ce phénomène vu que tu vas probablement juste prendre une architecture déjà disponible comme un resnet, qui contient déjà une solution au problème
à moins que tu veuilles vraiment bosser sur les architectures nn mais dans ce cas c'est de la recherche pure en ML, pas du ML appliqué à la finance

si je voulais faire une analogie, c'est comme si tu voulais coder un petit jeu opensource qui tourne sur ubuntu mais que tu te sentais limité par des problèmes qui ont historiquement été rencontré lors du développement du noyau linux

Si c'est disponible c'est que ça marche pas kheyou, surtout dans la financehttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

je parle de la techno sous-jacente
tu as une infinité de façon de l'utiliser ensuite

et honnêtement si tu veux un modèle original tu as plus intérêt à jouer sur l'originalité de ton dataset, ou de la méthode de training utilisée, plus que sur l'originalité de ton architecture

(et by the way, les marchés ne sont pas rationnels sur les assets avec très peu de liquidité)

Donc limite je peux copier coller un modèle puis lui faire avaler mes données c'est ce que tu dis?https://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

franchement, c'est un peu ça

après quelles sont tes données

quels sont tes inputs, est-ce que tu travailles en multi-modal et si oui comment tu vas gérer ça. est-ce que tu vas aussi t'appuyer sur des données d'actualités avec google trend, etc.

quels sont tes labels (lui faire deviner seulement le prix à t + delta t n'est pas forcément le meilleur moyen d'entraîner un premier gros modèle ou de chauffer ton modèle définitif, même si in fine c'est la tâche qui t'intéresse)

est-ce que tu vas faire du transfer learning, si oui tu te bases sur quel modèle

etc.

il y a mille façons de poser le problème

Le 27 avril 2022 à 23:34:37 :

Le 27 avril 2022 à 23:32:13 idrms a écrit :
Faut bien que t es conscience que plus t as de couches plus tu cherches une relation complexe et ultra implicite entre ton entrée et ta sortie. Donc plus tu vas profond, plus t as de chance de ne pas généraliser

et si les données d'entrainement sont nombreuses ça compense?

oui, plus le dataset est grand, moins vite tu overfit
par contre ça devient vite gourmand en ressource

Le 27 avril 2022 à 23:33:40 :

Le 27 avril 2022 à 23:30:54 Banclistologue a écrit :

Le 27 avril 2022 à 23:25:37 :

Le 27 avril 2022 à 23:22:08 Banclistologue a écrit :

Le 27 avril 2022 à 23:15:20 :

Le 27 avril 2022 à 23:10:21 :

Le 27 avril 2022 à 23:04:57 Banclistologue a écrit :

Le 27 avril 2022 à 22:31:25 :

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Le 27 avril 2022 à 22:29:11 RMSProp a écrit :

Le 27 avril 2022 à 22:10:52 :

Le 27 avril 2022 à 22:07:23 :

Le 27 avril 2022 à 22:01:31 :
-Dropout, ca sert surtout a regulariser le reseau. Tu peux aussi mettre un cout de regularization (L1 ou L2 penalite) afin de rendre le reseau "sparse" ca a certain avantage theorique en plus de reduire l'overfitting

-Ca existe, ca s'appel les "Skip connections", tu peux lire le paper sur RestNet ou DenseNet. De nos jours on met meme des coeff alpha et beta sur les connections pour eviter d'avoir a utiliser batch norm (lire le papier NFNets)

- Aucune idee, mais en ce moment tout le monde utiliser des Transformer-like donc ca doit marcher la bas aussi

-JAX ou Pytorch

Met plus de termes anglais pour aider un débutant je pense, sinon il va pas t'écouter
Et relis sa question, sauter une couche pour ne se connecter qu'à une couche antérieure, ça s'appelle juste une couche parallèle.
JAX ou pytorch

Par contre, je suis interessé par le "cout de régularisation" je connais pas.

Les termes en francais sont bidons et il trouvera rien sur Google

Les skips connections c'est pas que d'une couche à l'autre, ça peut se faire par blocks, de mémoire c'est le cas dans resnet avec une 1x1 conv pour gérer la différence de dimension
Les couches parallèle c'est plus dans le style Inception/googlelenet

Pourquoi ? Mes potes chez Google dev avec JAX et Pytorch est le framework dominant dans la recherche

L1 et L2 sont des "coûts" dans le sens où ça penalize ton réseau

Penalise s'il est sous performant?

pénaliser un modèle pour sa sous-performance ça s'appelle juste faire de l'optimisation en fait

mais comme a dit le khey c'est pas le cas des termes additifs dans la loss type régularisation L2

le but c'est de forcer tes poids à rester sur des petites valeurs de sorte à restreindre un peu l'espace des états de ton modèle (plus tu pénalises moins ton modèle overfit)

l'idée intuitive c'est qu'en utilisant beaucoup, beaucoup de poids, mais en régularisant pour compenser, on laisse au modèle la possibilité de voir les exemples sous plein d'angles différents et de construire de très nombreuses caractérisations intermédiaires de l'exemple pour nourrir une réflexion riche sans pour autant qu'il se mette à apprendre par coeur

(enfin quand je dis nourrir une réflexion riche c'est une métaphore hein,comme disent les kheys en ML y'a pas vraiment d'intelligence ... à part en reinforcement peut-être)

Je viens de lire un article à propos des vanishing gradient, ya des méthodes connues pour stop ce problème?
Mon réseau sera assez profond du coup je vais forcément me manger ce phénomènehttps://image.noelshack.com/fichiers/2022/17/2/1650981471-karen17.png

bah typiquement les residual dont on parlait tout à l'heure ça aide
comme je disais ça diminue la profondeur apparente de ton réseau

mais en fait je vois pas trop comment tu pourrais te manger ce phénomène vu que tu vas probablement juste prendre une architecture déjà disponible comme un resnet, qui contient déjà une solution au problème
à moins que tu veuilles vraiment bosser sur les architectures nn mais dans ce cas c'est de la recherche pure en ML, pas du ML appliqué à la finance

si je voulais faire une analogie, c'est comme si tu voulais coder un petit jeu opensource qui tourne sur ubuntu mais que tu te sentais limité par des problèmes qui ont historiquement été rencontré lors du développement du noyau linux

Bah mon architecture fait qu'elle aura 8-10 couches environs du coup je vais me manger le problème des gradientshttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png
8 dérivées d'affilées ça donne plus rien non? si je me trompe tant mieux je vais juste utiliser une sigmoidhttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

tu n'as aucune raison de connaître le nombre de couches à l'avance
pour faire les choses proprement tu dois laisser la possibilité à ton optimiseur d'hyperparamètres de "choisir" entre plusieurs architectures

bah ya une raison mais franchement j'aimerais me délester de toute complexité possible car ça commence à faire trophttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png
grâce au dropout c'est ça? il modifie la structurehttps://image.noelshack.com/fichiers/2022/17/1/1650876612-karen12.png

le dropout ne modifie pas la structure, tu ne l'actives que pendant la phase de training, ensuite tous tes poids sont utilisés
(en fait tu parles plutôt d'approches sparse, ou de régularisation L0 j'ai l'impression ... j'ai mis un lien sur la régularisation L0 plus haut tu peux jeter un oeil)