[ALERTE] Possible RÉVOLUTION dans le MILIEU de l'IA

Le 28 février 2024 à 11:16:48 :

Le 28 février 2024 à 11:11:09 :

Le 28 février 2024 à 11:10:30 :

Le 28 février 2024 à 11:08:43 :

Le 28 février 2024 à 11:04:34 Verinot a écrit :

> Le 28 février 2024 à 11:03:34 :

>> Le 28 février 2024 à 10:58:36 Kathane5 a écrit :

> >> Le 28 février 2024 à 10:56:33 :

> > >> Le 28 février 2024 à 10:55:02 Verinot a écrit :

> > > >> Le 28 février 2024 à 10:54:20 :

> > > > >D'accord mais est-ce qu'il y'aura un jour une alternative à ChatGPT 4 ?

> > > >

> > > > Y'en a déjà plusieurs mais GPT-4 reste le SoTA pour le momenthttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

> > >

> > > Comme?

> >

> > bah mistral https://chat.mistral.ai/chat#id_token=eyJhbGciOiJSUzI1NiIsImtpZCI6ImI0NGYwNDFmLTA5NjgtNDU4YS05Yjc0LTY1NzFmNGMxNzhiOSIsInR5cCI6IkpXVCJ9.eyJhbXIiOlsib2lkYyJdLCJhdF9oYXNoIjoiWE5jbWRBNjJYY1RYMFZRb3Y3U204USIsImF1ZCI6WyI3OGMyNDhlMi1iNzVlLTRlOGUtOWRkNy0xMDlkODc2M2Q0NGUiXSwiYXV0aF90aW1lIjoxNzA5MDI4OTM5LCJlbWFpbCI6Im1hdGhpcy5kdXB1eS5ldHVkZUBnbWFpbC5jb20iLCJlbWFpbF92ZXJpZmllZCI6dHJ1ZSwiZXhwIjoxNzA5MDMyNTQzLCJmYW1pbHlfbmFtZSI6IkR1cHV5IiwiZ2l2ZW5fbmFtZSI6Ik1hdGhpcyIsImlhdCI6MTcwOTAyODk0MywiaXNzIjoiaHR0cHM6Ly9jb29sLWN1cnJhbi1mODNtM3Nya2ZsLnByb2plY3RzLm9yeWFwaXMuY29tIiwianRpIjoiNTdiMDZmMmMtZDA3Zi00YzdjLTk1MzUtYzI2YzA2ZWU4MWY0Iiwibm9uY2UiOiJLcmpXZkkxaGIxTDhYRGVrR3ZoMGRfcW4iLCJyYXQiOjE3MDkwMjg5MTUsInNpZCI6ImY0OTcwMDhlLWMwYmItNGJjZC05Y2E4LWEzYTI5OGQ1YTliZCIsInN1YiI6ImFkZjNkODBlLWNhYTktNGU3NC1iZjNkLTFhZTI3MDk5MzRjOCIsInVwZGF0ZWRfYXQiOjEuNzA5MDI4OTM4NzUzZSsxMn0.Qj5QxbWli-RmjSxI-hX9jF_jF5PjGl-n845ALEFbDMdFD6qGMZtnnPHMyqC3AmG6dDjOHe1kNyH7pKItGQrrSeEId3L2SzF8--0TEN8yU-4pFGwCLsMRstFJJvYvZAIW4XMpC0p9ltqhKDclWEqAqqN5zIa-IF3GZFo8HR2vdIF45HrffnwKu9BE_zvajQuJDUKWy6POZ2YbKkfNbHxK4R8DcfG6tmgxUvQgRohUaftVuvRtE9OA-lOxmC1XSSCC-KLd0D8Qh8L_J63iP9nAgpgL-f-3jkbSl5R7HIhc5q81jwDqFC_eWWA2MnWISavtd0jorQsOITZyBZMVflZATfiar5NhZ_xr0niecB3YW6hta-xJwqY0x9lVhXR8gJ_Kbkm2K8lHcJL6HgT6gYTBNWecKnzVrqFPystj5ns7qjbSJelyePMzvRp1oINhm18mM9FumB4kfUS7FqtyA5QGAMO5tyfkk9uue7S_2qEh6lI4xLm48OPYiIOuk6IkHJ0A9WAKMyZMNFELzrF3u9101UK2lDH-nnRZG5D6EUG9mtCy1rqd-XtH8ZCFfMsYcteeabHol9pG5f-r1tGV7K63H0sEh7bQj6Qb1SXBn2tZrlFe0MX73Hj-E58KPIGuV-35HyeJ6Onm1vblD8w-sN2UB8qBZT5zmZOo0kOE8PzUgKg

>

> déjà testé c'est bien pourri

Tous les français chient sur Mistral pendant qu'ils impressionnent tout le monde outre-atlantique et que Microsoft vient d'investir dans la boîte. Classiquehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Je trouve juste qu'un modèle avec 7B de paramètres ce n'est pas suffisant, excepté pour des tâches TRÈS Basiques

Bah sois patient
Avec le deal microsoft ils vont pouvoir scale
Après dommage que notre super pays et la superbe UE brident le développement de cette technologie chez nous

https://www.zdnet.fr/actualites/l-accord-entre-microsoft-et-mistral-ai-scrute-par-l-ue-39964550.htmhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

super les lois de la concurrence
ça serait dommage de mettre un sprint aux allemands

Mistral bientôt EDFedhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Le 28 février 2024 à 11:17:48 :

Le 28 février 2024 à 11:04:34 :

Tous les français chient sur Mistral pendant qu'ils impressionnent tout le monde outre-atlantique et que Microsoft vient d'investir dans la boîte. Classiquehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Les mêmes qui vont chouiner quand des américains et chinois vont racheter la boite, alors que le seul truc qu'il a cherché avec Mistral c'est "comment parler à une fille".

Il ne faut pas rater pas le train ?

Le 28 février 2024 à 11:08:43 :

Le 28 février 2024 à 11:04:34 Verinot a écrit :

Le 28 février 2024 à 11:03:34 :

Le 28 février 2024 à 10:58:36 Kathane5 a écrit :

Le 28 février 2024 à 10:56:33 :

> Le 28 février 2024 à 10:55:02 Verinot a écrit :

>> Le 28 février 2024 à 10:54:20 :

> >D'accord mais est-ce qu'il y'aura un jour une alternative à ChatGPT 4 ?

>

> Y'en a déjà plusieurs mais GPT-4 reste le SoTA pour le momenthttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Comme?

bah mistral https://chat.mistral.ai/chat#id_token=eyJhbGciOiJSUzI1NiIsImtpZCI6ImI0NGYwNDFmLTA5NjgtNDU4YS05Yjc0LTY1NzFmNGMxNzhiOSIsInR5cCI6IkpXVCJ9.eyJhbXIiOlsib2lkYyJdLCJhdF9oYXNoIjoiWE5jbWRBNjJYY1RYMFZRb3Y3U204USIsImF1ZCI6WyI3OGMyNDhlMi1iNzVlLTRlOGUtOWRkNy0xMDlkODc2M2Q0NGUiXSwiYXV0aF90aW1lIjoxNzA5MDI4OTM5LCJlbWFpbCI6Im1hdGhpcy5kdXB1eS5ldHVkZUBnbWFpbC5jb20iLCJlbWFpbF92ZXJpZmllZCI6dHJ1ZSwiZXhwIjoxNzA5MDMyNTQzLCJmYW1pbHlfbmFtZSI6IkR1cHV5IiwiZ2l2ZW5fbmFtZSI6Ik1hdGhpcyIsImlhdCI6MTcwOTAyODk0MywiaXNzIjoiaHR0cHM6Ly9jb29sLWN1cnJhbi1mODNtM3Nya2ZsLnByb2plY3RzLm9yeWFwaXMuY29tIiwianRpIjoiNTdiMDZmMmMtZDA3Zi00YzdjLTk1MzUtYzI2YzA2ZWU4MWY0Iiwibm9uY2UiOiJLcmpXZkkxaGIxTDhYRGVrR3ZoMGRfcW4iLCJyYXQiOjE3MDkwMjg5MTUsInNpZCI6ImY0OTcwMDhlLWMwYmItNGJjZC05Y2E4LWEzYTI5OGQ1YTliZCIsInN1YiI6ImFkZjNkODBlLWNhYTktNGU3NC1iZjNkLTFhZTI3MDk5MzRjOCIsInVwZGF0ZWRfYXQiOjEuNzA5MDI4OTM4NzUzZSsxMn0.Qj5QxbWli-RmjSxI-hX9jF_jF5PjGl-n845ALEFbDMdFD6qGMZtnnPHMyqC3AmG6dDjOHe1kNyH7pKItGQrrSeEId3L2SzF8--0TEN8yU-4pFGwCLsMRstFJJvYvZAIW4XMpC0p9ltqhKDclWEqAqqN5zIa-IF3GZFo8HR2vdIF45HrffnwKu9BE_zvajQuJDUKWy6POZ2YbKkfNbHxK4R8DcfG6tmgxUvQgRohUaftVuvRtE9OA-lOxmC1XSSCC-KLd0D8Qh8L_J63iP9nAgpgL-f-3jkbSl5R7HIhc5q81jwDqFC_eWWA2MnWISavtd0jorQsOITZyBZMVflZATfiar5NhZ_xr0niecB3YW6hta-xJwqY0x9lVhXR8gJ_Kbkm2K8lHcJL6HgT6gYTBNWecKnzVrqFPystj5ns7qjbSJelyePMzvRp1oINhm18mM9FumB4kfUS7FqtyA5QGAMO5tyfkk9uue7S_2qEh6lI4xLm48OPYiIOuk6IkHJ0A9WAKMyZMNFELzrF3u9101UK2lDH-nnRZG5D6EUG9mtCy1rqd-XtH8ZCFfMsYcteeabHol9pG5f-r1tGV7K63H0sEh7bQj6Qb1SXBn2tZrlFe0MX73Hj-E58KPIGuV-35HyeJ6Onm1vblD8w-sN2UB8qBZT5zmZOo0kOE8PzUgKg

déjà testé c'est bien pourri

Tous les français chient sur Mistral pendant qu'ils impressionnent tout le monde outre-atlantique et que Microsoft vient d'investir dans la boîte. Classiquehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Je trouve juste qu'un modèle avec 7B de paramètres ce n'est pas suffisant, excepté pour des tâches TRÈS Basiques

Mistral medium éclate GPT-3.5 et égale les premières versions de GPT-4, ils sont déjà dans le top 5 en fait

Le 28 février 2024 à 11:18:09 :

Le 28 février 2024 à 11:16:51 :

Le 28 février 2024 à 11:14:41 :
Je regarde le papier (je comprends pas tout), mais globalement ils remplacent la matrice de poids de chaque neurones par des booléens, et ils multiplies ça à une matrice 1D ?

En gros ils remplacent le FP16 par leur méthode de ""bit"" ternairehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Ok en gros y a plus de multiplications dans la sortie.
Je vois pas trop comment ils arrivent a garder la précisions, mais impressionnant en tout cas.

Je sais pas khey j'ai pas le niveau pour tout comprendre, je croise juste les doigtshttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Et n'oublions pas les nouvelles architectures à base de Mamba dans les tuyaux + Google qui vient de résoudre la context window avec RingAttention les progrès sont FULGURANTShttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Le 28 février 2024 à 11:19:00 :

Le 28 février 2024 à 11:17:48 :

Le 28 février 2024 à 11:04:34 :

Tous les français chient sur Mistral pendant qu'ils impressionnent tout le monde outre-atlantique et que Microsoft vient d'investir dans la boîte. Classiquehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Les mêmes qui vont chouiner quand des américains et chinois vont racheter la boite, alors que le seul truc qu'il a cherché avec Mistral c'est "comment parler à une fille".

Il ne faut pas rater pas le train ?

Mistral propose des choses très prometteuses et c'est la seule entreprise européenne qui n'a pas à rougir face à OpenAI. Le gap entre les deux se réduit très rapidement et ils sont largement à la hauteur.

Grosso modo, on pourra faire tourner Dalle-3 avec une Game Boy ! La même que pour aller sur Mars !

Le 28 février 2024 à 10:42:55 :
https://image.noelshack.com/fichiers/2024/09/3/1709113357-1482b9f7-fa3a-4140-ad50-91493f525a15.jpghttps://image.noelshack.com/fichiers/2024/09/3/1709113362-9c1ce20d-a773-4c09-b6c1-29128429603f.jpg

Bordel de merde cette FOLIEhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Ils se comportent à LLaMA.
Mais qu'en est-il par rapport à GPT et Gemini ?

Le 28 février 2024 à 11:20:19 :

Le 28 février 2024 à 11:19:00 :

Le 28 février 2024 à 11:17:48 :

Le 28 février 2024 à 11:04:34 :

Tous les français chient sur Mistral pendant qu'ils impressionnent tout le monde outre-atlantique et que Microsoft vient d'investir dans la boîte. Classiquehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Les mêmes qui vont chouiner quand des américains et chinois vont racheter la boite, alors que le seul truc qu'il a cherché avec Mistral c'est "comment parler à une fille".

Il ne faut pas rater pas le train ?

Mistral propose des choses très prometteuses et c'est la seule entreprise européenne qui n'a pas à rougir face à OpenAI. Le gap entre les deux se réduit très rapidement et ils sont largement à la hauteur.

J'achète

https://twitter.com/aympontier/status/1762487159620034992
https://www.latribune.fr/technos-medias/informatique/intelligence-artificielle-le-champion-francais-mistral-se-hisse-au-niveau-d-openai-991491.html

La startup 🇫🇷 Mistral présente son nouveau modèle d'intelligence artificielle, Mistral Large, affichant des performances qui égalent les meilleures IA du monde, et parvenant à faire presque aussi bien que GPT4 pour un coût de développement 5x inférieur.

par 5 ou 6, tout en diminuant la latence, et sans perte de qualité !

J'en parler il y a quelques jours, si c'est aussi bien que ça, dans 3 mois l'IA aura complètement changéhttps://image.noelshack.com/fichiers/2024/04/1/1705880441-2024-01-21.jpg

Je viens de tester Mistral et c'est vrai qu'il est convainquant

Le 28 février 2024 à 11:21:37 :

Le 28 février 2024 à 10:42:55 :
https://image.noelshack.com/fichiers/2024/09/3/1709113357-1482b9f7-fa3a-4140-ad50-91493f525a15.jpghttps://image.noelshack.com/fichiers/2024/09/3/1709113362-9c1ce20d-a773-4c09-b6c1-29128429603f.jpg

Bordel de merde cette FOLIEhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Ils se comportent à LLaMA.
Mais qu'en est-il par rapport à GPT et Gemini ?

Bah on sait pas, ils prennent LLaMA parce que c'est le seul gros modèle open sourcehttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Mais fondamentalement c'est la même structure, si ça marche pour LLaMA ça devrait fonctionner pour tous les LLMhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Si c’est open source depuis des mois pourquoi on en a pas entendu parler jusqu’à aujourd’hui ? Il y a des IA qui utilise déjà ce truc ?

Le 28 février 2024 à 11:24:46 :
Si c’est open source depuis des mois pourquoi on en a pas entendu parler jusqu’à aujourd’hui ? Il y a des IA qui utilise déjà ce truc ?

Non c'est une ancienne version sur le Github, ils ont pas encore publié la nouvelle dont parle le papierhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Mais ça montre que les gars sont sérieuxhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Le 28 février 2024 à 11:24:11 :
Je viens de tester Mistral et c'est vrai qu'il est convainquant

Qu'est ce que tu lui a demandé ?

Le 28 février 2024 à 11:21:37 :

Le 28 février 2024 à 10:42:55 :
https://image.noelshack.com/fichiers/2024/09/3/1709113357-1482b9f7-fa3a-4140-ad50-91493f525a15.jpghttps://image.noelshack.com/fichiers/2024/09/3/1709113362-9c1ce20d-a773-4c09-b6c1-29128429603f.jpg

Bordel de merde cette FOLIEhttps://image.noelshack.com/fichiers/2021/25/1/1624307173-img-20210621-222603.jpg

Ils se comportent à LLaMA.
Mais qu'en est-il par rapport à GPT et Gemini ?

Tu peux pas la comparer à un model close source dont on ne connait pas la taille et la véritable latence sur une machine uniquement dédié que pour noushttps://image.noelshack.com/fichiers/2024/04/1/1705880441-2024-01-21.jpg

Ce qui va être intéressant c'est de voir si dans le futur une personne va trouver le moyen d'optimiser les MoE avec cette technologiehttps://image.noelshack.com/fichiers/2024/04/1/1705880441-2024-01-21.jpg

Ce qui veut dire que avec 16Gb de VRAM tu pourras avoir l'équivalent de 2 modèles 70B qui run en même temps et spécialisé dans leur domainehttps://image.noelshack.com/fichiers/2024/04/1/1705880441-2024-01-21.jpg

Le 28 février 2024 à 11:26:10 :

Le 28 février 2024 à 11:24:11 :
Je viens de tester Mistral et c'est vrai qu'il est convainquant

Qu'est ce que tu lui a demandé ?

Sous Qt, comment lister tous les ports series COM disponibles.

C'est pas pointu, mais c'est pas non plus une question bateau. Il à parfaitement répondu.

Mouais, je suis dubitatif

Seul le temps d'apprentissage diminue, mais faudra encore fournir des tonnes de données, c'est ça?

Le 28 février 2024 à 11:28:24 :
Seul le temps d'apprentissage diminue, mais faudra encore fournir des tonnes de données, c'est ça?

Oui car les LLM ne sont que des machines de traitement de texte très évolué, pas une intelligence capable d'inventer réellementhttps://image.noelshack.com/fichiers/2024/04/1/1705880441-2024-01-21.jpg