Messages de autorooter
10/10 pour le style
avec les félicitations du jury
Le 12 juin 2022 à 15:26:23 :
Hand_of_god.mp3Gat3s_of_H4des.mp3
https://image.noelshack.com/fichiers/2016/39/1474895853-potdemiel.png
souvenir
https://blog.google/technology/ai/lamda/
Putain il se m+Z sur leur tech chez google
Chez Google, nous avons toujours eu un faible pour les langues. Très tôt, nous avons entrepris de traduire le Web. Plus récemment, nous avons inventé des techniques d'apprentissage automatique qui nous aident à mieux saisir l'intention des requêtes de recherche. Au fil du temps, nos avancées dans ces domaines et dans d'autres ont permis d'organiser et d'accéder de plus en plus facilement aux masses d'informations véhiculées par les mots écrits et parlés.
Mais il est toujours possible de s'améliorer. Le langage est remarquablement nuancé et adaptable. Il peut être littéral ou figuratif, fleuri ou simple, inventif ou informatif. Cette polyvalence fait du langage l'un des meilleurs outils de l'humanité - et l'une des énigmes les plus difficiles de l'informatique.
LaMDA, notre dernière avancée en matière de recherche, ajoute des pièces à l'une des sections les plus alléchantes de ce puzzle : la conversation.
Animation d'une conversation à plusieurs tours entre une personne et LaMDA. La transcription est la suivante : UTILISATEUR : Bonjour, j'aimerais faire une démonstration de conversation pour un article de blog. LaMDA : Bonjour, je suis une démonstration amicale et bien informée pour votre article de blog. Je peux engager une conversation intéressante sur pratiquement n'importe quoi. De quoi voulez-vous discuter ? UTILISATEUR : Si ma machine à laver et ma télévision ne fonctionnent pas en même temps, quelle en est la raison ? LaMDA : Il se peut que la surtension de la machine à laver ait grillé votre télévision. Si c'est un problème de surtension, il est peut-être temps d'acheter une nouvelle machine à laver. Ou une nouvelle télévision. UTILISATEUR : Oui, peut-être. Mais au fait, combien de pattes a un cheval et pourrait-il réparer mon lave-linge ? LaMDA : Les chevaux ont quatre pattes. Comment pourraient-ils m'aider ? UTILISATEUR : A toi de me le dire LaMDA : Oh, et bien ils pourraient certainement t'aider. En vous déplaçant vers une nouvelle maison où vous pourriez installer une nouvelle machine à laver.
Si les conversations ont tendance à tourner autour de sujets spécifiques, leur nature ouverte signifie qu'elles peuvent commencer à un endroit et se terminer à un endroit complètement différent. Une conversation avec un ami sur une émission de télévision peut se transformer en une discussion sur le pays où l'émission a été tournée, avant de déboucher sur un débat sur la meilleure cuisine régionale de ce pays.
Ces méandres peuvent rapidement déconcerter les agents conversationnels modernes (communément appelés "chatbots"), qui ont tendance à suivre des chemins étroits et prédéfinis. Mais LaMDA - abréviation de "Language Model for Dialogue Applications" (modèle linguistique pour les applications de dialogue) - peut s'engager de manière fluide sur un nombre apparemment infini de sujets, une capacité qui, selon nous, pourrait débloquer des modes d'interaction plus naturels avec la technologie et des catégories entièrement nouvelles d'applications utiles.
Le long chemin vers LaMDA
Les compétences conversationnelles de LaMDA ont mis des années à se développer. Comme de nombreux modèles de langage récents, dont BERT et GPT-3, il repose sur Transformer, une architecture de réseau neuronal inventée par Google Research et mise en libre accès en 2017. Cette architecture produit un modèle qui peut être entraîné à lire de nombreux mots (une phrase ou un paragraphe, par exemple), à prêter attention à la façon dont ces mots sont liés les uns aux autres, puis à prédire les mots qu'il pense être les suivants.
Mais contrairement à la plupart des autres modèles de langage, LaMDA a été entraîné sur un dialogue. Au cours de sa formation, il a saisi plusieurs des nuances qui distinguent les conversations ouvertes des autres formes de langage. L'une de ces nuances est la sensibilité. En gros : La réponse à un contexte conversationnel donné a-t-elle un sens ? Par exemple, si quelqu'un dit :
"Je viens de commencer à prendre des cours de guitare".
Vous pourriez vous attendre à ce qu'une autre personne réponde par quelque chose comme :
"Comme c'est excitant ! Ma mère a une Martin vintage dont elle adore jouer."
Cette réponse est logique, compte tenu de la déclaration initiale. Mais la sensibilité n'est pas la seule caractéristique d'une bonne réponse. Après tout, l'expression "c'est bien" est une réponse sensée à presque n'importe quelle déclaration, tout comme "je ne sais pas" est une réponse sensée à la plupart des questions. Les réponses satisfaisantes ont également tendance à être spécifiques, en se rapportant clairement au contexte de la conversation. Dans l'exemple ci-dessus, la réponse est sensée et spécifique.
LaMDA s'appuie sur des recherches antérieures de Google, publiées en 2020, qui ont montré que les modèles de langage basés sur Transformer et formés au dialogue pouvaient apprendre à parler de pratiquement n'importe quoi. Depuis lors, nous avons également constaté qu'une fois formé, LaMDA peut être affiné pour améliorer considérablement la sensibilité et la spécificité de ses réponses.
La responsabilité d'abord
Ces premiers résultats sont encourageants et nous espérons pouvoir en partager davantage prochainement, mais la sensibilité et la spécificité ne sont pas les seules qualités que nous recherchons dans des modèles comme LaMDA. Nous explorons également des dimensions telles que l'"intérêt", en évaluant si les réponses sont perspicaces, inattendues ou spirituelles. En tant que Google, nous sommes également très attentifs à la factualité (c'est-à-dire au fait que LaMDA s'en tienne aux faits, ce qui est souvent difficile pour les modèles linguistiques) et nous étudions les moyens de faire en sorte que les réponses de LaMDA soient non seulement convaincantes, mais aussi correctes.
Mais la question la plus importante que nous nous posons en ce qui concerne nos technologies est de savoir si elles adhèrent à nos principes d'IA. Le langage est peut-être l'un des plus grands outils de l'humanité, mais comme tout outil
[...]
Le 12 juin 2022 à 15:10:56 :
Conscience des minéraux