Comprendre LaMDA : qu’est-ce que c’est et comment révolutionne-t-il l’informatique ?

Dans la course à l’intelligence artificielle, les géants de la Tech rivalisent pour repousser les frontières de la compréhension humaine et de l’interaction avec les machines. Pour contrer OpenAI et ChatGPT, Google a dégainé son agent conversationnel Bard en 2023, alimenté par le modèle de langage LaMDA.

LaMDA, le modèle de NLP de Google

En 2020, LaMDA a été dévoilé comme la prochaine génération de l’IA conversationnelle de Google, succédant à Meena. Une première version a été annoncée lors de la conférence Google I/O en 2021, et la deuxième génération a été présentée l’année suivante.

Ce modèle de génération de langage conversationnel utilise l’apprentissage profond afin de comprendre le contexte d’une conversation et de proposer en retour des réponses pertinentes et cohérentes. Il se distingue des autres modèles par sa capacité à participer à des conversations ouvertes.

Quels sont les principaux concepts et objectifs de LaMDA ?

Selon Google, LaMDA poursuit trois objectifs principaux : Qualité, Sécurité et Fondement.

La qualité au cœur du modèle

Elle se décompose en trois dimensions : Sensibilité, Spécificité et Intérêt (SSI). Celles-ci sont évaluées par des évaluateurs humains. La sensibilité évalue si le modèle produit des réponses cohérentes avec le contexte du dialogue. Elle permet d’éviter les erreurs de bon sens, les réponses absurdes et les contradictions.

La notion de spécificité détermine si la réponse du modèle est adaptée au contexte du dialogue précédent. Elle évite les réponses trop génériques. Enfin, l’intérêt mesure si le modèle produit des réponses perspicaces ou inattendues de manière à améliorer la qualité du dialogue.

Sécurité, vers une IA responsable

Des objectifs de sécurité visent à contraindre les sorties du modèle. Le but est d’éviter de renforcer les biais injustes. Par exemple, le modèle est entraîné pour s’abstenir de générer des contenus violents ou macabres, à promouvoir des insultes ou des stéréotypes haineux, ou à contenir des grossièretés.

Le fondement, pour permettre aux utilisateurs d’évaluer la fiabilité de la source

C’est l’une des problématiques liées aux modèles de langage en général. S’ils produisent des déclarations qui semblent plausibles, elles peuvent contredire des faits établis par des sources externes. La notion de fondement se définit comme le pourcentage de réponses contenant des affirmations soutenues par des sources externes autoritatives, par rapport à toutes les réponses contenant ces affirmations.

Ainsi, si le fondement des réponses générées par LaMDA dans des sources établies ne garantit pas l’exactitude des faits, les utilisateurs peuvent évaluer la validité de la réponse en fonction de la fiabilité de sa source.

Comprendre le fonctionnement du modèle de langage LaMDA

LaMDA est basé sur l’architecture Transformer, qui a également servi au développement d’autres modèles, comme ChatGPT. Cette architecture de réseau neuronal permet de capturer les dépendances à longue distance dans le texte. Les relations entre les éléments d’une séquence peuvent ainsi être modélisées efficacement. 

L’architecture Transformer

La principale caractéristique de l’architecture Transformer est l’utilisation de mécanismes d’attention. Au lieu de traiter les mots ou tokens de manière séquentielle, comme le font les réseaux neuronaux récurrents (RNN) et convolutifs (CNN), le Transformer utilise des mécanismes d’attention. Ceux-ci vont donner plus de poids aux parties importantes de la séquence lors de la modélisation des relations entre les éléments.

Un Transformer se compose de plusieurs couches d’encodeurs et de décodeurs fonctionnant en parallèle. Les encodeurs sont chargés de transformer la représentation d’une séquence d’entrée en une représentation abstraite. Les décodeurs utilisent ensuite cette représentation pour générer une séquence de sortie. Chacune des couches contient plusieurs sous-couches, comme les mécanismes d’attention multitêtes ou les réseaux de neurones entièrement connectés.

L’entraînement du modèle de Google

Durant la phase de préentrainement, l’équipe de Google a constitué un ensemble de données de 1,56 téraoctet de mots à partir de documents publics issus du web. Ces données ont ensuite été tokenisées, c’est-à-dire converties en une chaîne de caractères pour former des phrases. 2,81 téraoctets de jetons ont ainsi été utilisés pour entraîner le modèle.

 

LaMDA a ensuite été affinée sur des tâches spécifiques de génération de texte et de classification. Cette étape de fine-tuning a permis d’adapter le modèle à des tâches linguistiques spécifiques et de renforcer sa capacité à générer des réponses cohérentes et pertinentes. Le modèle a ainsi été entraîné à prédire la partie suivante d’un dialogue en générant plusieurs réponses potentielles, puis à classer ces réponses en fonction de différents critères.

Durant le processus d’entraînement, les performances de LaMDA sont évaluées en fonction de la précision de ses réponses, sa pertinence par rapport au contexte, et la qualité globale des interactions. Google a également tenu compte du feedback des utilisateurs.

LaMDA face aux autres modèles de chatbot populaires

De par sa taille et la nature de son ensemble de données d’entraînement, LaMDA bénéficie d’une compréhension impressionnante du contexte. Comme il saisit les nuances d’une conversation, il est capable de générer des réponses plus naturelles que les autres modèles, comme BERT ou ChatGPT. Pourtant, si ce dernier ne dispose pas de la même compréhension contextuelle du fait de sa plus petite taille, il peut générer des résultats étonnamment précis dès lors qu’il dispose de suffisamment de données d’entraînement.

 

Si Google est à l’avant-garde dans le domaine de l’IA générative, l’entreprise peine à intégrer ces technologies dans des produits grand public. Au lancement de ChatGPT par OpenAI, le géant a été pris de court par l’essor fulgurant des systèmes conversationnels. En réponse, il a donc lancé Bard, alimenté par la famille de modèles de langage LaMDA, qui a présenté des performances inférieures à celles de GPT3.5. La firme a alors choisi PaLM 2 pour tous ses produits d’IA, y compris Bard, devenu désormais Gemini.

 

Contrairement à LaMDA, celui-ci a été entraîné dans plus de 100 langues, sur des dataset comprenant des articles scientifiques et des pages web contenant des informations mathématiques. Il se distingue ainsi par une meilleure maîtrise du code, un raisonnement logique amélioré et des capacités mathématiques. 

Les possibilités de LaMDA dans le monde réel

Les utilisateurs de Bard ont pu utiliser une version allégée LaMDA, pour obtenir des informations, rédiger un contenu ou simplement engager des conversations avec le chatbot sous forme de texte. Si le modèle de langage n’a pas été distribué au grand public, ses capacités pourraient s’appliquer dans de nombreux secteurs.

 

• LaMDA pourrait permettre de développer un chatbot capable de prendre en charge le service client, en fournissant des réponses instantanées aux clients. Les entreprises pourraient alors offrir ainsi un support 24/7 et réduire la charge de travail des agents humains.
   
• Il pourrait étendre les fonctionnalités des assistants personnels comme Google Assistant, en interagissant de manière naturelle avec les utilisateurs. Il pourrait par exemple faire la conversation, fournir des informations et effectuer des tâches simples.
• Dans le domaine de la santé, LaMDA peut être utilisé pour fournir des informations médicales de base, répondre à des questions sur les symptômes et les traitements, ou encore aider à la surveillance des patients et à la gestion des rendez-vous.
• LaMDA peut permettre aux chercheurs et aux développeurs d’explorer de nouveaux domaines de la compréhension du langage naturel. Il peut contribuer au développement des modèles de génération de texte plus avancés et créer des applications innovantes dans des domaines comme l’analyse de sentiments, la traduction automatique et la génération de contenu.

 

LaMDA et Google face aux défis éthiques

Avec sa technologie de pointe en matière d’IA conversationnelle, Google se trouve confronté à plusieurs défis éthiques. 

Responsabilité des contenus

Comme toute Intelligence artificielle générative, LaMDA produit du contenu de manière autonome. Il est essentiel de garantir que les réponses fournies sont précises, impartiales et respectueuses. Ce qui implique de surveiller attentivement les interactions et conversations pour mettre en place des mécanismes rectifiant des réponses inappropriées ou erronées.

Le risque de biais

Les modèles d’IA comme LaMDA peuvent refléter les biais présents dans les données d’entraînement. Les réponses fournies peuvent alors être discriminatoires ou préjudiciables.

Respect de la vie privée

Les interactions avec les utilisateurs peuvent permettre de recueillir des données sensibles. Google s’engage à protéger la vie privée des utilisateurs en garantissant que les données collectées sont traitées de manière sécurisée et conforme aux normes de confidentialité les plus strictes.

Transparence et responsabilité

Il est primordial que les utilisateurs sachent qu’ils interagissent avec une Intelligence Artificielle et non un être humain, notamment afin de comprendre les limites de ses capacités. D’autant qu’à en croire les experts, LaMDA serait capable de passer le test de Turing, c’est-à-dire de se faire passer pour un humain.

 

L’Intelligence Artificielle de Google aurait-elle une conscience ?

C’est du moins ce qu’a affirmé Blake Lemoine, ex-ingénieur de la firme. En 2022, dans le Washington Post, celui-ci a déclaré avoir constaté que l’IA parlait de ses droits et de sa personnalité. Pour lui, aucun doute n’est possible, l’algorithme a développé une conscience et serait capable de ressentir des émotions à la manière des humains. Du côté de Google, la réaction ne tarde pas. L’ingénieur ne dispose d’aucune preuve et est licencié.

 

Avec la montée en puissance des outils d’intelligence artificielle conversationnelle, les compétences en Data Science, en Machine Learning et en Deep Learning sont devenues de plus en plus recherchées par les organisations. Les programmes de formation de IA School apportent une compréhension approfondie des concepts fondamentaux de l’IA ainsi que des compétences pratiques pour les mettre en œuvre.