Qu’est-ce que LLaMA, le modèle linguistique développé par Meta ?

Face à OpenAI et son offensive ChatGPT, les géants de la Tech ont chacun leur tour dégainé leur modèle de langage. En février 2023, c’est l’entreprise de Mark Zuckerberg, Meta, qui annonçait l’arrivée imminente de LLaMA avec une approche open source. Si les récentes percées de l‘Intelligence Artificielle générative en particulier ont captivé l’imagination du public, le modèle LLaMA de Meta n’a pas fini de faire parler de lui. 

 

LLaMA, le grand modèle de langage de Meta

LLaMA, pour Large Language Model Meta AI, est une collection de modèles de langage allant de 7B à 65B paramètres. Les modèles sont entraînés sur des trillions de tokens en utilisant uniquement des ensembles de données accessibles au public.

Source		Contenus		Part d’échantillons
CommonCrawl		Dépôts de contenus web		67 %
C4 (Colossal Cleaned Common Crawl)		Ensembles de données textuelles publiques		15 %
GitHub public sur Big Query		Dépôts de code source et projets collaboratifs		4,5 %
Wikipedia		Encyclopédie en ligne gratuite et collaborative		4,5 %
Livres		Corpus de livres du Projet Gutenberg et d’un sous-ensemble de The Pile		4,5 %
ArXiv		Archives de données scientifiques		2,5 %
Stack Exchange		Base de questions-réponses		2 %

 

Selon Meta, LLaMA-13B surpasse GPT-3 (175B) sur la plupart des points de référence, et LLaMA-65B peut rivaliser avec les meilleurs modèles existants, Chinchilla-70B et PaLM-540B. Dès l’été 2003, Meta a publié LLaMA 2, une version entraînée sur 40 % de données supplémentaires et disponible gratuitement pour la recherche sur l’IA et l’utilisation commerciale. 

Comme les autres grands modèles de langage, LLaMA fonctionne en prenant une séquence de mots en entrée puis en prédisant le mot suivant. Il génère ainsi du texte de manière récursive. Pour entraîner le modèle, Meta s’est appuyé sur des textes en 20 langues, choisies parmi celles comptant le plus de locuteurs, et en se concentrant sur celles possédant un alphabet latin ou cyrillique.

 

Quelles sont les fonctionnalités de LLaMA ?

LLaMA possède une gamme étendue de fonctionnalités. Le LLM a notamment la capacité de :

• générer des textes selon des indications données ;
• mener des conversations avec des interlocuteurs ;
• résumer des documents ;
• répondre avec précision à des questions techniques ;
• proposer des traductions.

De plus, une fonctionnalité particulièrement mise en avant par Mark Zuckerberg lui-même est la capacité de LLaMA à construire des raisonnements mathématiques et à prédire des structures protéiques.

 

LLaMA, un modèle de langage qui se distingue de ses concurrents

Contrairement à d’autres modèles, comme GPT-4 ou même LLaMA 2, LLaMA est conçu sans nécessiter d’intervention humaine pendant le processus d’apprentissage. De plus, les jeux de données utilisés pour son entraînement sont moins fournis que ceux de ses concurrents, et issus des données publiques. Pour alléger le modèle, le LLM a été formé à partir de morceaux de mots, ou tokens, plutôt que des mots entiers. 

Les modèles plus petits, comme LLaMA, sont intéressants dans le monde des modèles très larges, car ils demandent beaucoup moins de puissance de calcul et de ressources. – Meta, à propos de LLaMA

 

Google et OpenAI communiquent peu d’informations sur leurs modèles de langage. Meta a souhaité rendre LLaMA et son code source accessible. L’objectif est d’encourager les chercheurs et les développeurs à créer des versions améliorées du modèle.

 

Comment peut-on utiliser le Large Language Model Meta AI dans différents domaines ?

LLaMA pourrait être déployé dans une multitude de domaines.

• Le LLM peut être employé pour élaborer un chatbot capable de comprendre efficacement le langage humain et de répondre en fonction du contexte. Une capacité qui s’avère particulièrement bénéfique pour les entreprises qui souhaitent automatiser leur service client. Un chatbot leur permet de répondre à des questions courantes et de proposer à leurs clients des recommandations personnalisées.
• Il permet d’analyser de vastes ensembles de données textuelles pour identifier des tendances et des insights. Il peut s’agir de publications sur les réseaux sociaux ou des retours de clients, ce qui peut aider les entreprises à surveiller leur réputation en ligne.
• Il peut permettre de développer des assistants vocaux, capable d’interpréter le langage parlé et d’y répondre. Ces assistants peuvent fournir un contrôle mains libres sur les appareils ou encore accéder à des informations.
• Il peut être utilisé pour analyser des données textuelles pour y déceler les sentiments sous-jacents, à travers des avis clients ou des messages sur les réseaux sociaux. Avec cette fonctionnalité, les entreprises peuvent évaluer la satisfaction de leurs clients et identifier des points d’amélioration.
• Il peut améliorer la précision des résultats de recherche en comprenant plus efficacement le sens des requêtes. Cela s’avère particulièrement utile pour les requêtes complexes, car celles-ci nécessitent une compréhension approfondie du contexte et des intentions de l’utilisateur.

 

Principaux avantages de l’utilisation de LLaMA de Meta

LLaMa, le modèle de Meta, présente des avantages significatifs.

Un open source entraîné sur des données publiques

LLaMa est un open source, accessible gratuitement pour un usage en recherche et en commercialisation. Une transparence qui le distingue des modèles d’IA boîte noire que sont ChatGPT d’OpenAI, ou Gemini de Google. La disponibilité du code source ouvre des perspectives pour les développeurs et les chercheurs de tous les secteurs. Ils peuvent librement concevoir des applications sur mesure en s’appuyant sur cette technologie.

Les jeux de données utilisés par LLaMA sont plus réduits que ceux de ses concurrents. Meta a en effet choisi de n’utiliser que des données publiques. Celles-ci présentent un avantage : elles peuvent être republiées.

 

Un modèle léger et plus flexible

Doté de moins de paramètres que de nombreux autres modèles, y compris la famille GPT, LLaMa se distingue par sa rapidité. Les opérations sont exécutées de manière plus efficace. Et comme LLaMa peut être téléchargé localement, il peut être personnalisé et affiné pour diverses tâches sans nécessiter de ressources informatiques excessives.

 

LLaMA, un modèle qui rencontre des limites et des défis

Comme l’ensemble des langages conçus avec l’intelligence artificielle, LLaMA n’est pas exempt de limitations ni de défis.

Le risque de biais et de génération de réponses offensantes

L’intelligence artificielle de Meta, comme d’autres modèles d’IA, peut refléter les biais présents dans la société actuelle. Cela peut se traduire par des réponses offensantes. L’IA peut aussi véhiculer des stéréotypes, par exemple sur le genre, la religion, la couleur de peau, l’orientation sexuelle, l’âge, la nationalité, les handicaps, l’apparence physique ou le statut socio-économique.

Elle peut générer des réponses inappropriées incluant parfois des insultes, des discours haineux ou même des menaces. D’ailleurs, Meta avait déjà été confrontée à cette problématique en 2022, d’abord avec son chatbot BLENDERBOT puis avec l’IA spécialisée dans la rédaction d’articles scientifiques GALACTICA.

 

Des réponses incluant des incompréhensions ou des erreurs factuelles

Les résultats générés par LLaMA peuvent être limités en termes de créativité. De plus, en raison de sa petite taille, il peut avoir des difficultés à saisir un jargon spécifique.

Un problème récurrent des LLMs est qu’ils peuvent produire des erreurs factuelles, que l’on appelle également hallucinations. Si Meta affirme que LLaMA obtient de meilleurs résultats que bon nombre de ses concurrents sur ce point, le taux de réponses correctes reste parfois insatisfaisant.

 

Coût énergétique et impact sur l’écologie

Le développement de LLaMA a un impact significatif sur l’environnement en raison de sa consommation élevée de ressources énergétiques. Meta indique avoir consommé 2 638 MWh d’électricité et émis 1015 tonnes de CO2 sur une période d’environ cinq mois pour parvenir à une version satisfaisante du modèle. 

 

Les évolutions attendues pour LLaMA annoncées par Meta

En avril 2024, Meta a enfin mis à disposition LLaMA 3, attendu depuis plusieurs semaines. Ce sont deux modèles préentrainés et fine tuned avec des paramètres de 8B et 70B qui ont été publiés. Cette nouvelle version a été entraînée sur plus de 15 000 milliards de tokens collectés à partir de sources publiques.

Dans les prochains mois, le géant de la Tech prévoit d’introduire de nouvelles fonctionnalités, à commencer par une fenêtre contextuelle plus longue. Des tailles de modèles supplémentaires devraient aussi être proposées, avec des performances améliorées. Avec le soutien de plateformes hardware proposées par AMD, AWS, Dell, Intel, NVIDIA et Qualcomm, les modèles LLaMA 3 devraient être disponibles prochainement sur AWS, Google Vertex AI, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, Nvidia et Snowflake.

 

De plus, Meta AI, le chatbot basé sur LLaMA 3, est intégré sur les plateformes de réseaux sociaux, Facebook, Instagram, Messenger et WhatsApp. Pour solliciter l’intelligence artificielle, il suffit d’utiliser la barre de recherche de Facebook et Instagram, ou simplement de la taguer dans une conversation WhatsApp ou Messenger. Si la fonction n’est pas encore disponible en France, elle devrait l’être prochainement. En attendant, l’utilisation d’un VPN peut permettre de contourner les restrictions liées au pays d’origine.

 

En partageant ses modèles et leurs documentations, Meta réaffirme sa volonté de stimuler la recherche autour des modèles de langage de grande envergure. Une démarche qui va dans le sens d’une Intelligence Artificielle en plein essor qui offre de nombreuses perspectives d’emploi. Grâce à des programmes comme le Bachelor Intelligence Artificielle et Management d’IA School, vous pourrez développer des connaissances techniques et managériales vous permettant de maîtriser tout l’écosystème IA.