ChatGPT a pris d'assaut le monde, éblouissant les gens avec sa génération de langage naturel éloquente et nuancée. Mais bien qu’impressionnant en surface, regarder sous le capot révèle des faiblesses notables.
Dans cet article, nous démystifierons le fonctionnement interne des grands modèles de langage (LLM) comme ChatGPT. Mon objectif est une analyse faisant autorité séparant les faits de la fiction concernant les progrès récents de l’IA.
Comment fonctionnent les LLM : comprendre leurs promesses et leurs limites simultanées
Alors, que sont exactement les LLM et comment les modèles aiment-ils ChatGPT fonctionner? En un mot:
- Les LLM ingèrent d’énormes ensembles de données textuelles, leur permettant de prédire un langage humain remarquablement fluide
- Mais contrairement aux humains, les LLM manquent de compréhension, de raisonnement et de fondement factuel sur le monde réel.
- Ainsi, même s’ils peuvent générer un texte magnifiquement soigné, ils manquent souvent de cohérence, de précision ou de fondements logiques solides.
Explorons de plus près les mécanismes et les limites des LLM…
Les LLM ne comprennent pas réellement les mots qu'ils génèrent
La clé pour comprendre les forces et les défauts des LLM réside dans leur méthodologie de formation :
- Ils ingèrent jusqu'à des centaines de milliards de mots provenant de sites Web, de livres, d'articles, etc.
- En détectant des modèles de mots, ils apprennent les probabilités des séquences potentielles.
- Cela leur permet ensuite de générer de nouvelles combinaisons conformes à ces modèles linguistiques.
Cependant, aucune signification codée n’est attachée à ces mots. Séquences simplement prédites basées sur des exemples antérieurs.
Ainsi, bien qu’éloquent, il n’y a aucune véritable compréhension ou raisonnement dans les coulisses. Et cela explique de nombreuses erreurs factuelles et lacunes logiques flagrantes des LLM.
Les LLM manquent de référence dans le monde réel
De plus, comme les LLM n’ingèrent que des corpus de textes pendant la formation, ils manquent de connaissances concrètes sur le fonctionnement de la réalité.
Ainsi, tout « fait » ou « connaissance » affiché par des modèles comme ChatGPT est superficiel et inexact – reconstitué à partir de modèles de mots plutôt que fondé sur la vérité.
Ce manque de raisonnement et de fondements factuels explique les déclarations notoirement incorrectes ou absurdes des LLM. Leurs réponses peuvent paraître étonnantes, mais elles relèvent souvent d’une pure fiction.
Il n'y a pas de système d'identité ou de croyance cohérent
Enfin, les LLM manquent également d’une identité persistante reliant les réponses entre elles :
- Les humains développent des croyances cohérentes et une intégrité autour de sujets au fil du temps
- Les LLM comme ChatGPT générer chaque réponse indépendamment sans cohérence
- Vous verrez donc des contradictions flagrantes lorsque vous les examinerez à travers des questions.
Pris isolément, les résultats du LLM peuvent sembler cohérents et intelligents. Mais en poussant plus loin, leurs défauts deviennent apparents.
Réflexions finales : un optimisme mesuré face au battage médiatique
Les progrès rapides de l’IA en langage naturel sont impressionnants. Dans des applications restreintes, des outils comme ChatGPT montrer la promesse.
Cependant, les affirmations exagérées autour de l’intelligence humaine semblent prématurées. Les LLM ont parcouru du chemin, mais sont toujours confrontés à des contraintes fondamentales relatives à la cognition biologique.
L’enthousiasme est justifié, mais le battage médiatique doit être tempéré. Le chemin à parcourir reste long, mais les LLM donnent un petit aperçu des possibilités futures.