Partagé par Depuis le « big bang » de l’IA générative (fin 2022), une question revient en boucle : « ChatGPT est-il intelligent ? » Une question naïve, mais très importante, en particulier dans le monde académique, aussi bien pour l’enseignement (du côté des enseignants comme des étudiants) que pour la recherche. Ici, « ChatGPT » sert de nom générique pour désigner les IA génératives : il recouvre un ensemble de plateformes mises à disposition (sans paywall) par OpenAI, Google, Anthropic, mais aussi par la société française Mistral ou encore par les plateformes chinoises « open source » comme Qwen ou DeepSeek.
C’est une question naïve, car il n’existe pas de définition universelle de ce que l’on entend par « intelligence ». Cependant, l’usage des plateformes d’IA met clairement en jeu une, voire plusieurs formes d’intelligence, en ce sens qu’en pratique « ChatGPT » nous aide de manière consistante dans des tâches qui — intuitivement — auraient requis notre propre intelligence si nous n’avions pas ces outils à disposition.
La capsule suivante est une séquence de cours qui aborde cette question à partir de situations concrètes, tout en introduisant les concepts théoriques les plus importants de l’architecture des LLM de type GPT :
le word embedding, qui fournit une représentation sémantique des mots (tokens) sous forme de vecteurs ;
le mécanisme d’attention, qui constitue le cœur de l’architecture GPT ;
le multilayer perceptron (MLP), qui représente une forme de mémoire statistique, complètement différente des mémoires de stockage des ordinateurs classiques (dont la fonction première est de conserver l’information à l’identique).
La capsule montre que, contrairement à de nombreuses présentations qui décrivent ces IA génératives comme de simples « perroquets stochastiques », on peut y voir de réelles « étincelles » d’intelligence. En effet, la prédiction du mot suivant, même si elle repose sur des probabilités, nécessite d’adapter en continu la distribution des probabilités au contexte de la discussion : dans les moments où une forme d’intelligence est mobilisée, cette distribution doit changer de manière drastique et se resserrer sur les tokens les plus pertinents. Il faut retenir que la distribution probabiliste à l’origine de la prédiction du mot suivant varie en permanence en fonction du contexte ; dans les cas les plus extrêmes, elle doit même devenir presque « déterministe » lorsque la réponse attendue est unique.
Un autre aspect important concerne les capacités créatives des IA génératives.
Dans le podcast ci-dessus, Geoffrey Hinton (prix Turing 2018 et prix Nobel de Physique 2024) défend l’idée que ces IA sont authentiquement créatives du fait qu’elles « compressent » les connaissances humaines dans leur « mémoire statistique », et que, pour cela, elles doivent produire des analogies. Selon lui, dans ce processus de « digestion » de la connaissance humaine, les IA découvrent des analogies qu’aucun humain n’avait identifiées auparavant. Cette capacité à analyser les patterns sémantiques constitue d’ailleurs une voie de développement de l’IA qui pourrait être très bénéfique pour l’humanité. Ce type de recherche automatisée de patterns est utilisé depuis longtemps dans d’autres domaines, par exemple dans l’analyse des données massives issues des télescopes (comme le James Webb Telescope) ou dans l’étude des particules élémentaires produites lors des expériences du LHC.
Dans la capsule suivante, nous interrogeons une IA sur cette question :
