Image de freepik

Image de freepik

ChatGPT, AlphaCode : si les IA peuvent coder, peuvent-elles créer des IA ?

Julien Romero, Télécom SudParis – Institut Mines-Télécom

Des systèmes d’intelligence artificielle sont capables d’écrire des lignes de code et de contrôler un ordinateur. Qu’est-ce qui les empêche de créer d’autres IA ? Leur absence de volonté propre et leur incapacité à s’adapter dynamiquement. Explications.

---

Fin octobre 2024, Anthropic a dévoilé Computer-Use, un programme permettant à leur modèle d’intelligence artificielle Claude de contrôler un ordinateur comme un humain. Que se passerait-il si une IA pouvait également accéder à des ressources financières pour acquérir des machines supplémentaires et des services ? Cette hypothèse, bien qu’exagérée, soulève une question fascinante. Une IA pourrait-elle réellement devenir autonome et créer d’autres IA sans intervention humaine ?

Comme nous allons le voir, les grandes entreprises comme OpenAI, Facebook ou Google utilisent déjà des IA pour entraîner des IA de plus en plus complexes, et ce n’est un secret pour personne, pas même pour les IA.

Des IA entraînent des IA

Pour comprendre comment cela est possible, il nous faut revenir en arrière et expliquer ce qui a permis les récents progrès. Tout commence en 2017 quand une équipe de chercheurs chez Google publie un article scientifique : « Attention is all you need » (L’attention est tout ce dont vous avez besoin). Dans cette publication, les chercheurs introduisaient une nouvelle architecture neuronale appelée « Transformers » qui apprend à quels mots faire « attention » pour pouvoir générer le mot suivant. Cette architecture Transformers structure désormais tous les réseaux de neurones des IA modernes générant du texte.

L’apparition des Transformers a conduit OpenAI à lancer en 2018 la première version de GPT pour générer du texte. Bien que les principes fondamentaux aient peu évolué depuis, l’échelle et l’ambition des « grands modèles de langage » (ou large langage models, LLM en anglais) ont explosé.

Ainsi, en mai 2020, l’arrivée de GPT-3 marque le début d’une catégorie d’IA capable de modéliser à l’aide de gigantesques réseaux de neurones les langages humains, qu’ils soient naturels comme le français ou formels comme le C++ en informatique. Notons que modéliser avec des statistiques ne signifie pas comprendre avec des processus cognitifs, et ces IA produisent encore des réponses absurdes à des questions triviales.

Les modèles sont alors passés de 1,5 milliard de connexions pour GPT-2 à quelques centaines de milliards pour GPT-3 et ses successeurs, ce qui correspond à passer du cerveau d’une abeille à celui d’un hamster en termes de nombre de synapses. Toutefois, l’augmentation de leur taille a ralenti ces dernières années, et ce n’est plus aujourd’hui le principal moteur des progrès.

Il nous faut plutôt regarder les changements de méthodologies prenant place avant et après l’entraînement du modèle.

Des données plus nombreuses et de meilleure qualité

L’entraînement des LLM repose sur des textes servant de référence pour leur apprendre à prédire le mot suivant dans une phrase. Pour améliorer cet apprentissage, on utilise de plus en plus de données : GPT-2 a été entraîné sur 30 milliards de mots (organisés en phrases, paragraphes et textes), contre onze mille milliards pour LLaMa-3.

Toutefois, tous les textes, venant principalement du web, n’ont pas la même qualité. Les ingénieurs utilisent donc des algorithmes de nettoyage et, plus récemment, des LLM eux-mêmes pour améliorer, reformuler ou générer ces données (par exemple pour LLaMa-3 ou Qwen 2.5).

Ainsi, si les IA participent déjà à l’entraînement d’autres IA, cette pratique reste limitée par la lenteur des LLM. GPT-4 prendrait environ 17 000 ans pour générer seul onze mille milliards de mots (soit environ 500 terabytes de données).

Une fois les données rassemblées, nettoyées et générées, vient la phase d’apprentissage à proprement parler. Cette phase reste difficile à mettre en place et demande un nombre colossal de ressources de calculs, mais peu de choses ont changé depuis la première version de GPT en 2018.

Encadrer l’apprentissage d’une IA en lui fournissant des retours constructifs

Par contre, les chercheurs se sont penchés sur la question d’améliorer un LLM après son entraînement. En effet, un des soucis d’un LLM brut est qu’il est imprévisible et ne correspond pas forcément aux besoins humains d’un point de vue des compétences (recrutement, diagnostics médicaux, mathématiques) ou des comportements éthiques et sociaux (chatbot politiquement correct, sans discrimination, et respectant les lois).

L’idée est donc venue de calibrer les LLM pour qu’ils se conforment mieux aux préférences de ses utilisateurs. Pour cela, la technique de l’apprentissage par renforcement à partir de rétroactions humaines demande à des humains leur avis sur des textes générés et entraîne les LLM à plaire aux humains.

Ce processus a permis un grand bond en avant en 2022 avec InstructGPT, un précurseur de ChatGPT. Cependant, il est extrêmement coûteux car il demande beaucoup de travail manuel. LLaMa-3 a nécessité l’annotation de dix millions de préférences par des humains. Ces travailleurs sont souvent sous-payés et dans des situations précaires.

C’est pourquoi des chercheurs cherchent à se passer au maximum de l’aide des humains.

Quand les IA forment les IA

En juillet 2024, une équipe de scientifiques de Microsoft publie AgentInstruct, une nouvelle méthode permettant d’enseigner de nouvelles compétences et comportements à des LLM.

Cette méthode est centrée sur la création d’« agents » spécialistes de nombreux domaines (mathématiques, code, médecine) servant de professeurs au système en cours d’apprentissage. Dans ce cas, un agent est lui-même un LLM, mais augmenté de données et d’outils externes supplémentaires, comme une calculatrice, Internet ou un compilateur de code informatique. Mieux armé et spécialisé qu’un LLM seul, il excelle dans son domaine de prédilection. AgentInstruct utilise un bataillon d’agents qui vont enseigner leur savoir à un LLM.

Le résultat : le LLM progresse sans accès à aucune autre ressource, contrairement aux agents. Par exemple, un agent muni d’une calculatrice peut améliorer le calcul mental d’un LLM.

De la même façon, grâce au programme Computer-Use, Claude pourrait exploiter de nombreux outils informatiques pour collecter, nettoyer et organiser ses propres données, voire entraîner des modèles d’IA de manière plus autonome en mobilisant des agents spécialisés. Posez-lui d’ailleurs la question sur comment il pourrait s’améliorer lui-même et c’est à peu près ce qu’il vous répondra (ça, ou recruter une armée d’humains pour annoter des données).

Mais alors, comment expliquer qu’il ne soit pas encore capable de se reproduire et de s’améliorer ?

Avant une IA sachant se reproduire, un long chemin technique et des questions éthiques

Cette capacité à créer des agents spécialisés soulève des questions cruciales. Qui contrôle les agents ? Si des IA participent à leur propre amélioration, comment garantir que leur évolution reste éthique et alignée avec les intérêts humains ? Le rôle des développeurs et des régulateurs sera central pour éviter des dérives potentielles.

Nous n’en sommes pas encore là pour plusieurs raisons. Les LLM actuels, bien que performants, sont limités : ils peinent à planifier des projets complexes, nécessitent des ajustements constants lors de leur entraînement et dépendent encore largement de l’intervention humaine, notamment dans les data centers, pour gérer et maintenir les machines physiques.

De plus, sans volonté propre, ils ne peuvent se fixer d’objectifs autonomes, indépendants des préférences humaines apprises. Sam Altman, PDG d’OpenAI, évoque l’émergence possible d’une intelligence artificielle générale dès 2025, mais cette prédiction reste controversée, car elle supposerait des percées techniques et une meilleure compréhension des mécanismes cognitifs humains.

Le succès des LLM repose sur quatre piliers : l’augmentation de leur taille, les innovations architecturales, l’amélioration des techniques de calibration et le perfectionnement des données. Les avancées récentes, notamment l’automatisation via des agents spécialisés, montrent déjà que les IA jouent un rôle croissant dans la création d’autres IA. Pourtant, sans volonté propre ni véritable autonomie, l’idée d’une IA capable de se multiplier ou de s’améliorer de manière indépendante relève encore de la science-fiction.

En effet, une révolution de cette ampleur nécessiterait un bouleversement des paradigmes actuels, avec des architectures neuronales capables d’intelligence véritablement adaptative et généralisée. Actuellement, une fois la phase d’apprentissage terminée, les réseaux de neurones des LLM deviennent figés : ils ne peuvent plus évoluer ou acquérir de nouvelles compétences de manière autonome, même après des millions d’interactions avec des utilisateurs humains. Contrairement aux humains, qui apprennent au contact des autres ou via une réflexion interne, les LLM ne disposent pas de mécanismes permettant d’adapter dynamiquement leur structure interne ou de construire des représentations profondes et révisables du monde extérieur. Yann LeCun, prix Turing français de 2019, imagine une nouvelle génération d’IA dotées de modèles internes, capables de simuler des hypothèses et de planifier comme le ferait un être humain, en intégrant des observations pour les comparer à des attentes préexistantes. Cependant, l’implémentation pratique de cette vision reste un défi scientifique.

Peut-être qu’une percée aussi déterminante que celle des Transformers en 2017 surviendra-t-elle dans les années à venir. Mais pour l’heure, la vision d’intelligences artificielles entièrement autonomes, à l’image des sondes de Von Neumann colonisant l’univers, reste hypothétique.

Ce scénario nous invite cependant à réfléchir dès aujourd’hui aux enjeux éthiques et aux garde-fous législatifs et techniques nécessaires pour encadrer l’évolution de ces technologies.

Julien Romero, Maître de conférences en Intelligence Artificielle, Télécom SudParis – Institut Mines-Télécom

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.