Meta, le géant technologique précédemment connu sous le nom de Facebook, a révélé lundi qu’il avait construit l’un des superordinateurs les plus rapides du monde, un mastodonte appelé Research SuperCluster, ou RSC. Avec 6080 unités de traitement graphique regroupées dans 760 modules Nvidia A100, il s’agit de la machine la plus rapide construite pour les tâches d’IA, selon le directeur général Mark Zuckerberg.
Cette puissance de traitement est comparable à celle du superordinateur Perlmutter, qui utilise plus de 6 000 GPU Nvidia et se classe actuellement au cinquième rang des superordinateurs les plus rapides du monde. Dans une deuxième phase, Meta prévoit de multiplier les performances par 2,5 en portant le nombre de GPU à 16 000 cette année.
Meta utilisera le RSC pour toute une série de projets de recherche qui nécessitent des performances de haut niveau, comme l’IA « multimodale » qui fonde ses conclusions sur une combinaison de sons, d’images et d’actions au lieu d’un seul type de données d’entrée. Cela pourrait être utile pour traiter les subtilités de l’un des grands problèmes de Facebook, à savoir le repérage des contenus préjudiciables.
Meta, l’un des principaux chercheurs en IA, espère que cet investissement sera rentabilisé par l’utilisation de RSC pour contribuer à la mise en place de la dernière priorité de l’entreprise : le royaume virtuel qu’elle appelle le métavers. Le RSC pourrait être suffisamment puissant pour traduire simultanément le discours d’un grand groupe d’individus parlant chacun une langue différente.
« Les expériences que nous construisons pour le metaverse nécessitent une énorme puissance de calcul », a déclaré Mark Zuckerberg, PDG de Meta, dans un communiqué. « RSC permettra de nouveaux modèles d’IA qui peuvent apprendre à partir de trillions d’exemples, comprendre des centaines de langues et plus encore. »
Lire aussi : Meta – Les vrais problèmes antitrust ne font que commencer
Lorsqu’il s’agit de l’une des principales utilisations de l’IA, l’entraînement d’un système d’IA pour reconnaître ce qu’il y a dans une photo, RSC est environ 20 fois plus rapide que sa machine Nvidia antérieure de 2017, ont déclaré les chercheurs de Meta Kevin Lee et Shubho Sengupta dans un billet de blog. Pour le décodage de la parole humaine, elle est environ trois fois plus rapide.
Aujourd’hui, le terme d’intelligence artificielle fait généralement référence à une méthode appelée apprentissage automatique ou apprentissage profond qui traite les données de manière similaire au fonctionnement du cerveau humain. C’est une méthode révolutionnaire, car les modèles d’IA sont formés par l’exposition à des données du monde réel. Par exemple, l’IA peut apprendre à quoi ressemblent les visages de chats en analysant des milliers de photos de chats, par rapport à la programmation traditionnelle où un développeur essaierait de décrire toute la variété féline de la fourrure, des moustaches, des yeux et des oreilles.
Le RSC pourrait également contribuer à résoudre un problème d’IA particulièrement épineux que Meta appelle l’apprentissage autosupervisé. Les modèles d’IA sont formés aujourd’hui sur la base de données soigneusement annotées. Par exemple, les panneaux d’arrêt sont étiquetés sur les photos utilisées pour entraîner l’IA des véhicules autonomes, et une transcription accompagne les données audio utilisées pour entraîner l’IA de la reconnaissance vocale. La tâche plus difficile de l’apprentissage auto-supervisé utilise plutôt des données brutes, non étiquetées. Jusqu’à présent, c’est un domaine dans lequel les humains ont encore un avantage sur les ordinateurs.
Meta et d’autres partisans de l’IA ont montré que l’entraînement des modèles d’IA avec des ensembles de données toujours plus grands donne de meilleurs résultats. L’entraînement des modèles d’IA nécessite beaucoup plus de puissance de calcul que l’exécution de ces modèles, ce qui explique pourquoi les iPhones peuvent se déverrouiller lorsqu’ils reconnaissent votre visage sans nécessiter de connexion à un centre de données rempli de serveurs.
Lire aussi : Facebook Watch : Encore un coup fort de Meta
Les concepteurs de superordinateurs personnalisent leurs machines en choisissant le bon équilibre entre la mémoire, les performances du GPU, les performances du CPU, la consommation d’énergie et les chemins de données internes. Dans l’IA d’aujourd’hui, la star du spectacle est souvent le GPU, un type de processeur développé à l’origine pour accélérer les graphiques, mais désormais utilisé pour de nombreuses autres tâches informatiques.
Les puces A100 de Nvidia, à la pointe de la technologie, sont spécialement conçues pour l’IA et d’autres tâches lourdes dans les centres de données. De grandes entreprises comme Google, ainsi qu’une multitude de startups, travaillent sur des processeurs dédiés à l’IA, dont certains sont les plus grandes puces jamais construites. Facebook préfère la fondation GPU A100, relativement flexible, car, associée à son propre logiciel d’IA PyTorch, elle constitue l’environnement le plus productif pour les développeurs, estime l’entreprise.