Une conférence sur les technologies approfondies destinée aux architectes de processeurs et de systèmes de l’industrie et du monde universitaire est devenue un forum clé pour le marché informatique des centres de données, qui représente des milliers de milliards de dollars.
Lors du Hot Chips 2024 la semaine prochaine, les ingénieurs senior de NVIDIA présenteront les dernières avancées qui alimentent la plate-forme NVIDIA Blackwell, ainsi que les recherches sur le refroidissement liquide pour les centres de données et les agents d’IA pour la conception de puces.
Ils partageront comment :
- NVIDIA Blackwell rassemble plusieurs puces, systèmes et logiciels NVIDIA CUDA pour alimenter la prochaine génération d’IA dans tous les cas d’utilisation, secteurs et pays.
- NVIDIA GB200 NVL72 — une solution multi-nœuds refroidie par liquide et à l’échelle du rack qui connecte 72 GPU Blackwell et 36 processeurs Grace — place la barre plus haut en matière de conception de systèmes d’IA.
- La technologie d’interconnexion NVLink fournit une communication GPU tout-à-tout, permettant un débit record et une inférence à faible latence pour l’IA générative.
- Le système de quantification NVIDIA Quasar repousse les limites de la physique pour accélérer le calcul de l’IA.
- Les chercheurs de NVIDIA créent des modèles d’IA qui aident à créer des processeurs pour l’IA.
Une conférence NVIDIA Blackwell, qui aura lieu le lundi 26 août, mettra également en lumière de nouveaux détails architecturaux et des exemples de modèles d’IA génératifs fonctionnant sur du silicium Blackwell.
Il est précédé de trois didacticiels, le dimanche 25 août, qui expliqueront comment les solutions hybrides de refroidissement liquide peuvent aider les centres de données à passer à une infrastructure plus économe en énergie et comment les modèles d’IA, y compris les agents basés sur un modèle de langage étendu (LLM), peuvent aider. les ingénieurs conçoivent la prochaine génération de processeurs.
Ensemble, ces présentations montrent la manière dont les ingénieurs de NVIDIA innovent dans tous les domaines de l’informatique et de la conception des centres de données pour offrir des performances, une efficacité et une optimisation sans précédent.
Soyez prêt pour Blackwell
NVIDIA Blackwell représente le défi informatique full-stack ultime. Il comprend plusieurs puces NVIDIA, notamment le GPU Blackwell, le CPU Grace, l’unité de traitement de données BlueField, la carte d’interface réseau ConnectX, le commutateur NVLink, le commutateur Spectrum Ethernet et le commutateur Quantum InfiniBand.
Ajay Tirumala et Raymond Wong, directeurs de l’architecture chez NVIDIA, donneront un premier aperçu de la plateforme et expliqueront comment ces technologies fonctionnent ensemble pour offrir une nouvelle norme en matière d’IA et des performances informatiques accélérées tout en faisant progresser l’efficacité énergétique.
La solution multi-nœuds NVIDIA GB200 NVL72 en est un parfait exemple. L’inférence LLM nécessite une génération de jetons à faible latence et à haut débit. Le GB200 NVL72 agit comme un système unifié pour fournir une inférence jusqu’à 30 fois plus rapide pour les charges de travail LLM, ouvrant ainsi la possibilité d’exécuter des modèles comportant des milliards de paramètres en temps réel.
Tirumala et Wong expliqueront également comment le système de quantification NVIDIA Quasar – qui rassemble des innovations algorithmiques, des bibliothèques et outils logiciels NVIDIA et le Transformer Engine de deuxième génération de Blackwell – prend en charge une grande précision sur des modèles de faible précision, en mettant en évidence des exemples utilisant des LLM et l’IA générative visuelle. .
Garder les centres de données au frais
Le bourdonnement traditionnel des centres de données refroidis par air pourrait devenir une relique du passé à mesure que les chercheurs développent des solutions plus efficaces et durables utilisant le refroidissement hybride, une combinaison de refroidissement par air et liquide.
Les techniques de refroidissement liquide évacuent la chaleur des systèmes plus efficacement que l’air, ce qui permet aux systèmes informatiques de rester plus frais même lors du traitement de charges de travail importantes. Les équipements de refroidissement liquide prennent également moins de place et consomment moins d’énergie que les systèmes de refroidissement par air, ce qui permet aux centres de données d’ajouter davantage de racks de serveurs – et donc plus de puissance de calcul – dans leurs installations.
Ali Heydari, directeur du refroidissement et de l’infrastructure des centres de données chez NVIDIA, présentera plusieurs modèles de centres de données refroidis de manière hybride.
Certaines conceptions modernisent les centres de données refroidis par air existants avec des unités de refroidissement liquide, offrant ainsi une solution simple et rapide pour ajouter des capacités de refroidissement liquide aux racks existants. D’autres conceptions nécessitent l’installation de tuyauteries pour le refroidissement liquide directement sur la puce à l’aide d’unités de distribution de refroidissement ou en immergeant entièrement les serveurs dans des réservoirs de refroidissement par immersion. Bien que ces options nécessitent un investissement initial plus important, elles conduisent à des économies substantielles en termes de consommation d’énergie et de coûts d’exploitation.
Heydari partagera également le travail de son équipe dans le cadre de COOLERCHIPS, un programme du ministère américain de l’Énergie visant à développer des technologies avancées de refroidissement des centres de données. Dans le cadre du projet, l’équipe utilise la plateforme NVIDIA Omniverse pour créer des jumeaux numériques basés sur la physique qui les aideront à modéliser la consommation d’énergie et l’efficacité du refroidissement afin d’optimiser la conception de leurs centres de données.
Les agents IA participent à la conception des processeurs
La conception de semi-conducteurs est un défi gigantesque à l’échelle microscopique. Les ingénieurs qui développent des processeurs de pointe s’efforcent d’intégrer autant de puissance de calcul que possible sur un morceau de silicium de quelques centimètres de diamètre, testant ainsi les limites de ce qui est physiquement possible.
Les modèles d’IA soutiennent leur travail en améliorant la qualité et la productivité de la conception, en renforçant l’efficacité des processus manuels et en automatisant certaines tâches chronophages. Les modèles incluent des outils de prédiction et d’optimisation pour aider les ingénieurs à analyser et à améliorer rapidement les conceptions, ainsi que des LLM qui peuvent aider les ingénieurs à répondre aux questions, à générer du code, à déboguer les problèmes de conception, etc.
Mark Ren, directeur de la recherche sur l’automatisation de la conception chez NVIDIA, donnera un aperçu de ces modèles et de leurs utilisations dans un didacticiel. Dans une deuxième session, il se concentrera sur les systèmes d’IA basés sur des agents pour la conception de puces.
Les agents d’IA optimisés par les LLM peuvent être amenés à effectuer des tâches de manière autonome, ouvrant ainsi la voie à de vastes applications dans tous les secteurs. Dans le domaine de la conception de microprocesseurs, les chercheurs de NVIDIA développent des systèmes basés sur des agents capables de raisonner et d’agir à l’aide d’outils de conception de circuits personnalisés, d’interagir avec des concepteurs expérimentés et d’apprendre à partir d’une base de données d’expériences humaines et d’agents.
Les experts NVIDIA ne se contentent pas de développer cette technologie : ils l’utilisent. Ren partagera des exemples de la façon dont les ingénieurs peuvent utiliser les agents d’IA pour l’analyse des rapports de synchronisation, les processus d’optimisation des clusters de cellules et la génération de code. Les travaux d’optimisation des clusters de cellules ont récemment remporté le prix du meilleur article lors du premier atelier international de l’IEEE sur la conception assistée par LLM.
Inscrivez-vous à Hot Chips, qui aura lieu du 25 au 27 août à l’Université de Stanford et en ligne.