Note de l’éditeur : cet article fait partie du Série AI décodéequi démystifie l’IA en rendant la technologie plus accessible, et présente de nouveaux matériels, logiciels, outils et accélérations pour les utilisateurs de PC et de postes de travail RTX.
À la Gamescom cette semaine, NVIDIA a annoncé que NVIDIA ACE – une suite de technologies permettant de donner vie aux humains numériques grâce à l’IA générative – inclut désormais le premier modèle de petit langage (SLM) sur appareil de la société, alimenté localement par RTX AI.
Le modèle, appelé Nemotron-4 4B Instruct, offre de meilleures capacités de jeu de rôle, de génération augmentée de récupération et d’appel de fonctions, afin que les personnages du jeu puissent comprendre plus intuitivement les instructions des joueurs, répondre aux joueurs et effectuer des actions plus précises et pertinentes.
Disponible en tant que microservice NVIDIA NIM pour le déploiement dans le cloud et sur appareil par les développeurs de jeux, le modèle est optimisé pour une faible utilisation de la mémoire, offrant des temps de réponse plus rapides et offrant aux développeurs un moyen de tirer parti de plus de 100 millions de PC et d’ordinateurs portables équipés de GeForce RTX. Stations de travail alimentées par NVIDIA RTX.
L’avantage SLM
La précision et les performances d’un modèle d’IA dépendent de la taille et de la qualité de l’ensemble de données utilisé pour la formation. Les grands modèles de langage sont formés sur de grandes quantités de données, mais sont généralement à usage général et contiennent des informations excédentaires pour la plupart des utilisations.
Les SLM, quant à eux, se concentrent sur des cas d’utilisation spécifiques. Ainsi, même avec moins de données, ils sont capables de fournir des réponses plus précises, plus rapidement – des éléments essentiels pour converser naturellement avec les humains numériques.
Le Nemotron-4 4B a été distillé pour la première fois à partir du plus grand Nemotron-4 15B LLM. Ce processus nécessite que le modèle plus petit, appelé « étudiant », imite les résultats du modèle plus grand, appelé à juste titre « enseignant ». Au cours de ce processus, les sorties non critiques du modèle étudiant sont élaguées ou supprimées pour réduire la taille des paramètres du modèle. Ensuite, le SLM est quantifié, ce qui réduit la précision des poids du modèle.
Avec moins de paramètres et moins de précision, le Nemotron-4 4B a une empreinte mémoire inférieure et un temps d’obtention du premier jeton plus rapide (la rapidité avec laquelle une réponse commence) que le plus grand Nemotron-4 LLM tout en conservant un niveau élevé de précision grâce à la distillation. Son empreinte mémoire plus petite signifie également que les jeux et les applications qui intègrent le microservice NIM peuvent s’exécuter localement sur un plus grand nombre de PC et d’ordinateurs portables GeForce RTX AI et de stations de travail NVIDIA RTX AI que les consommateurs possèdent aujourd’hui.
Ce nouveau SLM optimisé est également spécialement conçu pour le réglage des instructions, une technique permettant d’affiner les modèles sur les invites pédagogiques afin de mieux effectuer des tâches spécifiques. Cela peut être vu dans Mecha BREAK, un jeu vidéo dans lequel les joueurs peuvent converser avec un personnage de jeu mécanique et lui demander de changer et de personnaliser les mechs.
ACE en hausse
Les microservices ACE NIM permettent aux développeurs de déployer des modèles d’IA générative de pointe via le cloud ou sur des PC et des postes de travail RTX AI pour intégrer l’IA à leurs jeux et applications. Grâce aux microservices ACE NIM, les personnages non jouables (PNJ) peuvent interagir et converser de manière dynamique avec les joueurs du jeu en temps réel.
ACE se compose de modèles d’IA clés pour la synthèse vocale, le langage, la synthèse vocale et l’animation faciale. Il est également modulaire, permettant aux développeurs de choisir le microservice NIM nécessaire pour chaque élément de leur processus particulier.
La reconnaissance vocale automatique (ASR) NVIDIA Riva traite la langue parlée d’un utilisateur et utilise l’IA pour fournir une transcription très précise en temps réel. La technologie crée des pipelines d’IA conversationnelle entièrement personnalisables à l’aide de microservices de parole et de traduction multilingues accélérés par GPU. Parmi les autres ASR pris en charge, citons Whisper d’OpenAI, un réseau neuronal open source qui se rapproche de la robustesse et de la précision au niveau humain pour la reconnaissance vocale en anglais.
Une fois traduite en texte numérique, la transcription est transférée dans un LLM – tel que Gemma de Google, Llama 3 de Meta ou maintenant NVIDIA Nemotron-4 4B – pour commencer à générer une réponse à la saisie vocale originale de l’utilisateur.
Ensuite, un autre élément de la technologie Riva – la synthèse vocale – génère une réponse audio. La technologie vocale et vocale IA exclusive d’ElevenLabs est également prise en charge et a été présentée dans le cadre d’ACE, comme le montre la démo ci-dessus.
Enfin, NVIDIA Audio2Face (A2F) génère des expressions faciales qui peuvent être synchronisées avec des dialogues dans de nombreuses langues. Grâce au microservice, les avatars numériques peuvent afficher des émotions dynamiques et réalistes diffusées en direct ou intégrées lors du post-traitement.
Le réseau d’IA anime automatiquement les mouvements du visage, des yeux, de la bouche, de la langue et de la tête en fonction de la gamme émotionnelle et du niveau d’intensité sélectionnés. Et A2F peut automatiquement déduire une émotion directement à partir d’un clip audio.
Enfin, le personnage complet ou l’humain numérique est animé dans un moteur de rendu, comme Unreal Engine ou la plateforme NVIDIA Omniverse.
Une IA agile
En plus de sa prise en charge modulaire de divers modèles d’IA fournis par NVIDIA et tiers, ACE permet aux développeurs d’exécuter des inférences pour chaque modèle dans le cloud ou localement sur les PC et postes de travail RTX AI.
Le kit de développement logiciel NVIDIA AI Inference Manager permet une inférence hybride basée sur divers besoins tels que l’expérience, la charge de travail et les coûts. Il rationalise le déploiement et l’intégration de modèles d’IA pour les développeurs d’applications PC en préconfigurant le PC avec les modèles, moteurs et dépendances d’IA nécessaires. Les applications et les jeux peuvent ensuite orchestrer l’inférence de manière transparente sur un PC ou un poste de travail vers le cloud.
Les microservices ACE NIM s’exécutent localement sur les PC et postes de travail RTX AI, ainsi que dans le cloud. Les microservices actuels exécutés localement incluent Audio2Face, dans le Protocole secret démo technique et le nouveau Nemotron-4 4B Instruct et Whisper ASR en Mecha PAUSE.
À l’infini et au-delà
Les humains numériques vont bien au-delà des PNJ dans les jeux. Lors de la conférence SIGGRAPH du mois dernier, NVIDIA a présenté en avant-première « James », un humain numérique interactif capable de se connecter avec les gens en utilisant les émotions, l’humour et bien plus encore. James est basé sur un workflow de service client utilisant ACE.
L’évolution des méthodes de communication entre les humains et la technologie au fil des décennies a finalement conduit à la création d’humains numériques. L’avenir de l’interface homme-machine aura un visage convivial et ne nécessitera aucune intervention physique.
Les humains numériques génèrent des interactions plus engageantes et naturelles. Selon Gartner, 80 % des offres conversationnelles intégreront une IA générative d’ici 2025, et 75 % des applications destinées aux clients disposeront d’une IA conversationnelle empreinte d’émotion. Les humains numériques transformeront de nombreux secteurs et cas d’utilisation au-delà du jeu, notamment le service client, la santé, la vente au détail, la téléprésence et la robotique.
Les utilisateurs peuvent dès maintenant avoir un aperçu de cet avenir en interagissant avec James en temps réel sur ai.nvidia.com.
L’IA générative transforme les jeux, les vidéoconférences et les expériences interactives de toutes sortes. Donnez un sens aux nouveautés et aux prochaines étapes en vous abonnant au Newsletter AI décodée.