L’IA transforme le secteur de la radiodiffusion en améliorant la manière dont le contenu est créé, distribué et consommé, mais l’intégration de la technologie peut s’avérer difficile.
Lancée cette semaine en disponibilité limitée, NVIDIA Holoscan for Media est une plate-forme définie par logiciel et basée sur l’IA qui aide les développeurs à intégrer facilement l’IA dans leurs applications multimédias en direct et permet aux sociétés de médias d’exécuter des pipelines multimédias en direct sur la même infrastructure que l’IA.
Les stations de travail et PC NVIDIA RTX AI, alimentés par des GPU NVIDIA pour le traitement graphique en temps réel et le calcul IA, constituent une base idéale pour le développement de ces applications.
Lors du salon IBC Broadcast and Media Tech à Amsterdam, les partenaires de NVIDIA, notamment Adobe, Blackmagic Design et Topaz Labs, présenteront les derniers outils et technologies de montage vidéo basés sur l’IA RTX qui soutiennent les progrès des médias en direct.
NVIDIA Holoscan for Media : bâtir l’avenir de la production en direct
Construire une pile logicielle d’IA robuste pour le développement d’applications dans les médias en direct est un processus complexe qui nécessite une expertise et des ressources considérables.
Cette complexité technique, associée au besoin de grandes quantités de données de haute qualité et à la difficulté de faire évoluer les programmes pilotes vers des performances de niveau production, empêche souvent ces initiatives d’atteindre un déploiement complet. De plus, le développement traditionnel de logiciels est lié à du matériel dédié, ce qui limite encore davantage l’innovation et rend les mises à niveau fastidieuses.
Pour relever ces défis, NVIDIA Holoscan for Media permet aux développeurs de créer facilement des applications d’IA de pointe pour les médias en direct grâce à son intégration transparente avec la vaste suite de kits de développement logiciel (SDK) d’IA de NVIDIA. Cela permet aux développeurs d’intégrer facilement des fonctionnalités avancées d’IA dans leurs applications afin de pouvoir se concentrer sur la création d’applications multimédias plus sophistiquées et intelligentes. Les sociétés de médias peuvent ensuite connecter de manière transparente ces applications aux pipelines vidéo en direct exécutés au-dessus de la plate-forme.
Un autre défi typique du développement d’applications multimédias en direct est l’inefficacité du déploiement. Les développeurs doivent souvent créer des versions distinctes pour différents types de déploiement, que ce soit sur site, dans le cloud ou en périphérie. Cela augmente les coûts et peut prolonger les délais de développement. Les développeurs doivent également allouer des ressources pour créer des services d’infrastructure supplémentaires, tels que des protocoles d’authentification et de synchronisation, ce qui pèse encore davantage sur les budgets.
L’architecture cloud native d’Holoscan for Media permet aux applications de s’exécuter depuis n’importe où. Les applications développées pour les déploiements dans le cloud, en périphérie ou sur site peuvent s’exécuter dans tous les environnements, éliminant ainsi le besoin de versions distinctes.
Holoscan for Media est disponible sur site dès aujourd’hui, avec des déploiements cloud et Edge à venir. La plate-forme comprend également le protocole Precision Time pour la synchronisation audio-vidéo dans les diffusions en direct et les spécifications Networked Media Open pour une communication transparente entre les applications, simplifiant ainsi la gestion des systèmes complexes.
Améliorer le développement avec les PC et stations de travail RTX AI
Les PC et stations de travail NVIDIA RTX AI complètent le potentiel de Holoscan for Media en offrant une base solide pour développer des expériences multimédias immersives.
L’écosystème CUDA disponible sur les PC et stations de travail RTX AI offre un accès à une vaste gamme de SDK et d’outils NVIDIA optimisés pour les charges de travail multimédia et IA. Cela permet aux développeurs de créer des applications capables de passer de manière transparente du poste de travail aux environnements de déploiement, garantissant ainsi que leurs créations sont à la fois robustes et évolutives.
NVIDIA AI Enterprise offre de nouvelles améliorations en mettant une suite complète de logiciels, d’outils et de frameworks d’IA optimisés pour les GPU NVIDIA entre les mains des développeurs d’entreprise qui ont besoin d’environnements de production sécurisés, stables et évolutifs pour les applications d’IA. Cette plate-forme d’IA de niveau entreprise comprend des frameworks populaires tels que TensorFlow, PyTorch et RAPIDS pour un déploiement rationalisé.
Grâce à NVIDIA AI Enterprise, les développeurs peuvent créer des capacités d’IA avancées telles que la vision par ordinateur, le traitement du langage naturel et les systèmes de recommandation directement dans leurs applications multimédias. Et ils peuvent prototyper, tester et déployer des modèles d’IA sophistiqués au sein de leurs flux de travail multimédias.
Monteurs vidéo et passionnés – Réjouissez-vous !
Holoscan for Media sera exposé à l’IBC du 13 au 16 septembre. Sur le stand 7.A45 de Dell Technologies, les participants pourront assister à des démonstrations en direct montrant comment passer en toute transparence du développement d’applications au déploiement en direct.
Un certain nombre de partenaires NVIDIA présenteront lors du salon leurs derniers outils et technologies de montage vidéo basés sur l’IA RTX.
DaVinci Resolve 19 Studio de Blackmagic Design est désormais disponible, introduisant des fonctionnalités d’IA qui rationalisent les flux de travail d’édition :
- IntelliTrack AI permet de stabiliser rapidement et facilement les images pendant le processus de montage. Il peut être utilisé dans l’outil Fairlight de DaVinci Resolve pour suivre les sujets à l’écran et générer automatiquement un panoramique audio lorsqu’ils se déplacent dans des espaces 2D et 3D. Grâce à la fonctionnalité basée sur l’IA, les monteurs peuvent rapidement effectuer un panoramique ou déplacer l’audio sur le champ stéréo, contrôlant ainsi les positions des voix de plusieurs acteurs dans l’environnement de mixage.
- UltraNR est un mode de débruit accéléré par l’IA dans la palette de réduction du bruit spatial de DaVinci Resolve. Les éditeurs peuvent l’utiliser pour réduire considérablement le bruit numérique (fluctuations indésirables de couleur ou de luminance qui obscurcissent les détails) d’une image tout en conservant la clarté de l’image. Les éditeurs peuvent également combiner l’outil avec une réduction du bruit temporel pour un débruitage encore plus efficace dans les images animées, où les fluctuations peuvent être plus perceptibles.
- RTX Video Super Resolution utilise l’IA pour affiner la vidéo basse résolution. Il peut détecter et supprimer les artefacts de compression, améliorant ainsi considérablement les vidéos de qualité inférieure.
- RTX Video HDR utilise un algorithme amélioré par l’IA pour remapper la vidéo à plage dynamique standard dans des espaces colorimétriques HDR10 vibrants. Cela permet aux monteurs vidéo de créer du contenu à plage dynamique élevée même s’ils ne disposent pas de caméras capables d’enregistrer en HDR.
IntelliTrack et UltraNR bénéficient d’une amélioration des performances lorsqu’ils sont exécutés sur des PC et des postes de travail NVIDIA RTX. NVIDIA TensorRT leur permet de fonctionner jusqu’à 3 fois plus vite sur un ordinateur portable GeForce GTX 4090 qu’un Macbook Pro M3 Max.
Tous les effets DaVinci Resolve AI sont accélérés sur les GPU RTX par TensorRT. La mise à jour Resolve inclut l’accélération GPU pour ses effets Beauty, Edge Detect et Watercolour, doublant ainsi leurs performances sur les GPU NVIDIA.
La mise à jour introduit également le mode H.265 Ultra-High-Quality (UHQ) de NVIDIA, qui utilise NVENC pour augmenter l’efficacité de l’encodage HEVC de 10 %.
Partenaires Pixel-Perfect : Topaz Video AI et Adobe After Effects
Cette année, Topaz Labs a introduit un plug-in Adobe After Effects pour Video AI, une solution leader pour la mise à l’échelle vidéo et l’interpolation d’images. Le plug-in intègre la gamme complète de modèles d’amélioration et d’interpolation d’images directement dans le logiciel d’animation graphique standard de l’industrie.
Il permet également aux utilisateurs d’accéder aux outils de mise à l’échelle de l’IA dans leurs compositions After Effects, offrant ainsi une plus grande flexibilité et une composition plus rapide sans avoir besoin de transférer des fichiers volumineux entre différents outils.
Une caractéristique remarquable de Topaz Video AI est sa capacité à créer des vidéos spectaculaires au ralenti avec le modèle Apollo AI de Topaz, qui peut convertir des séquences en ralenti jusqu’à 16x.
Le plugin excelle également dans la mise à l’échelle, idéal pour intégrer des ressources basse résolution dans des projets plus vastes sans compromettre la qualité. Il comprend tous les modèles d’amélioration de Topaz, comme le modèle Rhea pour une mise à l’échelle 4x. Consultez le blog d’Adobe pour en savoir plus sur les plug-ins After Effects et comment les utiliser.
Conçu pour la vitesse, le plug-in est accéléré sur les GPU RTX par NVIDIA TensorRT, augmentant les performances de l’IA jusqu’à 70 %. Une future mise à jour de Video AI introduira de nouvelles améliorations des performances et optimisations de l’efficacité de TensorRT, notamment une réduction significative du nombre de fichiers de modèle d’IA requis dans le cadre de l’installation de l’application.
Avec l’intégration rapide de l’IA, l’avenir de la radiodiffusion est plus prometteur et plus innovant que jamais.