NVIDIA met tout son poids derrière son appel à des normes ouvertes dans l’intelligence artificielle, et sa dernière initiative montre à quel point cette démarche s’étend désormais à la robotique, aux voitures autonomes et à la vision par ordinateur. En juillet, le fabricant de puces a rejoint plus de 200 entreprises et organisations en signant une lettre ouverte intitulée « Open Weights and American AI Leadership », faisant valoir que le leadership en matière d’IA devrait être jugé à l’aune de la diffusion des systèmes ouverts dans tous les secteurs, et non à travers un seul modèle phare. Dans le prolongement de cet engagement, NVIDIA a présenté Cosmos 3, une nouvelle famille de modèles d’IA physique ouverts conçus pour aider les machines à comprendre et à prédire ce qui se passe dans le monde réel, et pas seulement à décrire ce qu’une caméra voit.
Summary
Points clés à retenir
- NVIDIA a rejoint plus de 200 entreprises et organisations derrière une lettre ouverte faisant progresser les écosystèmes d’IA ouverts.
- NVIDIA Cosmos 3 est un nouveau modèle de base d’IA physique ouverte, construit sur une architecture de type mixture-of-transformers.
- La famille Cosmos 3 se décline en trois tailles : Super (64B), Nano (16B) et Edge (4B), chacune visant des besoins de déploiement différents.
- Cosmos 3 occupe la 1re place sur plusieurs benchmarks indépendants, notamment Artificial Analysis, PAIBench, Physics-IQ, RoboLab et VANTAGE-Bench.
- Des entreprises dans la robotique, les véhicules autonomes et la vision par IA, ainsi que la NVIDIA Cosmos Coalition en pleine expansion, construisent déjà sur cette famille de modèles.
NVIDIA rejoint l’élan en faveur d’écosystèmes d’IA physique ouverts
L’accès ouvert aux poids des modèles est ce qui permet aux développeurs de réellement construire sur des modèles de base plutôt que de simplement en louer l’accès. La décision de NVIDIA de cosigner la lettre « Open Weights and American AI Leadership » reflète un argument plus large qui gagne du terrain dans l’industrie : que ce qui permet à quiconque de télécharger, examiner, personnaliser et exécuter des modèles ouverts sur sa propre infrastructure rend possible, en premier lieu, une adoption généralisée de l’IA.
Ce principe est particulièrement important dans les domaines où un seul modèle générique ne peut pas faire le travail. L’IA physique, la branche de l’intelligence artificielle qui traite des robots, des véhicules autonomes et des systèmes de vision opérant dans des environnements réels, est précisément ce type de domaine. Chaque déploiement est en pratique un problème de spécialisation, puisqu’un robot d’entrepôt, un véhicule de livraison et une caméra d’usine doivent tous raisonner sur des conditions physiques entièrement différentes. Les modèles du monde ouverts donnent aux équipes d’ingénierie la flexibilité d’adapter une base commune à chacun de ces contextes très différents, plutôt que de repartir de zéro à chaque fois.
Ce qui distingue l’IA physique des autres systèmes d’IA
L’IA physique doit comprendre et prédire les conséquences, et pas seulement reconnaître les apparences. Cette distinction est la raison d’être des modèles du monde : ils sont entraînés pour apprendre comment les environnements physiques se comportent, anticiper ce qui pourrait se passer ensuite et déterminer quelles actions ont du sens compte tenu de cette prédiction.
En pratique, cela signifie qu’un modèle du monde peut générer des données physiquement fondées sur la façon dont les objets se déplacent et interagissent, simuler les états futurs d’un environnement et fournir aux développeurs une base qu’ils peuvent ensuite affiner pour un robot, une voiture autonome ou un système de vision spécifique. Au lieu de collecter d’énormes quantités d’images du monde réel pour chaque nouveau cas d’usage, les équipes peuvent s’appuyer sur la simulation par modèles du monde pour générer des données d’entraînement synthétiques et tester des politiques avant que quoi que ce soit ne touche le monde réel. Les bibliothèques Omniverse de NVIDIA, qui font partie de son Agent Toolkit, vont plus loin en fournissant des outils préconstruits pour créer des environnements prêts pour la simulation, dans lesquels les systèmes d’IA physique peuvent être entraînés, testés et validés avant un déploiement réel.
À l’intérieur de NVIDIA Cosmos 3, le nouveau modèle de base d’IA physique ouverte
Cosmos 3 est la réponse de NVIDIA au problème de fragmentation qui a longtemps ralenti le développement de l’IA physique. Plutôt que de maintenir des modèles séparés pour la compréhension de scène, la génération de données et la prédiction d’actions, les développeurs peuvent désormais s’appuyer sur une seule famille de modèles ouverts qui gère les trois. NVIDIA décrit Cosmos 3 comme un modèle de base d’IA physique ouverte de pointe, de type omni-model, construit sur une architecture mixture-of-transformers, combinant raisonnement visuel, génération de mondes et prédiction d’actions dans un seul système.
Cette flexibilité est l’objectif. Les développeurs peuvent utiliser Cosmos 3 comme modèle de vision-langage pour interpréter une scène, comme simulateur de monde ancré dans la physique qui prédit les états futurs et génère des données d’entraînement synthétiques à grande échelle, ou comme colonne vertébrale pour des modèles d’action dans le monde spécialisés, conçus pour un robot ou un véhicule particulier.
Des variantes de modèle pour chaque besoin de déploiement
La famille Cosmos 3 est proposée en trois tailles, chacune visant un équilibre différent entre capacités et empreinte matérielle :
- Cosmos 3 Super (64B) est conçu pour la modélisation du monde à haute fidélité.
- Cosmos 3 Nano (16B) est optimisé pour un raisonnement efficace et le post-entraînement.
- Cosmos 3 Edge (4B) est conçu pour le raisonnement visuel embarqué et le déploiement de politiques robotiques sur appareil.
Cosmos 3 Edge est suffisamment léger pour fonctionner sur des GPU en périphérie, et NVIDIA indique qu’il peut être déployé sur les GPU NVIDIA RTX, les systèmes NVIDIA DGX et le matériel NVIDIA Jetson, y compris la plateforme Jetson Thor. Cette gamme est importante pour les entreprises qui doivent exécuter l’inférence directement sur un robot ou un véhicule plutôt que de tout acheminer via un centre de données.
Leadership sur les benchmarks à travers les tâches
Sur l’ensemble des évaluations de benchmarks indépendants, Cosmos 3 occupe actuellement la 1re place sur Artificial Analysis pour la génération à poids ouverts de texte à image et d’image à vidéo, sur PAIBench pour la génération de mondes, et dans la catégorie d’image à vidéo de Physics-IQ. Pour les tâches de politique des robots spécifiquement, il arrive en tête du benchmark RoboLab. Cosmos 3 Super est également le modèle ouvert le mieux classé sur VANTAGE-Bench pour la compréhension visuelle, selon NVIDIA.
Ces classements positionnent Cosmos 3 comme un véritable point de référence pour quiconque construit des modèles d’IA physique ouverts, plutôt qu’une publication de recherche de niche. L’offre plus large de NVIDIA en matière d’IA physique est complétée par Isaac GR00T pour la robotique, Alpamayo pour les véhicules autonomes et Metropolis pour la vision par IA, ce qui signifie que Cosmos 3 n’opère pas de manière isolée mais s’intègre dans un ensemble plus vaste d’outils déjà adaptés à des secteurs spécifiques.
Adoption par l’industrie et NVIDIA Cosmos Coalition
Des entreprises dans la robotique, les véhicules autonomes et la vision par IA construisent déjà sur NVIDIA Cosmos, ce qui suggère que la famille de modèles dépasse le stade de démonstration pour entrer dans des chaînes de développement actives. Dans la robotique, Doosan Robotics, LG Electronics, Samsung Electronics et Skild AI figurent parmi les noms que NVIDIA cite comme adopteurs. Dans les véhicules autonomes, Li Auto, Xiaomi et Afari travaillent avec la plateforme. Pour les applications de vision par IA alimentant la surveillance industrielle et les systèmes d’espaces intelligents, Centific, Fogsphere, Linker Vision, Milestone Systems et Yuan sont cités comme développeurs construisant sur Cosmos.
Pourquoi cette diffusion dans trois industries très différentes est-elle importante ? C’est le signe qu’un seul modèle de base ouvert peut réellement servir d’infrastructure partagée plutôt que de ne fonctionner que pour un cas d’usage étroit — ce qui est précisément l’argument avancé par NVIDIA et ses cosignataires dans la lettre ouverte plus tôt cette année.
La NVIDIA Cosmos Coalition est le mécanisme destiné à maintenir cette dynamique. Elle réunit les constructeurs de modèles du monde, les développeurs d’IA et les leaders de l’IA physique afin de ramener des modèles, des recherches et des méthodologies d’évaluation dans l’écosystème ouvert. NVIDIA a récemment étendu la coalition au Japon, où des leaders de la robotique et de la fabrication prévoient de rejoindre l’initiative et de développer des modèles du monde ouverts adaptés aux usines, à la logistique, à l’agriculture, à la construction, aux soins de santé et aux transports. Combinée à l’adoption industrielle déjà en cours, cette expansion indique qu’une famille de modèles ouverts est en train de devenir une base partagée pour l’IA physique plutôt que le pari propriétaire d’une seule entreprise.
FAQ
Que sont les modèles du monde ouverts et pourquoi sont-ils importants ?
Les modèles du monde ouverts peuvent être téléchargés, inspectés, modifiés et exécutés sur n’importe quelle infrastructure, ce qui donne aux développeurs la personnalisation nécessaire pour spécialiser les applications d’IA physique pour un robot, un véhicule ou un système de vision spécifique.
Qu’est-ce qui distingue l’IA physique des autres types d’IA ?
L’IA physique exige de comprendre et de prédire les conséquences dans des environnements physiques réels, et pas seulement d’interpréter les apparences comme le fait un modèle de vision typique.
Quelles sont les différentes variantes de NVIDIA Cosmos 3 et leurs usages ?
Cosmos 3 Super (64B) est conçu pour la modélisation du monde à haute fidélité, Cosmos 3 Nano (16B) est conçu pour un raisonnement efficace et le post-entraînement, et Cosmos 3 Edge (4B) est destiné à un déploiement léger sur GPU en périphérie, y compris sur des robots fonctionnant avec le matériel Jetson Thor.
Comment la NVIDIA Cosmos Coalition soutient-elle le développement de l’IA physique ?
Elle favorise la collaboration entre les constructeurs de modèles du monde et les développeurs d’IA à l’échelle mondiale, et elle s’est récemment étendue pour inclure des leaders de la robotique et de la fabrication au Japon, qui prévoient de développer des modèles du monde ouverts pour des secteurs allant de la logistique aux soins de santé.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »Que sont les modèles du monde ouverts et pourquoi sont-ils importants ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Les modèles du monde ouverts peuvent être téléchargés, inspectés, modifiés et exécutés sur n’importe quelle infrastructure, ce qui donne aux développeurs la personnalisation nécessaire pour spécialiser les applications d’IA physique pour un robot, un véhicule ou un système de vision spécifique. »}},{« @type »: »Question », »name »: »Qu’est-ce qui distingue l’IA physique des autres types d’IA ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »L’IA physique exige de comprendre et de prédire les conséquences dans des environnements physiques réels, et pas seulement d’interpréter les apparences comme le fait un modèle de vision typique. »}},{« @type »: »Question », »name »: »Quelles sont les différentes variantes de NVIDIA Cosmos 3 et leurs usages ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Cosmos 3 Super (64B) est conçu pour la modélisation du monde à haute fidélité, Cosmos 3 Nano (16B) est conçu pour un raisonnement efficace et le post-entraînement, et Cosmos 3 Edge (4B) est destiné à un déploiement léger sur GPU en périphérie, y compris sur des robots fonctionnant avec le matériel Jetson Thor. »}},{« @type »: »Question », »name »: »Comment la NVIDIA Cosmos Coalition soutient-elle le développement de l’IA physique ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Elle favorise la collaboration entre les constructeurs de modèles du monde et les développeurs d’IA à l’échelle mondiale, et elle s’est récemment étendue pour inclure des leaders de la robotique et de la fabrication au Japon, qui prévoient de développer des modèles du monde ouverts pour des secteurs allant de la logistique aux soins de santé. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.
