Exécuter de grands modèles d’IA signifie généralement louer le matériel de quelqu’un d’autre, accepter la tarification de quelqu’un d’autre et espérer que le modèle dont vous dépendez ne change pas discrètement du jour au lendemain. Mesh LLM repose sur une autre prémisse : le calcul d’IA distribué sur des machines que vous possédez déjà peut remplacer entièrement cet arrangement — et tout exposer via une API unique et familière.
Sommaire
Points clés à retenir
- Mesh LLM regroupe les GPU et la mémoire de plusieurs machines dans un maillage de calcul d’IA distribué unique, accessible via une API compatible OpenAI à l’adresse localhost:9337/v1.
- Les modèles peuvent s’exécuter localement, être routés vers un pair ou être répartis entre plusieurs machines à l’aide d’un mode pipeline appelé « Skippy » — sans que le client ne voie la différence.
- La mise en réseau repose sur des points de terminaison iroh, qui établissent des connexions QUIC authentifiées par clé publique, traversant les NAT, sans serveur central requis.
- Le catalogue de modèles est livré avec plus de 40 modèles, allant de modèles de moins d’un milliard de paramètres à des architectures mixture-of-experts de 235 milliards de paramètres.
- La participation à un maillage public comme les déploiements privés sont pris en charge, avec une application mobile utilisant le SDK Swift d’iroh en cours de développement.
Mesh LLM permet le calcul d’IA distribué avec des GPU mutualisés
L’idée centrale est en apparence simple. Mesh LLM mutualise les GPU et la mémoire répartis sur autant de machines que vous souhaitez ajouter — une station de travail dans une pièce, un serveur dans une autre, une machine de l’autre côté du bureau — et présente l’ensemble comme une seule surface de calcul cohérente. Aucune reconfiguration n’est nécessaire pour les applications clientes qui s’y connectent.
Cela compte parce que le matériel existe déjà. Les équipes qui exécutent des charges de travail d’IA disposent souvent de GPU répartis dans des bureaux, sous des bureaux et dans de petites salles serveurs. Ce qui manquait, c’était une couche permettant à ces machines de se comporter comme une seule.
Abstraction d’API compatible OpenAI
L’interface exposée par Mesh LLM est volontairement familière. N’importe quel client compatible OpenAI peut pointer vers http://localhost:9337/v1 et envoyer des requêtes exactement comme il le ferait vers un service cloud hébergé. Du point de vue du client, rien ne change. L’endroit où le travail s’exécute réellement — localement, sur une machine paire ou réparti sur plusieurs — est entièrement invisible.
C’est un choix de conception significatif. Il signifie que les outils, flux de travail et intégrations existants n’ont pas besoin d’être réécrits. La nature distribuée du maillage est un détail d’implémentation auquel le client n’a jamais à penser.
Modes d’exécution flexibles, y compris le pipeline « Skippy »
Lorsqu’une requête arrive, Mesh LLM dispose de trois façons de la traiter. Il peut exécuter le modèle localement sur le GPU de la machine réceptrice, router la requête vers un pair qui a déjà le modèle cible chargé ou — pour les modèles trop volumineux pour une seule machine — répartir la charge de travail sur plusieurs nœuds en séquence. Cette troisième voie est appelée mode « Skippy ».
Comment Skippy répartit les grands modèles entre les machines
Skippy partitionne un modèle par plages de couches en étapes de pipeline : les couches 0 à 15 peuvent s’exécuter sur un nœud, 16 à 31 sur le suivant, et ainsi de suite le long de la chaîne. Les activations circulent d’une étape à l’autre à travers le maillage. La conséquence pratique est qu’un cluster de machines modestes peut collectivement exécuter un modèle qu’aucune d’entre elles ne pourrait contenir seule en mémoire.
C’est là que l’ambition architecturale de Mesh LLM devient claire. Un modèle mixture-of-experts de 235 milliards de paramètres n’est pas quelque chose que la plupart des équipes peuvent exécuter sur un seul GPU grand public ou semi-professionnel. Skippy rend possible précisément cette tentative — en utilisant du matériel déjà payé et actuellement inactif. Les caractéristiques de latence et de débit d’une telle configuration ne sont pas quantifiées ici, mais la capacité elle-même représente une extension significative de ce que l’IA auto-hébergée peut atteindre.
Architecture réseau sécurisée, pair à pair, utilisant des points de terminaison iroh
Il n’y a pas de serveur central coordonnant le maillage. Chaque nœud démarre un point de terminaison iroh — une clé publique qui sert à la fois d’identité du nœud et de seule surface réseau. À partir de cette base, iroh gère le hole punching, la traversée de NAT et le relais de secours pour établir des connexions QUIC directes et authentifiées entre deux nœuds, où qu’ils se trouvent.
Protocoles QUIC ALPN pour la ségrégation du trafic
La pile de protocoles est volontairement segmentée. Trois identifiants QUIC ALPN distincts séparent différents types de trafic :
- mesh-llm/1 — le canal principal du maillage, transportant le gossip, le routage, les tunnels HTTP et les événements de plugins
- mesh-llm-control/1 — le plan de contrôle du propriétaire, gérant la synchronisation de configuration et l’attestation de propriété
- skippy-stage/2 — un transport dédié et sensible à la latence pour les données d’activation circulant entre les étapes du pipeline
À l’intérieur de la connexion principale, chaque flux est étiqueté avec un octet de tête qui identifie son type — gossip, proxy d’inférence, requêtes de routage, événements de cycle de vie des pairs, canaux RPC de plugins, et plus encore — tous multiplexés sur une seule connexion. L’effet est une ségrégation propre du trafic sans la surcharge de connexions séparées pour chaque préoccupation.
Identité des nœuds et traversée de NAT
Pour prendre en charge les nœuds qui ne peuvent pas se joindre directement à travers l’internet ouvert, Mesh LLM exécute deux serveurs de relais iroh dans différentes régions géographiques. Les nœuds qui peuvent établir des chemins directs le font ; ceux qui ne le peuvent pas disposent toujours d’un relais de secours à proximité. La couche réseau, en d’autres termes, est conçue pour simplement fonctionner — plutôt que d’exiger une configuration minutieuse des pare-feu ou un adressage statique.
Ce que cette architecture apporte réellement, c’est une forme d’uniformité réseau. Qu’une requête soit routée vers localhost ou qu’elle diffuse des activations à travers un pipeline Skippy vers une machine sur un autre continent, le primitif sous-jacent est le même : une connexion QUIC authentifiée adressée par clé publique. La complexité de la topologie physique disparaît derrière une abstraction cohérente.
Un catalogue de modèles allant de l’échelle ordinateur portable aux géants de 235B paramètres
Mesh LLM est livré avec plus de 40 modèles prêts à l’emploi. La gamme va de modèles de cinq cents millions de paramètres, suffisamment petits pour s’exécuter sur un ordinateur portable, jusqu’aux architectures mixture-of-experts de 235 milliards de paramètres à l’extrémité supérieure. L’architecture est extensible : les plugins déclarent leurs capacités dans un manifeste, et le runtime achemine les appels et expose les capacités via MCP, HTTP, l’inférence et les événements du maillage.
La conséquence pratique est que les utilisateurs n’ont pas besoin de trouver et de configurer séparément des modèles pour démarrer. Le catalogue couvre tout le spectre des cas d’usage — de l’inférence légère et rapide sur du matériel modeste aux charges de travail de grande échelle distribuées sur un maillage.
Le calcul distribué comme contre-mouvement
La conception de Mesh LLM s’inscrit sur un arrière-plan visible : l’infrastructure d’IA centralisée fait face à de réelles frictions. Une enquête menée en mai a révélé que plus de 70 % des Américains s’opposent à la construction de nouveaux centres de données près de leurs communautés, invoquant des préoccupations liées à la pollution, au bruit, à l’énergie et à la consommation d’eau. L’entreprise solaire et d’énergie domestique Sunrun a récemment lancé un programme pilote visant à placer de petits nœuds de calcul dans les foyers de ses clients, dans le but de vendre cette puissance de calcul distribuée à des acheteurs d’IA d’entreprise — signe que l’industrie elle-même cherche des alternatives aux grands centres de données consolidés.
Mesh LLM aborde la même pression sous un angle différent. Plutôt que de construire une nouvelle infrastructure distribuée à partir de zéro, il active un calcul qui existe déjà — des GPU que les équipes possèdent mais ne peuvent pas pleinement exploiter parce qu’aucune couche cohérente ne les reliait. L’accent mis sur la suppression de la dépendance aux fournisseurs centraux, la réduction des coûts et la préservation du contrôle des utilisateurs sur l’endroit où les modèles s’exécutent et où les données vont reflète un véritable manque dans ce que les API cloud existantes peuvent offrir.
Une application mobile construite sur le SDK Swift d’iroh est en cours de développement, avec des plans pour prendre en charge la norme émergente d’agents ACP. Cela permettrait à d’autres clients de rejoindre directement le maillage, amplifiant les effets de réseau de chaque nœud qui se met en ligne. La direction à plus long terme est claire : davantage d’exécution pair à pair, moins d’intermédiaires et une norme ouverte pour l’interopérabilité des agents qui ne transite par le serveur central de personne.
FAQ
Comment Mesh LLM permet-il le calcul d’IA distribué ?
Mesh LLM regroupe les GPU et la mémoire de plusieurs machines dans un réseau maillé, puis expose l’ensemble de la configuration distribuée comme une seule API compatible OpenAI. Les clients se connectent à localhost:9337/v1 et interagissent normalement, tandis que le maillage décide s’il exécute les requêtes localement, les route vers un pair ou les répartit entre plusieurs machines.
Quels modes d’exécution Mesh LLM prend-il en charge pour les modèles d’IA ?
Les modèles peuvent s’exécuter localement sur le GPU d’une machine, être routés vers un pair qui a déjà le modèle chargé ou être répartis entre plusieurs machines à l’aide du mode pipeline « Skippy », dans lequel un modèle est partitionné par plages de couches et les activations circulent d’une étape à l’autre à travers le maillage.
Comment la mise en réseau sécurisée est-elle gérée dans Mesh LLM ?
Chaque nœud exécute un point de terminaison iroh qui établit des connexions QUIC authentifiées par clé publique avec traversée de NAT et relais de secours, sans dépendre d’un serveur central. Deux relais iroh régionaux fournissent des chemins de secours pour les nœuds qui ne peuvent pas se connecter directement.
Quels modèles sont disponibles via Mesh LLM ?
Mesh LLM est livré avec plus de 40 modèles, allant de petits modèles de cinq cents millions de paramètres adaptés aux ordinateurs portables à de très grands modèles mixture-of-experts de 235 milliards de paramètres destinés aux déploiements Skippy multi-machines.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »Comment Mesh LLM permet-il le calcul d’IA distribué ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Mesh LLM regroupe les GPU et la mémoire de plusieurs machines dans un réseau maillé, puis expose l’ensemble de la configuration distribuée comme une seule API compatible OpenAI. Les clients se connectent à localhost:9337/v1 et interagissent normalement, tandis que le maillage décide s’il exécute les requêtes localement, les route vers un pair ou les répartit entre plusieurs machines. »}},{« @type »: »Question », »name »: »Quels modes d’exécution Mesh LLM prend-il en charge pour les modèles d’IA ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Les modèles peuvent s’exécuter localement sur le GPU d’une machine, être routés vers un pair qui a déjà le modèle chargé ou être répartis entre plusieurs machines à l’aide du mode pipeline « Skippy », dans lequel un modèle est partitionné par plages de couches et les activations circulent d’une étape à l’autre à travers le maillage. »}},{« @type »: »Question », »name »: »Comment la mise en réseau sécurisée est-elle gérée dans Mesh LLM ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Chaque nœud exécute un point de terminaison iroh qui établit des connexions QUIC authentifiées par clé publique avec traversée de NAT et relais de secours, sans dépendre d’un serveur central. Deux relais iroh régionaux fournissent des chemins de secours pour les nœuds qui ne peuvent pas se connecter directement. »}},{« @type »: »Question », »name »: »Quels modèles sont disponibles via Mesh LLM ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Mesh LLM est livré avec plus de 40 modèles, allant de petits modèles de cinq cents millions de paramètres adaptés aux ordinateurs portables à de très grands modèles mixture-of-experts de 235 milliards de paramètres destinés aux déploiements Skippy multi-machines. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.




