Construire un agent maritime d’IA fiable s’avère relever bien davantage de la conception du système que du choix du modèle. C’est la leçon centrale que Skylight a tirée du développement de Shippy, un agent d’IA conçu spécifiquement pour la connaissance de la situation maritime en temps réel — un domaine où une mauvaise réponse ne fait pas que frustrer un utilisateur, mais peut détourner un navire de patrouille de plusieurs milles de sa route, épuiser des ressources limitées et potentiellement mettre le personnel en danger.
Summary
Points clés à retenir
- Shippy est un agent d’IA développé par Skylight pour la connaissance de la situation maritime en temps réel, permettant des requêtes sur le comportement des navires, les frontières des ZEE et des AMP, et les trajectoires des navires.
- Son architecture est structurée autour de trois composants : une âme (prompt système), des compétences (gestion des tâches) et une configuration (paramètres d’exécution, y compris l’utilisation de Claude Opus 4.6).
- Shippy communique avec l’API de Skylight via une interface CLI déterministe dédiée, éliminant les schémas d’erreurs apparus lorsque le modèle construisait directement des appels API bruts.
- Chaque session utilisateur s’exécute dans un bac à sable Kubernetes dédié, provisionné par Mothership, garantissant une isolation complète des données entre les centaines de clients gouvernementaux et ONG de Skylight.
- L’évaluation repose sur un cadre basé sur les tâches et des grilles d’évaluation, avec un juge LLM notant les réponses par rapport aux données en direct — un éloignement délibéré des benchmarks statiques.
Pourquoi la connaissance de la situation maritime relève le niveau d’exigence en matière de fiabilité
La plupart des outils d’IA fonctionnent dans des environnements où une réponse médiocre est simplement peu utile. Les opérations maritimes sont différentes. Skylight sert des centaines d’agences gouvernementales et d’ONG dans plus de 70 pays, allant de l’application des réglementations de pêche à la surveillance de la conservation. Lorsqu’un analyste, dans ce contexte, demande si des navires opèrent illégalement à l’intérieur d’une Aire Marine Protégée, les enjeux d’une réponse hallucinée ou imprécise sont immédiats et opérationnels.
Ce contexte a façonné chaque décision architecturale derrière Shippy. La question à laquelle l’équipe Skylight revenait sans cesse n’était pas « que peut faire le modèle ? » — mais « comment construire un système en lequel nous pouvons avoir confiance pour être correct, rester dans ses limites et tenir sur un large éventail de tâches ? » Tout devait être vérifié par rapport aux données en direct de Skylight, mises à jour en continu à mesure que de nouveaux signaux satellites et de navires arrivent.
L’architecture de Shippy : âme, compétences et configuration
Skylight décrit l’agent maritime d’IA Shippy à travers trois couches distinctes : une âme, des compétences et une configuration. Cette distinction est plus importante qu’il n’y paraît au premier abord.
L’âme est le prompt système — elle définit la personnalité de Shippy et fixe des limites comportementales strictes. Ce que Shippy fera, et surtout, ce qu’il ne fera pas. L’âme est explicite et vérifiable : Shippy ne rendra pas de décisions juridiques sur le fait qu’un navire enfreint la loi, et il ne spéculera pas au-delà de ce que les données étayent. Il ne s’agit pas de garde-fous souples intégrés par affinage du modèle ; ils sont écrits directement dans le prompt système, ce qui les rend faciles à inspecter et à réviser.
Les compétences indiquent à Shippy comment gérer des types de requêtes spécifiques. Elles suivent la même spécification agent-compétences utilisée par des outils de programmation comme Claude Code et Codex — de simples fichiers markdown avec un en-tête structuré, gardant chaque compétence versionnée et compréhensible. L’ensemble actuel de compétences de Shippy comprend :
- Interroger l’API Skylight pour les comportements et événements des navires (pêche, transbordement entre navires)
- Consulter les frontières des Zones Économiques Exclusives (ZEE) et des Aires Marines Protégées (AMP)
- Interpréter les données de trajectoire des navires et les signaux de position, en s’appuyant sur les classifications d’activité déjà produites par les propres modèles de Skylight
- Générer des liens de cartes interactives afin que les analystes puissent passer d’une réponse de chat à un emplacement exact sur la carte Skylight
Une seule question utilisateur peut activer plusieurs compétences simultanément. Demandez si des navires opèrent près de l’AMP Cordillera de Coiba, et Shippy s’appuie sur la compétence de requête de données de Skylight, sur la base de données des frontières de ProtectedSeas et sur la compétence d’interprétation des trajectoires des navires — le tout en un seul tour de dialogue.
Configuration et question du modèle
La couche de configuration gère tout ce qui relève de l’exécution : quel harnais d’agent lancer, quel LLM utiliser, et les secrets injectés comme les clés d’API. Shippy fonctionne actuellement avec Claude Opus 4.6 comme grand modèle de langage. Fait important, remplacer le modèle sous-jacent est un changement de configuration plutôt qu’une reconstruction — l’âme et les compétences sont intégrées indépendamment dans une image Docker, donnant à l’équipe la flexibilité d’orienter différents types de requêtes vers différents modèles à mesure que le système évolue.
Des outils déterministes pour un agent non déterministe
L’une des leçons les plus instructives des débuts est venue du fait de laisser Shippy construire directement des appels API bruts. Il en est résulté un flux constant d’échecs subtils : pagination mal formée qui supprimait silencieusement des résultats, erreurs d’encodage de géométrie et requêtes qui semblaient correctes mais renvoyaient de mauvaises données en raison d’une mauvaise compréhension des types de filtres. L’API Skylight comporte des dizaines de types d’entrées, des objets de filtres imbriqués, des curseurs de pagination et des entrées de géométrie complexes — le genre de surface qui invite aux erreurs générées par le modèle.
La solution a été une CLI déterministe dédiée. Au lieu de construire des appels API bruts, Shippy émet une seule commande — par exemple, skylight events search avec des indicateurs de filtre typés — et la CLI gère l’authentification, la pagination et la sortie structurée. La CLI est auto-documentée, avec une aide détaillée et des messages d’erreur qui permettent à l’agent de se remettre de ses erreurs sans deviner. Les résultats sont toujours écrits dans un fichier JSON local plutôt que transmis via le shell, contournant les limites de tampon de pipe qui causaient des problèmes avec de grands ensembles de résultats dans les premiers prototypes.
La conception en couches — API typée, CLI déterministe, compétences d’agent référencées par des commandes CLI — signifie que chaque composant peut être testé indépendamment. Chaque couche réduit ce que la couche suivante peut se tromper. C’est ce type de discipline architecturale qui distingue un prototype de recherche d’un système de production dans un domaine à forts enjeux.
Bac à sable Kubernetes et défi de l’isolation des données
La base d’utilisateurs de Skylight couvre des agences gouvernementales avec des données sensibles et spécifiques à leur juridiction. Un agent des pêches aux Philippines dispose de listes de surveillance, de zones d’intérêt et de configurations d’alertes limitées à son propre compte. S’assurer que leurs données ne se retrouvent jamais dans la session d’un autre utilisateur — et que leur historique de conversation reste entièrement privé — a été l’un des efforts d’ingénierie les plus importants du projet.
La solution est Mothership, la plateforme d’hébergement d’agents de Skylight. Mothership provisionne un déploiement Kubernetes dédié pour chaque session utilisateur. Lorsqu’une conversation s’ouvre, le système lance un ensemble de pods embarquant l’environnement d’exécution de l’agent, ses compétences et la CLI Skylight. Le jeton JWT de l’utilisateur est injecté au moment du provisionnement, limitant toutes les requêtes API aux données de cet utilisateur. Les fichiers que l’agent écrit au cours d’une analyse en plusieurs étapes n’existent que dans cette session et ne sont jamais accessibles entre utilisateurs.
À l’intérieur du bac à sable, l’agent conserve une capacité opérationnelle substantielle — il peut écrire et exécuter du code, installer des dépendances, intégrer des jeux de données et mener des analyses en plusieurs étapes. Au niveau réseau, le bac à sable est limité uniquement aux services dont il a besoin. L’isolation est limitée à la session, éphémère, et appliquée au niveau de l’infrastructure plutôt que de reposer uniquement sur la logique applicative.
Évaluer un agent dans des contextes opérationnels réels
Les benchmarks d’IA standard évaluent les modèles sur des ensembles de questions statiques. Ils ne capturent pas ce qui se passe lorsqu’un agent est intégré à un flux de travail réel — comment il sélectionne les outils, interroge les données en direct, agit sur les résultats et sait quand s’arrêter. Skylight a construit un système d’évaluation personnalisé précisément pour cette raison.
Un cadre basé sur des grilles d’évaluation avec un juge LLM
Dans le cadre d’évaluation de Skylight, des experts métier rédigent des scénarios et des grilles d’évaluation, déterminant quels critères s’appliquent à chaque tâche et en fixant les pondérations. Une requête sur des événements de pêche, par exemple, pondère le plus fortement la précision des données, puis la résolution des frontières et la période temporelle, et l’attribution des sources porte un poids moindre. Les experts annotent également les réponses individuelles comme correctes ou incorrectes, fournissant au juge une vérité terrain à laquelle se référer pour la notation.
Le pipeline fait passer un prompt en langage naturel dans le bac à sable en direct, et un juge LLM note chaque critère sur une échelle de 0 à 1 avec un raisonnement écrit expliquant pourquoi la réponse a ou non satisfait ce critère. L’agrégat pondéré est ensuite comparé à un seuil de réussite fixe. Les tâches sont exécutées via Harbor, un cadre d’évaluation ouvert, au moyen d’un plugin développé par Skylight qui lance une véritable session Shippy sur les mêmes données en direct que rencontrerait un utilisateur.
Les résultats des récentes campagnes d’évaluation mettent en évidence des modes de défaillance spécifiques et exploitables. Les tâches de planification de patrouille ont montré que Shippy dépassait son rôle en formulant des recommandations tactiques plutôt qu’en restant dans les limites du soutien à la décision. Les requêtes sensibles à la géométrie ont révélé des événements manqués causés par la simplification des frontières. Et dans un cas, l’agent a généré une commande CLI qui n’existait pas. Chaque schéma se traduit directement par une cible d’amélioration de compétence — ce qui est précisément ce qu’un système d’évaluation bien conçu est censé produire.
La suite pour Shippy — et au-delà
Skylight ouvre Shippy à des adopteurs précoces de manière progressive, en invitant explicitement à des tests de résistance pour faire apparaître des garde-fous faibles et des requêtes mal gérées. Le prochain cycle de développement cible trois domaines : le contrôle de l’interface utilisateur piloté par l’agent (passer de la simple fourniture de liens de cartes au contrôle direct de la carte Skylight, en appliquant des filtres et en ajustant les plages temporelles) ; le routage de modèles (diriger les recherches simples vers des modèles plus petits et plus rapides tout en réservant le modèle complet aux enquêtes complexes) ; et la mémoire inter-fils (conserver des faits persistants comme la juridiction d’un analyste ou ses sources préférées à travers des fils de conversation distincts).
Les implications plus larges s’étendent bien au-delà des applications maritimes. Mothership a été conçu pour être indépendant du domaine, et l’organisation mère de Skylight, Ai2, applique déjà les enseignements de Shippy à EarthRanger, sa plateforme de conservation de la faune, et à OlmoEarth, sa suite ouverte d’outils d’observation de la Terre. L’architecture — âme, compétences, configuration, outils déterministes, bac à sable isolé par session et évaluation sur données en direct — représente un plan pour déployer des agents d’IA dans tout domaine où le coût d’une mauvaise réponse se mesure en autre chose qu’en simple frustration utilisateur.
FAQ
À quoi Shippy est-il destiné ?
Shippy est un agent d’IA développé par Skylight pour la connaissance de la situation maritime en temps réel. Il aide les analystes à interroger les comportements des navires, à consulter les frontières des Zones Économiques Exclusives et des Aires Marines Protégées, à interpréter les données de trajectoire des navires et à générer des liens de cartes interactives directement reliés à la plateforme de données en direct de Skylight.
Comment Shippy garantit-il la fiabilité de ses réponses aux requêtes ?
Shippy utilise une CLI déterministe pour gérer tous les appels à l’API Skylight, évitant les schémas d’erreurs apparus lorsque le modèle construisait directement des appels API bruts. Combinée à une architecture modulaire — âme, compétences et configuration — et à des limites comportementales strictes dans le prompt système, la conception privilégie un comportement prévisible et vérifiable plutôt que la flexibilité.
Comment Shippy est-il évalué en termes de précision et de fiabilité ?
Skylight a construit un cadre d’évaluation personnalisé dans lequel des experts métier rédigent des scénarios de tâches et des grilles pondérées. Un juge LLM note chaque réponse de l’agent par rapport aux données en direct sur une échelle de 0 à 1 par critère, avec un raisonnement écrit. L’agrégat pondéré est comparé à un seuil de réussite fixe, et toute version de Shippy qui régresse sur les critères d’évaluation n’atteint pas les utilisateurs finaux.
Shippy rend-il des jugements juridiques sur l’activité des navires ?
Non. Shippy évite explicitement de rendre des décisions juridiques sur le fait qu’un navire viole une loi, et il ne spéculera pas au-delà de ce que les données étayent. Ces décisions sont laissées aux analystes humains. Ces limites sont écrites directement dans le prompt système — ce qui les rend vérifiables et ajustables — plutôt que d’être implicites dans l’affinage du modèle.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »À quoi Shippy est-il destiné ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Shippy est un agent d’IA développé par Skylight pour la connaissance de la situation maritime en temps réel. Il aide les analystes à interroger les comportements des navires, à consulter les frontières des Zones Économiques Exclusives et des Aires Marines Protégées, à interpréter les données de trajectoire des navires et à générer des liens de cartes interactives directement reliés à la plateforme de données en direct de Skylight. »}},{« @type »: »Question », »name »: »Comment Shippy garantit-il la fiabilité de ses réponses aux requêtes ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Shippy utilise une CLI déterministe pour gérer tous les appels à l’API Skylight, évitant les schémas d’erreurs apparus lorsque le modèle construisait directement des appels API bruts. Combinée à une architecture modulaire — âme, compétences et configuration — et à des limites comportementales strictes dans le prompt système, la conception privilégie un comportement prévisible et vérifiable plutôt que la flexibilité. »}},{« @type »: »Question », »name »: »Comment Shippy est-il évalué en termes de précision et de fiabilité ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Skylight a construit un cadre d’évaluation personnalisé dans lequel des experts métier rédigent des scénarios de tâches et des grilles pondérées. Un juge LLM note chaque réponse de l’agent par rapport aux données en direct sur une échelle de 0 à 1 par critère, avec un raisonnement écrit. L’agrégat pondéré est comparé à un seuil de réussite fixe, et toute version de Shippy qui régresse sur les critères d’évaluation n’atteint pas les utilisateurs finaux. »}},{« @type »: »Question », »name »: »Shippy rend-il des jugements juridiques sur l’activité des navires ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Non. Shippy évite explicitement de rendre des décisions juridiques sur le fait qu’un navire viole une loi, et il ne spéculera pas au-delà de ce que les données étayent. Ces décisions sont laissées aux analystes humains. Ces limites sont écrites directement dans le prompt système — ce qui les rend vérifiables et ajustables — plutôt que d’être implicites dans l’affinage du modèle. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.
