Les développeurs sur Sui peuvent désormais exploiter le streaming sui grpc pour construire des pipelines d’indexation plus rapides et plus fiables pour les données blockchain en temps réel.
Summary
Le modèle de streaming hybride transforme l’accès aux données de Sui
La blockchain Sui a introduit le streaming gRPC comme source de données principale pour son infrastructure d’indexation, permettant l’ingestion de checkpoints en temps réel avec une latence minimale. De plus, cette conception cible les applications qui doivent réagir dès que les données sont finalisées.
La plateforme combine les capacités de streaming avec les méthodes de sondage traditionnelles pour maintenir la précision des données et la résilience du système. Ce modèle hybride permet un accès immédiat aux checkpoints finalisés tout en préservant la compatibilité avec les indexeurs personnalisés existants déjà déployés sur Sui.
Le Cadre d’Indexation Personnalisé soutient cette architecture axée sur le streaming sans nécessiter de modifications de la logique de traitement des checkpoints. Cependant, les équipes peuvent toujours s’appuyer sur leurs pipelines existants tout en intégrant le streaming là où il apporte des avantages tangibles.
Le streaming élimine les délais de sondage pour l’ingestion des checkpoints
La nouvelle capacité de streaming gRPC change fondamentalement la manière dont les indexeurs reçoivent les données blockchain sur Sui. Les nœuds complets poussent désormais les données de checkpoints directement aux indexeurs dès que la finalisation se produit, plutôt que d’attendre des récupérations programmées.
Ce modèle basé sur le push élimine les cycles de sondage répétés qui introduisaient auparavant des délais entre la création des checkpoints et le traitement en aval. En conséquence, les outils sensibles à la latence peuvent réagir plus près du temps réel sans ajuster des intervalles de sondage complexes.
Selon la documentation, le système fournit « des checkpoints en temps réel dès qu’ils sont finalisés » avec « des données plus rapides, des pipelines résilients, moins de travail d’infrastructure sur Sui ». Cela dit, les opérateurs peuvent toujours configurer des filets de sécurité pour se protéger contre les problèmes de connexion et les interruptions de service.
Le mécanisme de streaming fonctionne par une étape de configuration simple où les développeurs ajoutent un argument streaming-url qui pointe vers un point de terminaison de nœud complet. L’indexeur reçoit alors les checkpoints sous forme de flux d’événements au lieu de les récupérer à des intervalles prédéterminés.
Ce modèle basé sur les événements est particulièrement précieux pour les systèmes de surveillance, les plateformes d’analytique en temps réel et d’autres applications sensibles à la latence. De plus, il simplifie l’infrastructure en réduisant le besoin de stratégies de sondage agressives et de réglages opérationnels associés.
Les recours obligatoires au sondage protègent les données historiques
Sui associe le streaming à des sources de secours basées sur le sondage obligatoire pour gérer les limitations inhérentes des connexions de longue durée. Un lien de streaming ne fournit des données qu’à partir du moment où il est établi, donc les checkpoints historiques nécessitent encore des mécanismes supplémentaires.
Le Indexer Polyvalent illustre ce design hybride en production. Il utilise le streaming comme chemin d’ingestion principal tout en maintenant des sources de sondage comme mécanismes de sécurité pour les données historiques et les scénarios de récupération.
Cette configuration maintient les données indexées à jour tout en permettant des redémarrages propres et une récupération sans faille après des échecs. Cependant, si une connexion tombe, le système peut reprendre à partir du dernier checkpoint connu en utilisant le sondage, puis revenir au streaming une fois le lien stabilisé.
En pratique, ce modèle hybride fonctionne de manière similaire à une stratégie de secours de streaming de checkpoints sui. Les développeurs obtiennent les avantages de faible latence des mises à jour poussées sans compromettre l’exhaustivité ou la fiabilité.
La conception du cadre permet une adoption progressive du streaming
Le Cadre d’Indexation Personnalisé sépare le traitement des checkpoints de l’ingestion des données. Les indexeurs consomment et transforment les checkpoints via une interface unifiée, sans coupler la logique à des sources spécifiques telles que les flux gRPC ou le sondage HTTP.
Cette abstraction permet aux équipes de faire évoluer les stratégies d’ingestion au fur et à mesure que les exigences changent, sans réécrire les composants de traitement de base. De plus, elle simplifie les bases de code en concentrant la logique de gestion des données dans une seule couche.
La documentation note qu’avec le streaming gRPC, « il n’est pas nécessaire de sonder, pas de conjectures sur le timing, et pas de délai artificiel introduit par les intervalles de récupération ». Cela dit, les opérateurs peuvent toujours choisir le sondage là où les charges de travail ne nécessitent pas une latence ultra-faible.
Les développeurs peuvent activer progressivement le streaming sui grpc, en fonction des caractéristiques individuelles des charges de travail. Les applications qui privilégient la fraîcheur des données et la réactivité en temps réel bénéficient le plus d’une adoption immédiate du streaming.
En revanche, les systèmes axés sur l’analytique par lots, le traitement hors ligne ou les flux de travail plus simples peuvent continuer à utiliser des configurations uniquement basées sur le sondage. Le cadre prend en charge les deux approches sous le même modèle de traitement, simplifiant les environnements multi-applications.
La configuration maintient la logique stable tandis que les sources évoluent
Les indexeurs personnalisés existants construits sur le cadre officiel nécessitent des changements minimes pour tirer parti du streaming. Ajouter la capacité gRPC implique d’inclure un paramètre streaming-url aux côtés de la valeur de configuration remote-store-url existante.
La logique de traitement des checkpoints reste inchangée tout au long de cette transition. De plus, le cadre gère automatiquement le changement de source pendant l’opération afin que les indexeurs conservent une vue cohérente de l’état du réseau.
Cette conception aide à prévenir les modes de défaillance courants où les systèmes perdent des données ou prennent un retard significatif par rapport à la chaîne. Le cadre coordonne les interactions entre le streaming et le sondage, maintenant la continuité à travers les redémarrages et les interruptions de réseau.
Dans l’ensemble, l’architecture hybride de streaming et de sondage de Sui offre des checkpoints en temps réel, des pipelines résilients et un chemin de migration clair pour les indexeurs cherchant une ingestion à faible latence sans sacrifier la fiabilité.
