Accès aux données Web3 : introduction aux indexeurs et aux projets associés

Écrit par Geng Kai, DFG

L'importance des données dans la blockchain

Les données sont la clé de la technologie blockchain et la base du développement d'applications décentralisées (dApps). Alors qu'une grande partie du débat actuel tourne autour de la disponibilité des données (DA) – garantissant que chaque participant du réseau a accès aux données de transaction récentes à des fins de vérification – il existe un aspect tout aussi important qui est souvent négligé : l'accessibilité des données.

À l'ère de la blockchain modulaire, les solutions DA sont devenues indispensables. Ces solutions garantissent que les données de transaction sont disponibles pour tous les participants, permettant une vérification en temps réel et préservant l'intégrité du réseau. Cependant, la couche DA fonctionne plus comme un panneau d’affichage que comme une base de données. Cela signifie que les données ne sont pas stockées indéfiniment ; elles sont supprimées au fil du temps, tout comme une affiche sur un panneau d'affichage est finalement remplacée par une nouvelle.

L'accessibilité des données, quant à elle, se concentre sur la capacité de récupérer des données historiques, ce qui est crucial pour développer des dApps et effectuer une analyse de blockchain. Cet aspect est crucial pour les tâches qui nécessitent un accès aux données passées afin de garantir une représentation et une exécution précises. Bien que l’accessibilité des données soit importante et moins discutée, elle est tout aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l’écosystème blockchain, et une approche globale de gestion des données doit répondre aux deux problèmes pour prendre en charge des applications blockchain puissantes et efficaces.

Comment les données de la blockchain étaient précédemment récupérées

Depuis sa création, la blockchain a révolutionné l'infrastructure et entraîné la création d'applications décentralisées (dApps) dans divers domaines tels que les jeux, la finance et les réseaux sociaux. Cependant, la création de ces dApps nécessite l’accès à de grandes quantités de données blockchain, ce qui est difficile et coûteux.

Une option pour les développeurs dApp consiste à héberger et à exécuter votre propre nœud RPC archivé. Ces nœuds stockent toutes les données historiques de la blockchain depuis le début, permettant un accès complet aux données. Cependant, la maintenance des nœuds d'archives est coûteuse et offre des capacités de requête limitées, ce qui rend impossible l'interrogation des données dans le format dont les développeurs ont besoin. Bien que l’exécution de nœuds moins chers soit une option, ces nœuds ont des capacités de récupération de données limitées, ce qui peut entraver le fonctionnement des dApps.

Une autre approche consiste à utiliser un fournisseur de nœuds RPC (Remote Procedure Call) commercial. Ces fournisseurs sont responsables du coût et de la gestion des nœuds et fournissent des données via les points de terminaison RPC. Les points de terminaison RPC publics sont gratuits mais ont des limites de débit qui peuvent avoir un impact négatif sur l'expérience utilisateur de la dApp. Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même une simple récupération de données nécessite de nombreuses communications aller-retour. Cela les rend lourds de requêtes et inefficaces pour les requêtes de données complexes. De plus, les points de terminaison RPC privés sont souvent difficiles à faire évoluer et manquent de compatibilité entre les différents réseaux.

Meilleure alternative : les indexeurs Blockchain

Les indexeurs Blockchain jouent un rôle essentiel dans l'organisation des données en chaîne et dans leur envoi vers des bases de données pour une interrogation facile, c'est pourquoi ils sont souvent appelés le « Google de la Blockchain ». Ils fonctionnent en indexant les données de la blockchain et en les rendant facilement disponibles via un langage de requête de type SQL (en utilisant des API comme GraphQL). En fournissant une interface unifiée pour interroger les données, les indexeurs permettent aux développeurs de récupérer rapidement et précisément les informations dont ils ont besoin à l'aide d'un langage de requête standardisé, simplifiant ainsi considérablement le processus.

Différents types d'indexeurs optimisent la récupération des données de différentes manières :

1. Indexeurs de nœuds complets : ces indexeurs exécutent des nœuds blockchain complets et en extraient directement les données, garantissant que les données sont complètes et exactes, mais nécessitent beaucoup de stockage et puissance de calcul.

2. Indexeurs légers : ces indexeurs s'appuient sur des nœuds complets pour récupérer des données spécifiques à la demande, réduisant ainsi les besoins de stockage mais augmentant potentiellement les temps de requête.

3. Indexeurs spécialisés : Ces indexeurs se spécialisent dans certains types de données ou dans des blockchains spécifiques, optimisant la récupération pour des cas d'utilisation spécifiques, tels que les données NFT ou les transactions DeFi.

4. Indexeurs d'agrégation : ces indexeurs extraient des données de plusieurs blockchains et sources, y compris des informations hors chaîne, fournissant une interface de requête unifiée, particulièrement utile pour les dApps multi-chaînes.

Ethereum nécessite à lui seul 3 To d'espace de stockage, et à mesure que la blockchain continue de croître, la quantité de stockage de données pour les nœuds d'archives Erigan continuera d'augmenter. Le protocole Indexer déploie plusieurs indexeurs pour indexer et interroger efficacement de grandes quantités de données à des vitesses élevées qui ne sont pas possibles avec RPC.

L'indexeur permet également d'effectuer des requêtes complexes, un filtrage facile des données en fonction de différents critères et une analyse post-extraction des données. Certains indexeurs permettent également l'agrégation de données provenant de plusieurs sources, évitant ainsi le besoin de déployer plusieurs API dans des dApps multi-chaînes. En étant distribués sur plusieurs nœuds, les indexeurs offrent une sécurité et des performances améliorées, tandis que les fournisseurs RPC peuvent subir des pannes et des temps d'arrêt en raison de leur nature centralisée.

Dans l'ensemble, les indexeurs améliorent l'efficacité et la fiabilité de la récupération des données tout en réduisant le coût de déploiement d'un nœud unique par rapport aux fournisseurs de nœuds RPC. Cela fait du protocole Blockchain Indexer un premier choix pour les développeurs dApp.

Cas d'utilisation de l'indexeur

Comme mentionné précédemment, la création d'une dApp nécessite la récupération et la lecture des données de la blockchain afin d'exécuter son service. Cela inclut tout type de dApp, y compris les plateformes DeFi, NFT, les jeux et même les réseaux sociaux, car ces plateformes doivent lire les données avant de pouvoir effectuer d'autres transactions.

DeFi

Les protocoles DeFi nécessitent des informations différentes pour indiquer aux utilisateurs des prix, des ratios, des frais spécifiques, etc. Les teneurs de marché automatisés (AMM) nécessitent des informations sur les prix et la liquidité de certains pools pour calculer les taux de swap, tandis que les protocoles de prêt nécessitent leur utilisation pour déterminer les taux de prêt et les ratios de dette liquidée. Avant de calculer le taux d'intérêt effectué par un utilisateur, il est essentiel de saisir les informations dans sa dApp.

Jeux

GameFi doit indexer et accéder rapidement aux données pour garantir que les utilisateurs peuvent jouer à des jeux en douceur. Ce n'est que grâce à une récupération et une exécution ultra-rapides des données que les jeux Web3 peuvent rivaliser avec les jeux Web2 en termes de performances, attirant ainsi plus d'utilisateurs. Ces jeux nécessitent des données telles que la propriété foncière, les soldes de jetons dans le jeu, les actions dans le jeu, etc. Grâce aux indexeurs, ils peuvent mieux garantir un flux de données stable et une disponibilité constante pour garantir une expérience de jeu sans faille.

NFT

Les places de marché et les plateformes de prêt NFT nécessitent des données indexées pour accéder à diverses informations, telles que les métadonnées NFT, les données de propriété et de transfert, les informations sur les redevances, etc. L'indexation rapide de ces données élimine le besoin de parcourir chaque NFT individuellement pour trouver les données de propriété ou d'attribut NFT.

Qu'il s'agisse d'un teneur de marché automatisé DeFi (AMM) qui a besoin d'informations sur les prix et la liquidité, ou d'une application SocialFi qui doit mettre à jour les publications des nouveaux utilisateurs, il est essentiel qu'une dApp puisse récupérer rapidement des données pour fonctionner correctement. Avec l'aide d'indexeurs, ils peuvent récupérer les données de manière efficace et correcte, offrant ainsi une expérience utilisateur fluide.

Analyse

Les indexeurs fournissent un moyen d'extraire des données spécifiques à partir des données brutes de la blockchain, y compris les événements de contrat intelligent dans chaque bloc. Cela offre la possibilité d’une analyse de données plus spécifique pour fournir des informations complètes.

Par exemple, un protocole de trading perpétuel peut découvrir quels jetons ont un volume de négociation élevé et quels jetons entraînent des frais, décidant ainsi s'il convient de répertorier ces jetons en tant que contrats perpétuels sur leur plateforme. Les développeurs DEX peuvent créer des tableaux de bord pour leurs produits afin de mieux comprendre quels pools ont les rendements les plus élevés ou sont les plus liquides. Des tableaux de bord publics peuvent également être créés, donnant aux développeurs la liberté et la flexibilité d'interroger tout type de données à afficher sur des graphiques.

Avec plusieurs indexeurs blockchain disponibles, il est essentiel d'identifier les différences entre les protocoles d'indexation pour garantir que les développeurs choisissent l'indexeur qui correspond le mieux à leurs besoins.

Présentation de l'indexeur Blockchain

Présentation de l'indexeur

The Graph

Le Graph est le premier protocole d'indexation lancé sur Ethereum, facilitant l'interrogation de données de transaction qui n'étaient pas facilement accessibles auparavant. Il utilise des sous-graphiques pour définir et filtrer des sous-ensembles de données collectées à partir de la blockchain, telles que toutes les transactions liées au pool Uniswap v3 USDC/ETH.

À l'aide de la preuve d'index, l'indexeur engage le jeton natif GRT pour les services d'indexation et de requête, et le délégant peut choisir de mettre en jeu ses jetons ici. Les conservateurs ont accès à des sous-graphiques de haute qualité pour aider les indexeurs à déterminer quels sous-graphiques indexer pour gagner des frais de requête optimaux. Dans sa transition vers une plus grande décentralisation, The Graph finira par interrompre ses services d'hébergement et nécessitera la mise à niveau des sous-graphes vers son réseau, ainsi que des indexeurs mis à niveau.

Son infrastructure permet un coût moyen par million de requêtes de 40 $, ce qui est bien inférieur au coût des nœuds auto-hébergés. En utilisant des sources de données de fichiers, il prend également en charge l'indexation parallèle des données en chaîne et hors chaîne pour une récupération efficace des données.

Jetez un œil aux récompenses de l'indexeur de The Graph, qui n'ont cessé de croître au cours des derniers trimestres. Cela est dû en partie à une augmentation du volume de requêtes, mais également à une augmentation du prix du jeton, car ils prévoient d'intégrer des requêtes assistées par l'IA à l'avenir.

Subsquid

Subsquid est un lac de données décentralisé point à point, évolutif horizontalement, qui regroupe efficacement de grandes quantités de données en chaîne et hors chaîne et les protège avec des preuves sans connaissance. En tant que réseau décentralisé de travailleurs, chaque nœud est responsable du stockage des données d'un sous-ensemble spécifique de blocs, accélérant ainsi le processus de récupération des données en identifiant rapidement les nœuds détenant les données requises.

Subsquid prend également en charge l'indexation en temps réel, permettant d'indexer les blocs avant qu'ils ne soient finalisés. Il prend également en charge le stockage des données dans le format choisi par le développeur, permettant une analyse plus facile à l'aide d'outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphiques peuvent être déployés sur le réseau Subsquid sans migrer vers le SDK Squid, permettant un déploiement sans code.

Bien qu'il soit encore en phase de testnet, Subsquid a réalisé des statistiques impressionnantes avec plus de 80 000 utilisateurs de testnet, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs vérifiés sur le réseau. Plus récemment, le 3 juin, Subsquid a lancé le réseau principal de son lac de données.

En plus de l'indexation, les lacs de données Subsquid Network peuvent remplacer RPC dans des cas d'utilisation tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et Oracle.

SubQuery

SubQuery est un réseau d'infrastructure middleware décentralisé qui fournit des services RPC et de données indexées. Il prenait initialement en charge les réseaux Polkadot et Substrate et s'est désormais étendu pour inclure plus de 200 chaînes. Il fonctionne de manière similaire à The Graph en utilisant Proof of Index, avec un indexeur indexant les données et répondant aux requêtes de requête, et les délégataires jalonnant leurs parts à l'indexeur. Cependant, il incite les consommateurs à soumettre des bons de commande pour montrer que le revenu de l'indexeur est garanti, plutôt que celui du gestionnaire.

Il introduira des nœuds de données SubQuery qui prennent en charge le partitionnement pour empêcher la synchronisation constante de nouvelles données entre chaque nœud, optimisant ainsi l'efficacité des requêtes tout en évoluant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer des frais de calcul d'environ 1 jeton SQT pour 1 000 requêtes, ou de définir des frais personnalisés pour l'indexeur via le protocole.

Bien que SubQuery n'ait lancé son jeton que plus tôt cette année, les récompenses d'émission pour les nœuds et les délégants ont également augmenté en valeur en USD de mois en mois, ce qui représente également le nombre croissant de services de requête fournis sur sa plate-forme. Depuis le TGE, le montant total des SQT mis en jeu est passé de 6 millions à 125 millions, soulignant la croissance de sa participation au réseau.

Covalent

Covalent est un réseau d'indexeurs décentralisé où les nœuds du réseau Block Sample Producer (BSP) créent des copies des données de la blockchain via l'exportation par lots et publient des preuves sur la blockchain Covalent L1. Ces données sont ensuite affinées par le nœud Block Result Producer (BRP) selon les règles définies, et les données qui répondent aux exigences sont filtrées.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données blockchain pertinentes dans des formats de requête et de réponse cohérents, sans avoir à écrire des requêtes complexes personnalisées pour accéder aux données. Ces ensembles de données préconfigurés peuvent être extraits auprès des opérateurs de réseaux en utilisant des tokens CQT installés sur Moonbeam comme moyen de paiement.

Les récompenses de Covalent semblent généralement augmenter du T1’23 au T1’24, en partie en raison de l’augmentation du prix CQT du jeton Covalent.

Éléments à prendre en compte lors du choix d'un indexeur

Personnalisation des données

Certains indexeurs (par exemple Covalent) sont des indexeurs à usage général qui fournissent uniquement des ensembles de données standard préconfigurés via l'API. Bien qu'ils soient rapides, ils n'offrent pas de flexibilité aux développeurs qui ont besoin d'ensembles de données personnalisés. En utilisant le framework d'indexeur, il permet un traitement de données plus personnalisé pour répondre aux besoins spécifiques des applications.

Sécurité

Les données indexées doivent être sécurisées, sinon les dApp construites sur ces indexeurs seront également vulnérables. Par exemple, si les transactions et les soldes des portefeuilles peuvent être manipulés, une dApp risque de perdre de la liquidité, ce qui aura un impact sur ses utilisateurs. Alors que tous les indexeurs utilisent une certaine forme de sécurité via des jetons de jalonnement d'indexeur, d'autres solutions d'indexeur peuvent utiliser des preuves pour augmenter encore la sécurité.

Subsquid offre la possibilité d'utiliser des preuves optimistes et sans connaissance, tandis que Covalent publie également des preuves qui incluent des hachages de blocs. Graph fournit des périodes de défi litigieuses pour les requêtes de l'indexeur sous la forme de fenêtres de défi optimistes, tandis que SubQuery génère des preuves Merkle Mountain pour chaque bloc afin de calculer les hachages pour chaque bloc de toutes les données stockées dans sa base de données.

Vitesse et évolutivité

À mesure que la blockchain continue de croître, le volume des transactions augmente également, ce qui rend l'indexation de grandes quantités de données plus lourde car davantage de puissance de traitement et d'espace de stockage sont nécessaires. À mesure que les réseaux blockchain se développent, il devient plus difficile de maintenir l’efficacité, mais le protocole Indexer introduit des solutions pour répondre à ces besoins croissants.

Par exemple, Subsquid évolue horizontalement en ajoutant plus de nœuds pour stocker les données, et il est capable d'évoluer à mesure que le matériel s'améliore. Graph fournit des données en streaming parallèle pour une synchronisation plus rapide des données, tandis que SubQuery introduit le partitionnement de nœuds pour accélérer le processus de synchronisation.

Réseaux pris en charge

Bien que la plupart des activités de blockchain se déroulent toujours au sein d'Ethereum, différentes blockchains deviennent de plus en plus populaires au fil du temps. Par exemple, les chaînes de l'écosystème Layer 2, Solana, Move blockchain et Bitcoin ont toutes leur propre ensemble de développeurs et d'activités en croissance, qui nécessitent également des services d'indexation.

Gagnez plus de frais de part de marché en prenant en charge certaines chaînes qui ne sont pas prises en charge par d'autres protocoles d'indexation. L'indexation de réseaux à forte intensité de données comme Solana n'est pas une tâche facile et jusqu'à présent, seul Subsquid a réussi à leur fournir un support d'indexation.

Conclusion

Malgré leur adoption généralisée dans le développement de dApp, le potentiel des indexeurs est toujours énorme, surtout lorsqu'ils sont intégrés à l'IA. Alors que l’IA continue de devenir de plus en plus répandue dans le Web2 et le Web3, sa capacité à s’améliorer dépend de l’accès aux données pertinentes pour former des modèles et développer des agents d’IA. Garantir l’intégrité des données est essentiel pour les applications d’IA, car cela empêche les modèles de recevoir des informations biaisées ou inexactes.

Dans le monde des solutions d'indexation, Subsquid a réalisé des progrès significatifs en termes de performances et de métriques utilisateur. Les utilisateurs ont déjà commencé à expérimenter la création d’agents IA à l’aide de Subsquid, démontrant la polyvalence et le potentiel de la plateforme dans le monde en pleine croissance de l’indexation des données. De plus, des outils comme AutoAgora aident les indexeurs à utiliser l'IA pour fournir une tarification dynamique pour les services de requête sur The Graph, tandis que SubQuery prend en charge plusieurs réseaux d'IA tels que OriginTrail et Oraichain pour une indexation transparente des données.

L'intégration de l'intelligence artificielle avec les indexeurs devrait améliorer l'accessibilité et la convivialité des données dans l'écosystème blockchain. En tirant parti de la technologie de l'intelligence artificielle, les indexeurs peuvent fournir une récupération de données plus efficace et plus précise, permettant aux développeurs de créer des dApps et des outils d'analyse plus complexes. Alors que l’IA et les indexeurs continuent d’évoluer ensemble, nous restons optimistes quant à l’avenir de l’indexation des données et à son rôle dans l’élaboration du paysage numérique décentralisé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!