Web3-Datenzugriff: Einführung in Indexer und verwandte Projekte

Geschrieben von Geng Kai, DFG

Die Bedeutung von Daten in der Blockchain

Daten sind der Schlüssel zur Blockchain-Technologie und die Grundlage für die Entwicklung dezentraler Anwendungen (dApps). Während sich ein Großteil der aktuellen Diskussion um die Datenverfügbarkeit (Data Availability, DA) dreht – um sicherzustellen, dass jeder Netzwerkteilnehmer Zugriff auf aktuelle Transaktionsdaten zur Überprüfung hat – gibt es einen ebenso wichtigen Aspekt, der oft übersehen wird: die Datenzugänglichkeit.

Im Zeitalter der modularen Blockchain sind DA-Lösungen unverzichtbar geworden. Diese Lösungen stellen sicher, dass Transaktionsdaten allen Teilnehmern zur Verfügung stehen, was eine Echtzeitüberprüfung ermöglicht und die Integrität des Netzwerks aufrechterhält. Allerdings funktioniert die DA-Schicht eher wie eine Werbetafel als wie eine Datenbank. Das bedeutet, dass die Daten nicht auf unbestimmte Zeit gespeichert werden, sondern mit der Zeit gelöscht werden, so wie ein Plakat auf einer Werbetafel irgendwann durch ein neues ersetzt wird.

Datenzugänglichkeit hingegen konzentriert sich auf die Fähigkeit, historische Daten abzurufen, was für die Entwicklung von dApps und die Durchführung von Blockchain-Analysen von entscheidender Bedeutung ist. Dieser Aspekt ist von entscheidender Bedeutung für Aufgaben, die Zugriff auf vergangene Daten erfordern, um eine genaue Darstellung und Ausführung sicherzustellen. Obwohl die Zugänglichkeit von Daten wichtig ist und weniger diskutiert wird, ist sie genauso wichtig wie die Datenverfügbarkeit. Die beiden spielen unterschiedliche, aber komplementäre Rollen im Blockchain-Ökosystem, und ein umfassender Datenverwaltungsansatz muss beide Probleme berücksichtigen, um leistungsstarke und effiziente Blockchain-Anwendungen zu unterstützen.

Wie früher Blockchain-Daten abgerufen wurden

Seit ihrer Einführung hat Blockchain die Infrastruktur revolutioniert und die Entwicklung dezentraler Anwendungen (dApps) in verschiedenen Bereichen wie Spielen, Finanzen und sozialen Netzwerken vorangetrieben. Allerdings erfordert die Erstellung dieser dApps den Zugriff auf große Mengen an Blockchain-Daten, was schwierig und teuer ist.

Eine Option für dApp-Entwickler besteht darin, Ihren eigenen archivierten RPC-Knoten zu hosten und auszuführen. Diese Knoten speichern alle historischen Blockchain-Daten von Anfang an und ermöglichen so den vollständigen Zugriff auf die Daten. Allerdings ist die Pflege von Archivknoten teuer und verfügt über begrenzte Abfragemöglichkeiten, sodass es unmöglich ist, Daten in dem von Entwicklern benötigten Format abzufragen. Der Betrieb billigerer Knoten ist zwar eine Option, diese Knoten verfügen jedoch nur über begrenzte Datenabruffunktionen, was den Betrieb von dApps behindern kann.

Ein anderer Ansatz besteht darin, einen kommerziellen RPC-Knotenanbieter (Remote Procedure Call) zu verwenden. Diese Anbieter sind für die Kosten und die Verwaltung der Knoten verantwortlich und stellen Daten über RPC-Endpunkte bereit. Öffentliche RPC-Endpunkte sind kostenlos, unterliegen jedoch Ratenbeschränkungen, die sich negativ auf das Benutzererlebnis der dApp auswirken können. Private RPC-Endpunkte bieten eine bessere Leistung durch Reduzierung der Überlastung, aber selbst der einfache Datenabruf erfordert viel Hin- und Her-Kommunikation. Dies macht sie anforderungsintensiv und bei komplexen Datenabfragen ineffizient. Darüber hinaus sind private RPC-Endpunkte oft schwer zu skalieren und nicht mit verschiedenen Netzwerken kompatibel.

Bessere Alternative: Blockchain-Indexer

Blockchain-Indexer spielen eine wichtige Rolle bei der Organisation von On-Chain-Daten und deren Übermittlung an Datenbanken zur einfachen Abfrage, weshalb sie oft als „Google der Blockchain“ bezeichnet werden. Sie funktionieren, indem sie Blockchain-Daten indizieren und sie über eine SQL-ähnliche Abfragesprache (unter Verwendung von APIs wie GraphQL) leicht verfügbar machen. Durch die Bereitstellung einer einheitlichen Schnittstelle zum Abfragen von Daten ermöglichen Indexer Entwicklern das schnelle und genaue Abrufen der erforderlichen Informationen mithilfe einer standardisierten Abfragesprache, was den Prozess erheblich vereinfacht.

Verschiedene Arten von Indexern optimieren den Datenabruf auf unterschiedliche Weise:

1. Vollständige Knotenindexer: Diese Indexer führen vollständige Blockchain-Knoten aus und extrahieren Daten direkt von ihnen. Dadurch wird sichergestellt, dass die Daten vollständig und korrekt sind, sie erfordern jedoch viel Speicherplatz und Verarbeitungsmöglichkeiten.

2. Leichtgewichtige Indexer: Diese Indexer verlassen sich auf vollständige Knoten, um bestimmte Daten bei Bedarf abzurufen, wodurch der Speicherbedarf reduziert, aber möglicherweise die Abfragezeiten verlängert werden.

3. Spezialisierte Indexer: Diese Indexer sind auf bestimmte Datentypen oder bestimmte Blockchains spezialisiert und optimieren den Abruf für bestimmte Anwendungsfälle, wie z. B. NFT-Daten oder DeFi-Transaktionen.

4. Aggregationsindexer: Diese Indexer ziehen Daten aus mehreren Blockchains und Quellen, einschließlich Off-Chain-Informationen, und stellen eine einheitliche Abfrageschnittstelle bereit, die besonders für Multi-Chain-dApps nützlich ist.

Ethereum allein benötigt 3 TB Speicherplatz, und da die Blockchain weiter wächst, wird die Datenspeichermenge für Erigan-Archivknoten weiter zunehmen. Das Indexer-Protokoll setzt mehrere Indexer ein, um große Datenmengen mit hohen Geschwindigkeiten, die mit RPC nicht möglich sind, effizient zu indizieren und abzufragen.

Der Indexer ermöglicht auch komplexe Abfragen, das einfache Filtern von Daten anhand verschiedener Kriterien und die Analyse der Daten nach der Extraktion. Einige Indexer ermöglichen auch die Aggregation von Daten aus mehreren Quellen, wodurch die Notwendigkeit vermieden wird, mehrere APIs in Multi-Chain-dApps bereitzustellen. Durch die Verteilung auf mehrere Knoten bieten Indexer verbesserte Sicherheit und Leistung, wohingegen es bei RPC-Anbietern aufgrund ihrer Zentralisierung zu Ausfällen und Ausfallzeiten kommen kann.

Insgesamt verbessern Indexer die Effizienz und Zuverlässigkeit des Datenabrufs und senken gleichzeitig die Kosten für die Bereitstellung eines einzelnen Knotens im Vergleich zu RPC-Knotenanbietern. Dies macht das Blockchain Indexer-Protokoll zur ersten Wahl für dApp-Entwickler.

Indexer-Anwendungsfall

Wie bereits erwähnt, erfordert die Erstellung einer dApp das Abrufen und Lesen von Blockchain-Daten, um ihren Dienst auszuführen. Dazu gehören alle Arten von dApps, einschließlich DeFi, NFT-Plattformen, Spiele und sogar soziale Netzwerke, da diese Plattformen Daten lesen müssen, bevor sie andere Transaktionen durchführen können.

DeFi

DeFi-Protokolle erfordern unterschiedliche Informationen, um benutzerspezifische Preise, Verhältnisse, Gebühren usw. anzugeben. Automatisierte Market Maker (AMMs) benötigen Preis- und Liquiditätsinformationen über bestimmte Pools, um Swap-Sätze zu berechnen, während Kreditprotokolle eine Nutzung erfordern, um Kreditzinsen und liquidierte Schuldenquoten zu ermitteln. Bevor ein Benutzer den Zinssatz berechnet, ist es wichtig, die Informationen in seine dApp einzugeben.

Spiele

GameFi muss Daten schnell indizieren und darauf zugreifen, um sicherzustellen, dass Benutzer Spiele reibungslos spielen können. Nur durch blitzschnellen Datenabruf und -ausführung können Web3-Spiele hinsichtlich der Leistung mit Web2-Spielen mithalten und dadurch mehr Benutzer anziehen. Für diese Spiele sind Daten wie Landbesitz, Token-Guthaben im Spiel, Aktionen im Spiel und mehr erforderlich. Mithilfe von Indexern können sie einen stabilen Datenfluss und eine konsistente Betriebszeit besser gewährleisten, um ein einwandfreies Spielerlebnis zu gewährleisten.

NFT

NFT-Marktplätze und Kreditplattformen benötigen indizierte Daten, um auf eine Vielzahl von Informationen zuzugreifen, wie z. B. NFT-Metadaten, Eigentums- und Übertragungsdaten, Lizenzinformationen und mehr. Durch die schnelle Indizierung dieser Daten entfällt die Notwendigkeit, jeden NFT einzeln zu durchsuchen, um Eigentums- oder NFT-Attributdaten zu finden.

Ob es sich um einen DeFi Automated Market Maker (AMM) handelt, der Preis- und Liquiditätsinformationen benötigt, oder um eine SocialFi-Anwendung, die neue Benutzerbeiträge aktualisieren muss, die Fähigkeit, Daten schnell abzurufen, ist entscheidend für die ordnungsgemäße Funktion einer dApp. Mithilfe von Indexern können sie Daten effizient und korrekt abrufen und so für ein reibungsloses Benutzererlebnis sorgen.

Analyse

Indexer bieten eine Möglichkeit, spezifische Daten aus rohen Blockchain-Daten zu extrahieren, einschließlich Smart-Contract-Ereignissen in jedem Block. Dies bietet die Möglichkeit einer spezifischeren Datenanalyse, um umfassende Erkenntnisse zu gewinnen.

Zum Beispiel kann ein Perpetual-Trading-Protokoll herausfinden, welche Token ein hohes Handelsvolumen haben und für welche Token Gebühren anfallen, und so entscheiden, ob diese Token als Perpetual-Kontrakte auf ihrer Plattform aufgeführt werden. DEX-Entwickler können Dashboards für ihre Produkte erstellen, um Erkenntnisse darüber zu gewinnen, welche Pools die höchsten Renditen erzielen oder am liquidesten sind. Es können auch öffentliche Dashboards erstellt werden, die Entwicklern die Freiheit und Flexibilität geben, jede Art von Daten abzufragen, die in Diagrammen angezeigt werden sollen.

Da mehrere Blockchain-Indexer verfügbar sind, ist die Identifizierung der Unterschiede zwischen den Indexierungsprotokollen von entscheidender Bedeutung, um sicherzustellen, dass Entwickler den Indexer auswählen, der ihren Anforderungen am besten entspricht.

Blockchain-Indexer-Übersicht

Indexer-Übersicht

The Graph

The Graph ist das erste Indexer-Protokoll, das auf Ethereum eingeführt wurde und es einfach macht, Transaktionsdaten abzufragen, die zuvor nicht leicht zugänglich waren. Es verwendet Untergraphen, um Teilmengen der von der Blockchain gesammelten Daten zu definieren und zu filtern, z. B. alle Transaktionen im Zusammenhang mit dem Uniswap v3 USDC/ETH-Pool.

Mithilfe des Indexnachweises stellt der Indexierer den nativen Token-GRT für Indexierungs- und Abfragedienste zur Verfügung, und der Delegierende kann seine Token hier einsetzen. Kuratoren haben Zugriff auf hochwertige Untergraphen, um Indexierern dabei zu helfen, zu bestimmen, für welche Untergraphen Daten indexiert werden sollen, um die besten Abfragegebühren zu erzielen. Im Rahmen des Übergangs zu einer stärkeren Dezentralisierung wird The Graph schließlich seine Hosting-Dienste einstellen und von Subgraphen ein Upgrade auf sein Netzwerk verlangen, während gleichzeitig aktualisierte Indexer bereitgestellt werden.

Seine Infrastruktur ermöglicht durchschnittliche Kosten pro Million Abfragen von 40 US-Dollar, was viel niedriger ist als die Kosten selbst gehosteter Knoten. Mithilfe von Dateidatenquellen unterstützt es außerdem die parallele Indizierung von On-Chain- und Off-Chain-Daten für einen effizienten Datenabruf.

Werfen Sie einen Blick auf die Indexer-Belohnungen von The Graph, die in den letzten Quartalen stetig gestiegen sind. Dies ist teilweise auf einen Anstieg des Abfragevolumens zurückzuführen, aber auch auf einen Anstieg des Token-Preises, da geplant ist, in Zukunft KI-gestützte Abfragen zu integrieren.

Subsquid

Subsquid ist ein horizontal skalierbarer dezentraler Punkt-zu-Punkt-Datensee, der große Mengen an On-Chain- und Off-Chain-Daten effizient aggregiert und sie mit wissensfreien Beweisen schützt. Als dezentrales Netzwerk von Mitarbeitern ist jeder Knoten für die Speicherung von Daten aus einer bestimmten Teilmenge von Blöcken verantwortlich. Dadurch wird der Datenabrufprozess beschleunigt, indem die Knoten, die die erforderlichen Daten enthalten, schnell identifiziert werden.

Subsquid unterstützt auch die Indizierung in Echtzeit, sodass Blöcke indiziert werden können, bevor sie finalisiert werden. Es unterstützt auch das Speichern von Daten im Format der Wahl des Entwicklers, was eine einfachere Analyse mit Tools wie BigQuery, Parquet oder CSV ermöglicht. Darüber hinaus können Subgraphen im Subsquid-Netzwerk bereitgestellt werden, ohne auf das Squid SDK migrieren zu müssen, was eine codelose Bereitstellung ermöglicht.

Noch in der Testnet-Phase hat Subsquid beeindruckende Statistiken mit über 80.000 Testnet-Benutzern, über 60.000 bereitgestellten Squid-Indexern und über 20.000 verifizierten Entwicklern im Netzwerk erzielt. Zuletzt, am 3. Juni, startete Subsquid das Mainnet seines Data Lake.

Zusätzlich zur Indizierung können Subsquid Network Data Lakes RPC in Anwendungsfällen wie Analysen, ZK/TEE-Coprozessoren, KI-Agenten und Oracle ersetzen.

SubQuery

SubQuery ist ein dezentrales Middleware-Infrastrukturnetzwerk, das RPC- und indizierte Datendienste bereitstellt. Es unterstützte zunächst die Netzwerke Polkadot und Substrate und wurde mittlerweile auf über 200 Ketten ausgeweitet. Es funktioniert ähnlich wie The Graph mit Indexnachweis, wobei ein Indexer Daten indiziert und Abfrageanfragen bearbeitet und Delegatoren ihre Anteile an den Indexer übertragen. Verbraucher werden jedoch aufgefordert, Kaufaufträge einzureichen, um nachzuweisen, dass das Einkommen des Indexierers und nicht das des Managers garantiert ist.

Es werden SubQuery-Datenknoten eingeführt, die Sharding unterstützen, um die ständige Synchronisierung neuer Daten zwischen den einzelnen Knoten zu verhindern und so die Abfrageeffizienz zu optimieren und gleichzeitig eine stärkere Dezentralisierung voranzutreiben. Benutzer können wählen, ob sie eine Rechengebühr von etwa 1 SQT-Token pro 1000 Anfragen zahlen möchten oder über das Protokoll eine benutzerdefinierte Gebühr für den Indexer festlegen möchten.

Obwohl SubQuery seinen Token erst Anfang des Jahres auf den Markt gebracht hat, ist der Wert der Ausgabeprämien für Knoten und Delegatoren von Monat zu Monat ebenfalls in US-Dollar gestiegen, was auf eine zunehmende Anzahl von auf seiner Plattform bereitgestellten Abfragediensten zurückzuführen ist. Seit dem TGE ist der Gesamtbetrag der SQT-Einsätze von 6 Millionen auf 125 Millionen gestiegen, was das Wachstum der Netzwerkbeteiligung unterstreicht.

Covalent

Covalent ist ein dezentrales Indexernetzwerk, in dem Block Sample Producer (BSP)-Netzwerkknoten durch Batch-Export Kopien von Blockchain-Daten erstellen und Beweise auf der Covalent L1-Blockchain veröffentlichen. Diese Daten werden dann vom Block Result Producer (BRP)-Knoten gemäß den festgelegten Regeln verfeinert und die Daten, die den Anforderungen entsprechen, werden herausgefiltert.

Mit einer einheitlichen API können Entwickler relevante Blockchain-Daten problemlos in konsistenten Anforderungs- und Antwortformaten extrahieren, ohne benutzerdefinierte komplexe Abfragen schreiben zu müssen, um auf die Daten zuzugreifen. Diese vorkonfigurierten Datensätze können von Netzwerkbetreibern mithilfe von auf Moonbeam abgewickelten CQT-Tokens als Zahlungsmittel extrahiert werden.

Die Belohnungen von Covalent scheinen im Allgemeinen von Q1’23 bis Q1’24 zu steigen, was teilweise auf den Anstieg des Covalent-Token-CQT-Preises zurückzuführen ist.

Dinge, die bei der Auswahl eines Indexers zu beachten sind

Anpassbarkeit von Daten

Einige Indexer (z. B. Covalent) sind Allzweck-Indexer, die nur vorkonfigurierte Standarddatensätze über die API bereitstellen. Obwohl sie zwar schnell sind, bieten sie Entwicklern, die benutzerdefinierte Datensätze benötigen, keine Flexibilität. Durch die Verwendung des Indexer-Frameworks ist eine individuellere Datenverarbeitung möglich, um anwendungsspezifischen Anforderungen gerecht zu werden.

Sicherheit

Indizierte Daten müssen sicher sein, sonst sind auch dApps, die auf diesen Indexern basieren, anfällig. Wenn beispielsweise Transaktionen und Wallet-Guthaben manipuliert werden können, besteht die Gefahr, dass eine dApp Liquidität verliert, was sich negativ auf ihre Benutzer auswirkt. Während alle Indexer irgendeine Form der Sicherheit durch Indexer-Stake-Token nutzen, können andere Indexer-Lösungen Beweise verwenden, um die Sicherheit weiter zu erhöhen.

Subsquid bietet die Möglichkeit, optimistische und wissensfreie Beweise zu verwenden, während Covalent auch Beweise veröffentlicht, die Block-Hashes enthalten. Graph bietet umstrittene Challenge-Zeiträume für Indexer-Abfragen in Form von optimistischen Challenge-Fenstern, während SubQuery Merkle Mountain-Beweise für jeden Block generiert, um Hashes für jeden Block aller in seiner Datenbank gespeicherten Daten zu berechnen.

Geschwindigkeit und Skalierbarkeit

Da die Blockchain weiter wächst, wächst auch das Transaktionsvolumen, wodurch die Indizierung großer Datenmengen umständlicher wird, da mehr Rechenleistung und Speicherplatz erforderlich sind. Mit dem Wachstum von Blockchain-Netzwerken wird es schwieriger, die Effizienz aufrechtzuerhalten, aber das Indexer-Protokoll führt Lösungen ein, um diesen wachsenden Anforderungen gerecht zu werden.

Zum Beispiel skaliert Subsquid horizontal, indem es weitere Knoten zum Speichern von Daten hinzufügt, sodass es bei verbesserter Hardware skaliert werden kann. Graph bietet parallele Streaming-Daten für eine schnellere Datensynchronisierung, während SubQuery Node-Sharding einführt, um den Synchronisierungsprozess zu beschleunigen.

Unterstützte Netzwerke

Obwohl die meisten Blockchain-Aktivitäten immer noch innerhalb von Ethereum stattfinden, werden verschiedene Blockchains mit der Zeit immer beliebter. Beispielsweise verfügen die Layer-2-, Solana-, Move-Blockchain- und Bitcoin-Ökosystemketten alle über ihre eigenen wachsenden Entwickler und Aktivitäten, die auch Indexierungsdienste erfordern.

Verdienen Sie mehr Marktanteilsgebühren, indem Sie bestimmte Ketten unterstützen, die von anderen Indexerprotokollen nicht unterstützt werden. Die Indizierung datenintensiver Netzwerke wie Solana ist keine leichte Aufgabe, und bisher hat nur Subsquid erfolgreich Indexierungsunterstützung für sie bereitgestellt.

Fazit

Trotz ihrer breiten Akzeptanz in der dApp-Entwicklung ist das Potenzial von Indexern immer noch enorm, insbesondere wenn sie in KI integriert sind. Da KI in Web2 und Web3 immer häufiger vorkommt, hängt ihre Verbesserungsfähigkeit vom Zugriff auf relevante Daten ab, um Modelle zu trainieren und KI-Agenten zu entwickeln. Die Gewährleistung der Datenintegrität ist für KI-Anwendungen von entscheidender Bedeutung, da sie verhindert, dass Modelle mit voreingenommenen oder ungenauen Informationen gefüttert werden.

In der Welt der Indexerlösungen hat Subsquid erhebliche Fortschritte bei Leistung und Benutzermetriken erzielt. Benutzer haben bereits begonnen, mit der Entwicklung von KI-Agenten mithilfe von Subsquid zu experimentieren, was die Vielseitigkeit und das Potenzial der Plattform in der wachsenden Welt der Datenindizierung demonstriert. Darüber hinaus helfen Tools wie AutoAgora Indexierern dabei, KI zu nutzen, um dynamische Preise für Abfragedienste auf The Graph bereitzustellen, während SubQuery mehrere KI-Netzwerke wie OriginTrail und Oraichain für eine transparente Datenindizierung unterstützt.

Die Integration künstlicher Intelligenz mit Indexern soll die Zugänglichkeit und Benutzerfreundlichkeit von Daten im Blockchain-Ökosystem verbessern. Durch die Nutzung der Technologie der künstlichen Intelligenz können Indexer einen effizienteren und genaueren Datenabruf ermöglichen, sodass Entwickler komplexere dApps und Analysetools erstellen können. Während sich KI und Indexierer gemeinsam weiterentwickeln, bleiben wir hinsichtlich der Zukunft der Datenindizierung und ihrer Rolle bei der Gestaltung der dezentralen digitalen Landschaft optimistisch.

Das obige ist der detaillierte Inhalt vonWeb3-Datenzugriff: Einführung in Indexer und verwandte Projekte. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!