Web3 데이터 액세스: 인덱서 및 관련 프로젝트 소개

DFG Geng Kai 작성

블록체인에서 데이터의 중요성

데이터는 블록체인 기술의 핵심이자 분산 애플리케이션(dApp) 개발의 기초입니다. 현재 논의의 대부분은 모든 네트워크 참가자가 확인을 위해 최근 거래 데이터에 액세스할 수 있도록 보장하는 데이터 가용성(DA)에 관한 것이지만, 종종 간과되는 똑같이 중요한 측면인 데이터 접근성도 있습니다.

모듈형 블록체인 시대에 DA 솔루션은 필수가 되었습니다. 이러한 솔루션은 모든 참가자가 거래 데이터를 사용할 수 있도록 보장하여 실시간 검증을 지원하고 네트워크 무결성을 유지합니다. 그러나 DA 레이어는 데이터베이스라기보다는 빌보드처럼 기능합니다. 이는 광고판의 포스터가 결국 새 포스터로 교체되는 것처럼 데이터가 무기한 저장되지 않는다는 것을 의미합니다.

데이터 접근성은 dApp 개발 및 블록체인 분석 수행에 중요한 과거 데이터 검색 능력에 중점을 둡니다. 이 측면은 정확한 표현과 실행을 보장하기 위해 과거 데이터에 액세스해야 하는 작업에 중요합니다. 데이터 접근성은 중요하고 덜 논의되지만 데이터 가용성만큼 중요합니다. 두 가지 역할은 서로 다르지만 블록체인 생태계에서 보완적인 역할을 하며, 포괄적인 데이터 관리 접근 방식은 강력하고 효율적인 블록체인 애플리케이션을 지원하기 위해 두 가지 문제를 모두 해결해야 합니다.

이전에는 블록체인 데이터를 검색한 방법

블록체인은 처음부터 인프라에 혁명을 일으키고 게임, 금융, 소셜 네트워크 등 다양한 분야에서 분산형 애플리케이션(dApp) 생성을 주도했습니다. 그러나 이러한 dApp을 구축하려면 대량의 블록체인 데이터에 액세스해야 하며 이는 어렵고 비용이 많이 듭니다.

dApp 개발자를 위한 한 가지 옵션은 보관된 RPC 노드를 호스팅하고 실행하는 것입니다. 이 노드는 처음부터 모든 기록 블록체인 데이터를 저장하여 데이터에 대한 전체 액세스를 허용합니다. 그러나 아카이브 노드를 유지하는 데 비용이 많이 들고 쿼리 기능이 제한되어 개발자가 필요로 하는 형식으로 데이터를 쿼리하는 것이 불가능합니다. 더 저렴한 노드를 실행하는 것은 옵션이지만 이러한 노드에는 데이터 검색 기능이 제한되어 있어 dApp의 작동을 방해할 수 있습니다.

또 다른 접근 방식은 상용 RPC(원격 프로시저 호출) 노드 공급자를 사용하는 것입니다. 이러한 공급자는 노드의 비용과 관리를 담당하고 RPC 끝점을 통해 데이터를 제공합니다. 공용 RPC 엔드포인트는 무료이지만 dApp의 사용자 경험에 부정적인 영향을 미칠 수 있는 속도 제한이 있습니다. 프라이빗 RPC 엔드포인트는 혼잡을 줄여 더 나은 성능을 제공하지만 간단한 데이터 검색에도 많은 양의 주고받는 통신이 필요합니다. 이로 인해 복잡한 데이터 쿼리에 대한 요청이 많고 비효율적입니다. 또한 개인 RPC 끝점은 확장하기 어렵고 다양한 네트워크 간의 호환성이 부족한 경우가 많습니다.

더 나은 대안: 블록체인 인덱서

블록체인 인덱서는 온체인 데이터를 구성하고 쉽게 쿼리할 수 있도록 데이터베이스로 전송하는 데 중요한 역할을 하며, 이것이 바로 "블록체인의 Google"이라고 불리는 이유입니다. 블록체인 데이터를 인덱싱하고 SQL과 유사한 쿼리 언어(GraphQL과 같은 API 사용)를 통해 쉽게 사용할 수 있도록 하는 방식으로 작동합니다. 데이터 쿼리를 위한 통합 인터페이스를 제공함으로써 인덱서는 개발자가 표준화된 쿼리 언어를 사용하여 필요한 정보를 빠르고 정확하게 검색할 수 있도록 하여 프로세스를 크게 단순화합니다.

다양한 유형의 인덱서는 다양한 방법으로 데이터 검색을 최적화합니다.

1. 전체 노드 인덱서: 이 인덱서는 전체 블록체인 노드를 실행하고 노드에서 직접 데이터를 추출하여 데이터가 완전하고 정확하도록 보장하지만 많은 저장 공간과 처리 능력.

2. 경량 인덱서: 이 인덱서는 전체 노드를 사용하여 필요에 따라 특정 데이터를 가져오므로 스토리지 요구 사항은 줄어들지만 잠재적으로 쿼리 시간이 늘어납니다.

3. 특수 인덱서: 이 인덱서는 특정 유형의 데이터 또는 특정 블록체인을 전문으로 하며 NFT 데이터 또는 DeFi 거래와 같은 특정 사용 사례에 대한 검색을 최적화합니다.

4. 집계 인덱서: 이 인덱서는 오프체인 정보를 포함한 여러 블록체인 및 소스에서 데이터를 가져와 통합 쿼리 인터페이스를 제공하며, 이는 특히 다중 체인 dApp에 유용합니다.

이더리움만으로도 3TB의 저장 공간이 필요하며, 블록체인이 계속 성장함에 따라 Erigan 아카이브 노드의 데이터 저장 용량도 계속 늘어날 것입니다. 인덱서 프로토콜은 여러 인덱서를 배포하여 RPC에서는 불가능한 빠른 속도로 대량의 데이터를 효율적으로 인덱싱하고 쿼리합니다.

인덱서를 사용하면 복잡한 쿼리, 다양한 기준에 따른 데이터의 간편한 필터링, 데이터 추출 후 분석도 가능합니다. 또한 일부 인덱서는 여러 소스의 데이터 집계를 허용하므로 다중 체인 dApp에 여러 API를 배포할 필요가 없습니다. 인덱서는 여러 노드에 분산되어 향상된 보안과 성능을 제공하는 반면, RPC 공급자는 중앙 집중식 특성으로 인해 중단 및 가동 중지 시간이 발생할 수 있습니다.

전반적으로 인덱서는 데이터 검색의 효율성과 안정성을 향상시키는 동시에 RPC 노드 공급자에 비해 단일 노드 배포 비용을 절감합니다. 이로 인해 Blockchain Indexer 프로토콜은 dApp 개발자에게 최고의 선택이 되었습니다.

인덱서 사용 사례

앞서 언급했듯이 dApp을 구축하려면 서비스를 실행하기 위해 블록체인 데이터를 검색하고 읽어야 합니다. 여기에는 DeFi, NFT 플랫폼, 게임, 심지어 소셜 네트워크를 포함한 모든 유형의 dApp이 포함됩니다. 이러한 플랫폼은 다른 거래를 수행하기 전에 데이터를 읽어야 하기 때문입니다.

DeFi

DeFi 프로토콜은 사용자에게 특정 가격, 비율, 수수료 등을 인용하기 위해 다양한 정보가 필요합니다. AMM(자동 시장 조성자)은 스왑 비율을 계산하기 위해 특정 풀에 대한 가격 및 유동성 정보가 필요한 반면, 대출 프로토콜은 대출 비율 및 청산 부채 비율을 결정하기 위해 활용이 필요합니다. 사용자가 수행한 이자율을 계산하기 전에 해당 정보를 dApp에 입력하는 것이 중요합니다.

Games

GameFi는 사용자가 원활하게 게임을 플레이할 수 있도록 데이터를 빠르게 색인화하고 액세스해야 합니다. 빛처럼 빠른 데이터 검색 및 실행을 통해서만 Web3 게임은 성능 면에서 Web2 게임과 경쟁할 수 있으며 이를 통해 더 많은 사용자를 유치할 수 있습니다. 이러한 게임에는 토지 소유권, 게임 내 토큰 잔액, 게임 내 활동 등과 같은 데이터가 필요합니다. 인덱서를 사용하면 안정적인 데이터 흐름과 일관된 가동 시간을 더욱 효과적으로 보장하여 완벽한 게임 경험을 보장할 수 있습니다.

NFT

NFT 마켓플레이스 및 대출 플랫폼에서는 NFT 메타데이터, 소유권 및 이전 데이터, 로열티 정보 등과 같은 다양한 정보에 액세스하기 위해 색인화된 데이터가 필요합니다. 이 데이터를 빠르게 인덱싱하면 소유권 또는 NFT 속성 데이터를 찾기 위해 각 NFT를 개별적으로 검색할 필요가 없습니다.

가격과 유동성 정보가 필요한 AMM(DeFi Automated Market Maker)이든, 새로운 사용자 게시물을 업데이트해야 하는 SocialFi 애플리케이션이든, dApp이 제대로 작동하려면 데이터를 빠르게 검색할 수 있는 것이 중요합니다. 인덱서의 도움으로 데이터를 효율적이고 정확하게 검색하여 원활한 사용자 경험을 제공할 수 있습니다.

Analytics

인덱서는 각 블록의 스마트 계약 이벤트를 포함하여 원시 블록체인 데이터에서 특정 데이터를 추출하는 방법을 제공합니다. 이는 보다 구체적인 데이터 분석을 통해 포괄적인 통찰력을 제공할 수 있는 기회를 제공합니다.

예를 들어 무기한 거래 프로토콜은 어떤 토큰이 거래량이 많고 어떤 토큰에 수수료가 발생하는지 파악하여 해당 토큰을 플랫폼에 무기한 계약으로 나열할지 여부를 결정할 수 있습니다. DEX 개발자는 제품에 대한 대시보드를 생성하여 어떤 풀이 가장 높은 수익을 내거나 가장 유동성이 있는지에 대한 통찰력을 얻을 수 있습니다. 공개 대시보드를 생성하여 개발자가 차트에 표시할 모든 유형의 데이터를 자유롭고 유연하게 쿼리할 수 있습니다.

여러 블록체인 인덱서를 사용할 수 있는 경우 인덱싱 프로토콜 간의 차이점을 식별하는 것은 개발자가 자신의 요구 사항에 가장 적합한 인덱서를 선택하는 데 중요합니다.

Blockchain Indexer 개요

Indexer 개요

The Graph

The Graph는 이더리움에서 출시된 최초의 인덱서 프로토콜로, 이전에는 쉽게 접근할 수 없었던 거래 데이터를 쉽게 쿼리할 수 있습니다. 하위 그래프를 사용하여 Uniswap v3 USDC/ETH 풀과 관련된 모든 거래와 같이 블록체인에서 수집된 데이터의 하위 집합을 정의하고 필터링합니다.

인덱스 증명을 사용하여 인덱서는 인덱싱 및 쿼리 서비스에 대한 기본 토큰 GRT를 약속하며 위임자는 여기에 토큰을 스테이킹하도록 선택할 수 있습니다. 큐레이터는 인덱서가 최적의 쿼리 비용을 얻기 위해 인덱싱할 하위 그래프를 결정하는 데 도움이 되는 고품질 하위 그래프에 액세스할 수 있습니다. 더 큰 분산화로 전환하면서 The Graph는 결국 호스팅 서비스를 중단하고 업그레이드된 인덱서와 함께 하위 그래프를 네트워크로 업그레이드해야 합니다.

인프라를 통해 40달러의 백만 쿼리당 평균 비용이 가능하며 이는 자체 호스팅 노드 비용보다 훨씬 낮습니다. 파일 데이터 소스를 사용하여 효율적인 데이터 검색을 위해 온체인 및 오프체인 데이터의 병렬 인덱싱도 지원합니다.

지난 몇 분기 동안 꾸준히 성장해 온 The Graph의 인덱서 보상을 살펴보세요. 이는 부분적으로 쿼리량이 증가했기 때문이기도 하지만, 향후 AI 지원 쿼리를 통합할 계획으로 인해 토큰 가격이 상승했기 때문이기도 합니다.

Subsquid

Subsquid는 대량의 온체인 및 오프체인 데이터를 효율적으로 집계하고 영지식 증명으로 보호하는 지점 간, 수평 확장 가능한 분산형 데이터 레이크입니다. 분산된 작업자 네트워크로서 각 노드는 특정 블록 하위 집합의 데이터를 저장하고 필요한 데이터를 보유하고 있는 노드를 신속하게 식별하여 데이터 검색 프로세스의 속도를 높이는 역할을 합니다.

Subsquid는 실시간 인덱싱도 지원하므로 블록이 확정되기 전에 인덱싱할 수 있습니다. 또한 개발자가 선택한 형식으로 데이터를 저장할 수 있으므로 BigQuery, Parquet 또는 CSV와 같은 도구를 사용하여 더 쉽게 분석할 수 있습니다. 또한 Squid SDK로 마이그레이션하지 않고도 Subsquid 네트워크에 하위 그래프를 배포할 수 있으므로 코드 없는 배포가 가능합니다.

아직 테스트넷 단계에 있는 동안 Subsquid는 80,000명 이상의 테스트넷 사용자, 60,000명 이상의 Squid 인덱서 배포, 네트워크의 20,000명 이상의 검증된 개발자를 통해 인상적인 통계를 달성했습니다. 가장 최근인 6월 3일 Subsquid는 데이터 레이크의 메인넷을 출시했습니다.

인덱싱 외에도 Subsquid Network 데이터 레이크는 분석, ZK/TEE 보조 프로세서, AI 에이전트 및 Oracle과 같은 사용 사례에서 RPC를 대체할 수 있습니다.

SubQuery

SubQuery는 RPC 및 인덱스 데이터 서비스를 제공하는 분산형 미들웨어 인프라 네트워크입니다. 처음에는 Polkadot 및 Substrate 네트워크를 지원했으며 현재는 200개 이상의 체인을 포함하도록 확장되었습니다. 이는 인덱서가 데이터를 인덱싱하고 쿼리 요청을 처리하며 위임자가 자신의 지분을 인덱서에 스테이킹하는 인덱스 증명을 사용하는 The Graph와 유사하게 작동합니다. 그러나 관리자의 수입이 아닌 인덱서의 수입이 보장된다는 것을 보여주기 위해 소비자에게 구매 주문서를 제출하도록 소개합니다.

각 노드 간에 새로운 데이터가 지속적으로 동기화되는 것을 방지하기 위해 샤딩을 지원하는 SubQuery 데이터 노드를 도입하여 쿼리 효율성을 최적화하는 동시에 더 큰 분산화를 지향합니다. 사용자는 1000개 요청당 약 1 SQT 토큰의 계산 수수료를 지불하거나 프로토콜을 통해 인덱서에 대한 사용자 지정 수수료를 설정할 수 있습니다.

SubQuery는 올해 초에 토큰을 출시했지만 노드와 위임자에 대한 발행 보상도 매월 USD 가치로 증가했으며 이는 플랫폼에서 제공되는 쿼리 서비스 수가 증가했음을 나타냅니다. TGE 이후 스테이킹된 SQT의 총량은 600만 개에서 1억 2,500만 개로 증가하여 네트워크 참여의 증가를 부각시켰습니다.

Covalent

Covalent는 BSP(Block Sample Producer) 네트워크 노드가 일괄 내보내기를 통해 블록체인 데이터의 복사본을 생성하고 Covalent L1 블록체인에 증거를 게시하는 분산형 인덱서 네트워크입니다. 그런 다음 이러한 데이터는 설정된 규칙에 따라 BRP(Block Result Producer) 노드에 의해 정제되고 요구 사항을 충족하는 데이터가 필터링됩니다.

통합 API를 사용하면 개발자는 데이터에 액세스하기 위해 사용자 지정 복잡한 쿼리를 작성할 필요 없이 일관된 요청 및 응답 형식으로 관련 블록체인 데이터를 쉽게 추출할 수 있습니다. 이러한 사전 구성된 데이터세트는 Moonbeam에 결제 수단으로 정착된 CQT 토큰을 사용하여 네트워크 사업자로부터 추출할 수 있습니다.

Covalent의 보상은 부분적으로 Covalent 토큰 CQT 가격 상승으로 인해 2023년 1분기부터 24년 1분기까지 일반적으로 증가하는 것으로 보입니다.

인덱서 선택 시 고려해야 할 사항

데이터 사용자 정의 가능성

일부 인덱서(예: Covalent)는 API를 통해 미리 구성된 표준 데이터 세트만 제공하는 범용 인덱서입니다. 속도는 빠르지만 사용자 지정 데이터 세트가 필요한 개발자에게는 유연성을 제공하지 않습니다. 인덱서 프레임워크를 사용하면 애플리케이션별 요구 사항을 충족하기 위해 더 많은 사용자 지정 데이터 처리가 가능합니다.

보안

인덱싱된 데이터는 안전해야 합니다. 그렇지 않으면 이러한 인덱서 위에 구축된 dApp도 취약해질 것입니다. 예를 들어, 거래 및 지갑 잔액이 조작될 수 있는 경우 dApp은 유동성을 잃어 사용자에게 영향을 미칠 위험이 있습니다. 모든 인덱서는 인덱서 스테이킹 토큰을 통해 특정 형태의 보안을 사용하지만 다른 인덱서 솔루션은 증명을 사용하여 보안을 더욱 강화할 수 있습니다.

Subsquid는 낙관적 및 영지식 증명을 사용할 수 있는 옵션을 제공하는 반면 Covalent는 블록 해시를 포함하는 증명도 출시합니다. Graph는 낙관적 챌린지 창 형태로 인덱서 쿼리에 대해 논쟁의 여지가 있는 챌린지 기간을 제공하는 반면, SubQuery는 각 블록에 대해 Merkle Mountain 증명을 생성하여 데이터베이스에 저장된 모든 데이터의 각 블록에 대한 해시를 계산합니다.

속도 및 확장성

블록체인이 지속적으로 성장함에 따라 거래량도 늘어나고, 더 많은 처리 능력과 저장 공간이 필요해지면서 대량의 데이터를 인덱싱하는 것이 더욱 번거로워집니다. 블록체인 네트워크가 성장함에 따라 효율성을 유지하는 것이 더욱 어려워지지만, Indexer 프로토콜은 이러한 증가하는 요구를 충족하기 위한 솔루션을 도입합니다.

예를 들어 Subsquid는 데이터를 저장하기 위해 더 많은 노드를 추가하여 수평으로 확장되며 하드웨어가 향상됨에 따라 확장할 수 있습니다. Graph는 더 빠른 데이터 동기화를 위해 병렬 스트리밍 데이터를 제공하는 반면, SubQuery는 동기화 프로세스 속도를 높이기 위해 노드 샤딩을 도입합니다.

지원되는 네트워크

대부분의 블록체인 활동은 여전히 ​​이더리움 내에서 이루어지지만 시간이 지남에 따라 다양한 블록체인이 더욱 인기를 얻고 있습니다. 예를 들어, Layer 2, Solana, Move 블록체인 및 비트코인 ​​생태계 체인에는 모두 성장하는 자체 개발자 및 활동 세트가 있으며 이를 위해서는 인덱싱 서비스도 필요합니다.

다른 인덱서 프로토콜에서 지원하지 않는 특정 체인을 지원하여 더 많은 시장 점유율 수수료를 얻으세요. Solana와 같은 데이터 집약적인 네트워크를 인덱싱하는 것은 쉬운 작업이 아니며 지금까지 Subsquid만이 인덱싱 지원을 성공적으로 제공했습니다.

결론

dApp 개발에서 널리 채택되었음에도 불구하고 인덱서의 잠재력은 특히 AI와 통합될 때 여전히 엄청납니다. Web2 및 Web3에서 AI가 계속해서 널리 보급됨에 따라 AI의 개선 능력은 모델을 훈련하고 AI 에이전트를 개발하기 위한 관련 데이터에 대한 액세스에 달려 있습니다. 데이터 무결성을 보장하는 것은 모델에 편향되거나 부정확한 정보가 제공되는 것을 방지하므로 AI 애플리케이션에 매우 중요합니다.

인덱서 솔루션 세계에서 Subsquid는 성능 및 사용자 측정 항목에서 상당한 발전을 이루었습니다. 사용자는 이미 Subsquid를 사용하여 AI 에이전트 구축 실험을 시작했으며, 성장하는 데이터 인덱싱 세계에서 플랫폼의 다양성과 잠재력을 입증했습니다. 또한 AutoAgora와 같은 도구는 인덱서가 AI를 사용하여 The Graph의 쿼리 서비스에 대한 동적 가격을 제공하도록 돕고, SubQuery는 투명한 데이터 인덱싱을 위해 OriginTrail 및 Oraichain과 같은 여러 AI 네트워크를 지원합니다.

인덱서와 인공지능의 통합으로 블록체인 생태계의 데이터 접근성과 활용성이 향상될 것으로 기대됩니다. 인덱서는 인공 지능 기술을 활용하여 보다 효율적이고 정확한 데이터 검색을 제공할 수 있으므로 개발자는 보다 복잡한 dApp 및 분석 도구를 구축할 수 있습니다. AI와 인덱서가 계속 함께 발전함에 따라 우리는 데이터 인덱싱의 미래와 분산형 디지털 환경을 형성하는 역할에 대해 낙관적입니다.

위 내용은 Web3 데이터 액세스: 인덱서 및 관련 프로젝트 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!