Pengenalan Indeks dan Proyek Terkait untuk Akses Data Web3

Menulis: Geng Kai, DFG

Pentingnya Data dalam Blockchain

Data adalah kunci teknologi blockchain dan menjadi dasar untuk mengembangkan aplikasi terdesentralisasi (dApp). Meskipun sebagian besar diskusi saat ini berfokus pada ketersediaan data (DA) - memastikan setiap peserta jaringan dapat mengakses data transaksi terbaru untuk verifikasi - ada juga aspek penting lainnya yang sering diabaikan: aksesibilitas data.

Di era blockchain modular, solusi DA telah menjadi sangat penting. Solusi-solusi ini memastikan bahwa semua peserta dapat menggunakan data transaksi untuk memvalidasi secara real-time dan menjaga integritas jaringan. Namun, fitur lapisan DA ini lebih mirip dengan papan iklan daripada database. Ini berarti data tidak akan disimpan secara permanen; itu akan dihapus seiring waktu, sama seperti poster di papan iklan akan digantikan oleh poster baru.

Di sisi lain, aksesibilitas data menekankan pada kemampuan untuk mengambil data historis, yang sangat penting untuk pengembangan dApp dan analisis blockchain. Ini sangat penting bagi tugas-tugas yang memerlukan akses ke data masa lalu untuk memastikan representasi dan pelaksanaan yang akurat. Meskipun aksesibilitas data sangat penting, pembahasannya kurang, namun sama pentingnya dengan ketersediaan data. Keduanya memiliki peran yang berbeda namun saling melengkapi dalam ekosistem blockchain, pendekatan manajemen data yang komprehensif harus mengatasi kedua masalah ini untuk mendukung aplikasi blockchain yang kuat dan efisien.

Bagaimana Data Blockchain Dapat Ditemukan Sebelumnya

Sejak lahirnya, teknologi blockchain telah mengubah infrastruktur secara menyeluruh dan mendorong pembuatan aplikasi terdesentralisasi (dApp) di berbagai bidang seperti game, keuangan, dan jejaring sosial. Namun, membangun dApp ini membutuhkan akses ke banyak data blockchain yang sulit dan mahal.

Bagi pengembang dApp, salah satu pilihan adalah meng-host dan menjalankan node RPC arsip mereka sendiri. Node-node ini menyimpan semua data blockchain historis dari awal, memungkinkan akses penuh ke data. Namun, biaya memelihara node arsip sangat tinggi dan kemampuan kueri terbatas, sehingga tidak dapat mengakses data dalam format yang dibutuhkan oleh pengembang. Meskipun menjalankan node yang lebih murah adalah pilihan, kemampuan pengambilan data dari node tersebut terbatas, yang dapat menghambat operasi dApp.

Metode lain adalah menggunakan penyedia node RPC (remote procedure call) komersial. Penyedia ini bertanggung jawab atas biaya dan manajemen node, serta menyediakan data melalui titik akhir RPC. Titik akhir RPC publik gratis, tetapi memiliki pembatasan kecepatan yang mungkin berdampak negatif pada pengalaman pengguna dApp. Titik akhir RPC pribadi memberikan kinerja yang lebih baik dengan mengurangi kemacetan, namun bahkan pengambilan data sederhana memerlukan komunikasi bolak-balik yang besar. Hal ini membuat permintaan menjadi berat, dan efisiensi untuk kueri data kompleks rendah. Selain itu, titik akhir RPC pribadi biasanya sulit untuk diperluas dan kurang kompatibel lintas jaringan yang berbeda.

Solusi Pengganti yang Lebih Baik: Indeks Blockchain

Indeksator blockchain memainkan peran yang sangat penting dalam mengorganisir dan mengirimkan data on-chain ke database untuk tujuan kueri, itulah sebabnya mereka sering disebut sebagai 'Google dari blockchain'. Mereka bekerja dengan mengindeks data blockchain dan membuatnya tersedia kapan saja melalui bahasa kueri yang mirip dengan SQL (menggunakan API seperti GraphQL). Dengan menyediakan antarmuka kueri yang seragam untuk mengakses data, indeksator memungkinkan pengembang untuk dengan cepat dan akurat mengambil informasi yang dibutuhkan, secara signifikan menyederhanakan proses.

Indeksator berbagai jenis mengoptimalkan pencarian data dengan berbagai cara:

1. Penanda indeks node lengkap: Indeks ini berjalan pada node blockchain lengkap dan langsung mengekstrak data dari situ, memastikan keakuratan dan kelengkapan data, tetapi memerlukan kapasitas penyimpanan dan pemrosesan yang besar.
2. Penelusur Indeks Ringan: Penelusur ini bergantung pada node lengkap untuk mengambil data tertentu sesuai kebutuhan, sehingga mengurangi kebutuhan penyimpanan namun mungkin meningkatkan waktu kueri.
3. Pengindeks Khusus: Pengindeks ini ditujukan untuk jenis data tertentu atau blockchain tertentu untuk mengoptimalkan pengambilan data kasus penggunaan tertentu, seperti data NFT atau transaksi DeFi.
4. Agregator Indeks: Indeks-indeks ini mengekstrak data dari beberapa blockchain dan sumber, termasuk informasi di luar rantai, dan menyediakan antarmuka kueri yang seragam, yang sangat berguna untuk dApp multi-rantai.

Hanya Ethereum membutuhkan ruang penyimpanan sebesar 3TB, dan dengan pertumbuhan terus-menerus blockchain, volume penyimpanan data node arsip Erigon juga akan terus bertambah. Protokol pengindeksan ini mendeploy beberapa pengindeks yang dapat mengindeks dan mengquery data dalam jumlah besar secara efisien, yang tidak dapat dicapai oleh RPC.

Pengindeks juga memungkinkan untuk melakukan kueri kompleks, menyaring data dengan mudah berdasarkan standar yang berbeda, dan menganalisis data setelah diekstraksi. Beberapa pengindeks juga memungkinkan untuk menggabungkan data dari berbagai sumber, sehingga menghindari penyebaran beberapa API dalam dApp multi-rantai. Dengan tersebar di beberapa node, pengindeks menyediakan keamanan dan kinerja yang ditingkatkan, sementara penyedia RPC mungkin mengalami gangguan dan downtime karena fitur sentralisasi.

Secara keseluruhan, dibandingkan dengan penyedia node RPC, indeksir meningkatkan efisiensi dan keandalan pengambilan data, sambil menurunkan biaya penyebaran node tunggal. Hal ini membuat protokol indeks blockchain menjadi pilihan utama pengembang dApp.

Kasus Penggunaan Penanda

Seperti yang disebutkan sebelumnya, membangun dApp memerlukan pengambilan dan pembacaan data blockchain untuk menjalankan layanannya. Ini termasuk segala jenis dApp, termasuk Keuangan Desentralisasi (DeFi), platform NFT, permainan, dan bahkan Web Sosial, karena platform-platform ini memerlukan pembacaan data terlebih dahulu untuk dapat melakukan transaksi lainnya.

DeFi

Protokol DeFi memerlukan informasi yang berbeda untuk memberikan harga, rasio, biaya, dll. Penyedia likuiditas otomatis (AMM) memerlukan informasi harga dan likuiditas dari beberapa kolam dana untuk menghitung suku bunga swap, sementara protokol pinjaman memerlukan tingkat penggunaan untuk menentukan suku bunga pinjaman dan rasio utang likuidasi. Penting untuk memasukkan informasi ke dApp mereka sebelum menghitung suku bunga yang akan dieksekusi oleh pengguna.

Permainan

GameFi memerlukan akses dan indeks data yang cepat untuk memastikan pengguna dapat memainkan game dengan lancar. Hanya melalui pengambilan dan eksekusi data yang cepat, game Web3 dapat menyaingi kinerja game Web2, sehingga menarik lebih banyak pengguna. Game-game ini memerlukan data seperti kepemilikan tanah, saldo token dalam game, dan operasi dalam game. Dengan menggunakan pengindeks, mereka dapat lebih baik memastikan aliran data yang stabil dan waktu operasional yang stabil, untuk menjamin pengalaman bermain game yang sempurna.

NFT

Pasar NFT dan platform pinjaman memerlukan akses data indeks untuk berbagai informasi, seperti metadata NFT, data kepemilikan dan transfer, informasi royalti, dll. Mengindeks data seperti ini dengan cepat dapat menghindari penelusuran setiap NFT secara individual untuk mencari informasi kepemilikan atau atribut NFT.

Baik itu AMM DeFi yang memerlukan informasi harga dan likuiditas, maupun aplikasi SocialFi yang perlu memperbarui posting pengguna baru, kemampuan untuk dengan cepat mengakses data sangat penting untuk operasi normal dApp. Dengan menggunakan indexer, mereka dapat mengakses data dengan efisien dan akurat, sehingga memberikan pengalaman pengguna yang lancar.

Analisis

Indexer menyediakan metode untuk mengekstrak data tertentu dari data blockchain mentah (termasuk setiap acara smart contract di setiap blok). Ini memberikan kesempatan untuk analisis data yang lebih spesifik dan memberikan wawasan yang komprehensif.

Misalnya, protokol perdagangan berkelanjutan dapat mengidentifikasi volume perdagangan token yang besar, token mana yang menghasilkan biaya, dan dengan demikian memutuskan apakah akan mencantumkan token-token ini sebagai kontrak berkelanjutan di platform mereka. Pengembang DEX dapat membuat dashboard untuk produk mereka sendiri, untuk memahami dengan lebih mendalam pengembalian investasi dan likuiditas dari setiap pool dana. Mereka juga dapat membuat dashboard publik yang memungkinkan pengembang bebas mencari dan menampilkan data apa pun yang mereka inginkan di grafik.

Karena ada beberapa pengindeks blockchain yang tersedia, mengidentifikasi perbedaan antara protokol pengindeks sangat penting untuk memastikan pengembang memilih pengindeks yang paling sesuai dengan kebutuhan mereka.

Gambaran Umum Penjelajah Blockchain

Overview of Indexers

Grafik

The Graph adalah protokol indexer pertama yang diluncurkan di Ethereum yang memungkinkan query data transaksi yang sebelumnya sulit diakses. Ini menggunakan subgraph untuk mendefinisikan dan menyaring subset data yang dikumpulkan dari blockchain, seperti semua transaksi yang terkait dengan pool Uniswap v3 USDC/ETH.

Menggunakan bukti indeks, pengeindeks mempertaruhkan token asli GRT untuk layanan indeks dan kueri, para pemegang delegasi dapat memilih untuk mempertaruhkan token mereka di sini. Kurator dapat mengakses subgraf berkualitas tinggi untuk membantu pengeindeks menentukan data mana yang harus diindeks untuk mendapatkan biaya kueri terbaik. Dalam proses transisi menuju desentralisasi yang lebih besar, The Graph akhirnya akan menghentikan layanan hostingnya dan meminta subgraf untuk upgrade ke jaringannya sambil menyediakan pengeindeks yang ditingkatkan.

Infrastrukturnya membuat biaya rata-rata per juta permintaan mencapai 40 dolar AS, jauh lebih rendah dari biaya node self-hosted. Dengan menggunakan sumber data file, ia juga mendukung indeks simultan untuk data on-chain dan off-chain untuk pencarian data yang efisien.

Lihatlah hadiah indexer The Graph, yang telah meningkat secara stabil selama beberapa kuartal terakhir. Ini sebagian disebabkan oleh peningkatan jumlah permintaan, tetapi juga disebabkan oleh peningkatan harga token karena mereka berencana untuk mengintegrasikan pertanyaan berbantuan kecerdasan buatan di masa depan.

Subsquid

Subsquid adalah danau data desentralisasi yang dapat diskalakan secara horizontal, yang efisien menggabungkan sejumlah besar data on-chain dan off-chain, dan dilindungi dengan bukti zero-knowledge. Sebagai jaringan pekerja desentralisasi, setiap node bertanggung jawab untuk menyimpan data dari subset blok tertentu, dan mempercepat proses pengambilan data dengan mengidentifikasi dengan cepat node yang menyimpan data yang diperlukan.

Subsquid juga mendukung indeks real-time yang memungkinkan indeks sebelum blok dikonfirmasi secara final. Ini juga mendukung penyimpanan data dalam format yang dipilih oleh pengembang, memudahkan analisis dengan menggunakan alat seperti BigQuery, Parquet, atau CSV. Selain itu, subgraph dapat dideploy di jaringan Subsquid tanpa perlu bermigrasi ke SDK Squid, sehingga mewujudkan deployment tanpa kode.

Meskipun masih dalam tahap Testnet, Subsquid telah mencatatkan data statistik yang mengesankan, dengan lebih dari 80.000 pengguna Testnet, lebih dari 60.000 indeks Squid yang dideploy, dan lebih dari 20.000 pengembang yang terverifikasi di jaringan. Baru-baru ini, pada tanggal 3 Juni, Subsquid meluncurkan Mainnet dari data lake-nya.

Selain indeks, Subsquid Network Data Lake juga dapat menggantikan RPC dalam kasus penggunaan analisis, coprosesor ZK/TEE, agen AI, dan Oracle.

SubQuery

SubQuery adalah jaringan infrastruktur middleware terdesentralisasi yang menyediakan layanan data RPC dan indeks. Awalnya mendukung jaringan Polkadot dan Substrate, sekarang telah diperluas menjadi lebih dari 200 rantai. Prinsip kerjanya mirip dengan The Graph yang menggunakan bukti indeks, di mana indeksir akan mengindeks data dan menyediakan permintaan kueri, sementara pemegang saham akan melakukan staking kepada indeksir. Namun, SubQuery memperkenalkan konsumen untuk mengajukan pesanan pembelian sebagai jaminan pendapatan bagi indeksir, bukan pengelola.

Ini akan memperkenalkan node data SubQuery yang mendukung sharding untuk mencegah sinkronisasi data baru yang berkelanjutan antara setiap node, yang pada gilirannya meningkatkan efisiensi query dan menuju ke desentralisasi yang lebih besar. Pengguna dapat memilih untuk membayar biaya komputasi sekitar 1 token SQT per 1000 permintaan atau mengatur biaya khusus untuk pengindeks melalui protokol.

Meskipun SubQuery baru meluncurkan token mereka awal tahun ini, namun imbalan penerbitan untuk node dan staker juga meningkat nilainya dalam USD, yang menunjukkan peningkatan dalam jumlah layanan kueri yang disediakan oleh platform mereka. Sejak TGE, total SQT yang dipertaruhkan telah meningkat dari 6 juta menjadi 125 juta, menyoroti peningkatan partisipasi jaringan mereka.

Covalent

Covalent adalah jaringan indeksor desentralisasi yang dibuat oleh node jaringan produsen sampel blok (BSP) dengan cara mengekspor data blockchain dalam jumlah besar dan mempublikasikan bukti di blockchain Covalent L1. Data ini kemudian diolah oleh node produsen hasil blok (BRP) sesuai dengan aturan yang ditetapkan untuk menyaring data yang memenuhi persyaratan.

Melalui API yang terstandarisasi, pengembang dapat dengan mudah mengekstrak data blockchain terkait dengan format permintaan dan respons yang konsisten, tanpa perlu menulis kueri kustom yang rumit untuk mengakses data. CQT Token yang dapat ditukarkan di Moonbeam dapat digunakan sebagai alat pembayaran untuk mengekstrak kumpulan data yang telah dipersiapkan dari penyedia jaringan.

Penghargaan Covalent tampaknya mengalami peningkatan secara keseluruhan dari kuartal pertama tahun 23 hingga kuartal pertama tahun 24, sebagian karena harga token Covalent (CQT) naik.

Perhatian dalam Memilih Penunjuk

Kustomisabilitas Data

Beberapa pengindeks (seperti Covalent) adalah pengindeks generik yang hanya menyediakan kumpulan data pratekonfigurasi standar melalui API. Meskipun mungkin cepat, mereka tidak dapat memberikan fleksibilitas bagi pengembang yang memerlukan kumpulan data kustom. Dengan menggunakan kerangka pengindeks, itu memungkinkan untuk melakukan lebih banyak pemrosesan data kustom untuk memenuhi kebutuhan khusus aplikasi.

Keamanan

Data indeks harus aman, jika tidak, dApp yang dibangun berdasarkan indeks ini juga rentan terhadap serangan. Misalnya, jika transaksi dan saldo dompet dapat dimanipulasi, maka dApp dapat kehilangan likuiditas, yang pada akhirnya akan memengaruhi penggunaannya. Meskipun semua indeks telah menggunakan token staking untuk mengadopsi keamanan dalam bentuk tertentu, namun solusi indeks lain mungkin menggunakan bukti untuk meningkatkan keamanan lebih lanjut.

Subsquid menyediakan opsi menggunakan optimisme dan bukti zero-knowledge, sementara Covalent juga merilis bukti yang mencakup nilai hash blok. Graph menawarkan periode tantangan kontroversi dengan jendela tantangan optimisme untuk pertanyaan pengindeks, sementara SubQuery menghasilkan bukti Merkle Mountain untuk setiap blok untuk menghitung nilai hash setiap blok dari semua data yang disimpan dalam basis data mereka.

Kecepatan dan Skalabilitas

Dengan pertumbuhan yang terus meningkatnya Blockchain, volume transaksi juga meningkat, hal ini membuat pengindeksan data yang besar menjadi lebih sulit karena memerlukan lebih banyak kemampuan pemrosesan dan ruang penyimpanan. Dengan pertumbuhan jaringan Blockchain, mempertahankan efisiensi menjadi semakin sulit, tetapi protokol pengindeksan memperkenalkan solusi untuk memenuhi kebutuhan yang semakin meningkat ini.

Misalnya, Subsquid memperluas dengan menambahkan lebih banyak Node untuk menyimpan data, sehingga dapat diperluas secara horizontal dengan perbaikan hardware. Graph menyediakan aliran data paralel untuk sinkronisasi data lebih cepat, sedangkan SubQuery memperkenalkan Sharding Node untuk mempercepat proses sinkronisasi.

Jaringan yang Didukung

Meskipun sebagian besar kegiatan blockchain masih dilakukan di Ethereum, namun seiring berjalannya waktu, berbagai blockchain yang berbeda semakin populer. Misalnya, Layer 2s, Solana, blockchain Move, dan rantai ekosistem Bitcoin masing-masing memiliki sekelompok pengembang dan kegiatan yang terus berkembang, yang juga memerlukan layanan indeks.

Dukungan untuk beberapa rantai yang tidak didukung oleh protokol pengindeks lain dapat memperoleh lebih banyak pangsa pasar biaya. Mengindeks jaringan data yang padat (seperti Solana) bukanlah tugas yang mudah, dan hingga saat ini, hanya Subsquid yang berhasil memberikan dukungan indeks untuk mereka.

Kesimpulan

Meskipun pengindeks telah banyak digunakan dalam pengembangan dApp, namun potensi pengindeks masih sangat besar, terutama dalam integrasi AI. Dengan semakin luasnya penggunaan AI di Web2 dan Web3, kemampuan perbaikannya bergantung pada akses ke data terkait untuk melatih model dan mengembangkan agen AI. Memastikan integritas data sangat penting bagi aplikasi AI, karena hal itu dapat mencegah model menerima informasi yang bias atau tidak akurat.

Dalam bidang solusi pengindeks, Subsquid telah membuat kemajuan signifikan dalam hal performa dan indikator pengguna. Pengguna telah mulai mencoba menggunakan Subsquid untuk membangun agen AI, yang menunjukkan fleksibilitas dan potensi platform ini dalam bidang pengindeksan data yang terus berkembang. Selain itu, alat seperti AutoAgora membantu pengindeks menggunakan AI untuk memberikan harga dinamis pada layanan kueri di The Graph, sementara SubQuery mendukung beberapa jaringan AI (seperti OriginTrail dan Oraichain) untuk mencapai pengindeksan data yang transparan.

Integrasi kecerdasan buatan dan indexer diharapkan dapat meningkatkan aksesibilitas dan keterjangkauan data dalam ekosistem blockchain. Dengan memanfaatkan teknologi kecerdasan buatan, indexer dapat menyediakan pencarian data yang lebih efisien dan akurat, sehingga pengembang dapat membangun dApp dan alat analisis yang lebih kompleks. Saat kecerdasan buatan dan indexer terus berkembang bersama, kami tetap optimis tentang masa depan indeks data dan perannya dalam membentuk pola digital yang terdesentralisasi.