Эволюция индексации данных Блокчейн: от узла до полного интеллектуального сервиса данных

1 Введение

С момента появления первых децентрализованных приложений (dApp) в 2017 году экосистема Блокчейн развила разнообразные финансовые, игровые и социальные dApp. Размышляя об этих приложениях на цепочке, задумывались ли мы когда-нибудь о происхождении различных данных, которые они используют?

В 2024 году искусственный интеллект и Web3 становятся центром внимания. В области ИИ данные являются источником жизни, необходимым для его роста и эволюции. Как растениям нужны солнечный свет и влага, так и системам ИИ требуются огромные объемы данных для постоянного обучения и размышления. Без поддержки данных даже самые изощренные алгоритмы ИИ не смогут проявить свой настоящий интеллект и эффективность.

В этой статье будет проведен глубокий анализ эволюции индексирования данных в Блокчейн с точки зрения доступности данных, а также сравнительный анализ традиционных протоколов индексирования данных и новых протоколов сервисов данных Блокчейн, с особым вниманием к сходствам и различиям новых протоколов, использующих технологии ИИ, в аспектах сервисов данных и архитектуры продуктов.

2 Сложность и простота индексирования данных: от узла Блокчейн до всей базы данных цепи

2.1 Источник данных: Узел Блокчейна

Блокчейн часто описывается как децентрализованный бухгалтерский регистр. Узлы блокчейна являются основой всей сети, ответственной за регистрацию, хранение и распространение всех данных о транзакциях в цепочке. Каждый узел имеет полную копию данных блокчейна, обеспечивая децентрализованные характеристики сети. Однако для обычного пользователя создание и поддержание узла — это непростая задача, требующая специализированных знаний, а также высоких затрат на оборудование и пропускную способность. Возможности запроса обычного узла также ограничены, что затрудняет удовлетворение потребностей разработчиков. Поэтому, хотя теоретически каждый может запустить узел, на практике пользователи в значительной степени полагаются на сторонние услуги.

Для решения этой проблемы появились поставщики RPC-узлов. Они берут на себя расходы и управление узлами, предоставляя данные через RPC-конечные точки, что позволяет пользователям получать доступ к данным блокчейна без необходимости создания собственных узлов. Публичные RPC-конечные точки бесплатны, но имеют ограничения по скорости, что может повлиять на опыт пользователей dApp. Частные RPC-конечные точки обеспечивают лучшую производительность, но имеют низкую эффективность при сложных запросах и трудности с масштабированием и совместимостью между сетями. Тем не менее, стандартизированные API-интерфейсы поставщиков узлов снижают барьеры для доступа пользователей к данным в блокчейне, закладывая основу для последующей интерпретации данных и приложений.

2.2 Анализ данных: от прототипных данных до полезных данных

Данные, предоставляемые узлами блокчейна, обычно проходят процесс шифрования и кодирования. Эти данные сохраняют целостность и безопасность блокчейна, но увеличивают сложность их анализа. Для обычных пользователей или разработчиков прямой обработка этих прототипных данных требует значительных технических знаний и вычислительных ресурсов.

Процесс анализа данных в этом контексте становится особенно важным. Преобразование сложных прототипных данных в понятный и удобный формат позволяет пользователям более интуитивно использовать эти данные. Успех или неудача анализа данных напрямую влияет на эффективность и результативность применения данных Блокчейн, что является ключевым этапом всего процесса индексации данных.

2.3 Эволюция индексатора данных

С увеличением объема данных Блокчейна растет потребность в индексаторах. Индексаторы играют ключевую роль в организации данных на цепочке и их отправке в базу данных для запроса. Их работа заключается в индексации данных Блокчейна и предоставлении их через язык запросов, подобный SQL, (, такой как GraphQL ). Предоставляя единый интерфейс для запросов, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию с использованием стандартизированного языка, что значительно упрощает процесс.

Различные типы индексаторов оптимизируют извлечение данных различными способами:

1. Полный узел индексатор: извлекает данные непосредственно из полного узла Блокчейн, гарантируя полную и точную информацию, но требует большого объема хранилища и вычислительных мощностей.
2. Легковесный индексатор: полагается на полные узлы для получения конкретных данных по запросу, что снижает требования к хранению, но может увеличить время запроса.
3. Специальный индексатор: оптимизация поиска для определенных типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
4. Аггрегатор индексов: извлечение данных из нескольких Блокчейн и источников, включая оффлайн информацию, предоставление единого интерфейса для запросов, подходит для многосетевых dApp.

В настоящее время требования к хранению архивных узлов Ethereum варьируются от 3 ТБ до 13,5 ТБ в зависимости от различных клиентов. С ростом блокчейна потребности в хранении будут продолжать расти. Перед лицом огромного объема данных основные протоколы индексирования не только поддерживают многосетевое индексирование, но и настраивают рамки анализа данных под различные потребности приложений.

Появление индексаторов значительно повысило эффективность индексации и запроса данных. В отличие от традиционных RPC-узлов, индексаторы могут эффективно индексировать большие объемы данных и поддерживать высокоскоростные запросы. Пользователи могут выполнять сложные запросы, легко фильтровать и анализировать данные. Некоторые индексаторы также поддерживают агрегацию источников данных из нескольких Блокчейн, избегая проблемы развертывания нескольких API для многосетевых dApp. Благодаря дистрибутивной работе индексаторы обеспечивают большую безопасность и производительность, уменьшая риски, связанные с централизованными поставщиками RPC.

В отличие от этого, индексатор с помощью предопределенного языка запросов позволяет пользователям получать необходимую информацию напрямую, не имея дело со сложными данными на нижнем уровне. Этот механизм значительно повышает эффективность и надежность извлечения данных, что является важным нововведением в доступе к данным Блокчейн.

2.4 Полная база данных Блокчейн: выравнивание по приоритету потока

Использование индексных узлов для запроса данных обычно рассматривается как единственный способ обработки цепочечных данных через API. Однако, когда проекты расширяются, часто требуется более гибкий источник данных, и стандартизированные API не могут удовлетворить эту потребность. С усложнением требований приложений начальные индексаторы данных и их стандартизированные форматы постепенно становятся недостаточными для удовлетворения разнообразных запросов, таких как поиск, межцепочечный доступ или отображение внецепочечных данных.

В современных архитектурах данных подход "приоритет потока" стал решением для преодоления ограничений традиционной пакетной обработки, обеспечивая实时摄取, обработку и анализ данных. Этот переход парадигмы позволяет организациям мгновенно реагировать на входящие данные, быстро получать инсайты и принимать решения. Аналогично, провайдеры услуг блокчейн-данных также развиваются в направлении создания потока данных, и основные сервисные провайдеры индексации выпустили продукты для实时区块链数据流.

Эти услуги направлены на удовлетворение потребности в实时解析Блокчейн交易 и предоставлении более широких возможностей для запросов. Как "приоритет потока" революционизировала традиционные методы обработки данных, эти поставщики услуг потоковых данных Блокчейн также надеются поддерживать развитие большего числа приложений и помогать в анализе данных на цепочке с помощью современных и зрелых источников данных.

Переопределяя вызовы данных на блокчейне с точки зрения современных дата-пайплайнов, мы можем взглянуть на потенциал управления, хранения и предоставления данных на блокчейне с новой стороны. Рассматривая индексатор как поток данных в дата-пайплайне, а не как конечный вывод, мы можем представить себе возможный мир, в котором можно настроить высокопроизводительные наборы данных для любого бизнес-кейса.

3 ИИ + База данных? Глубокое сравнение основных протоколов

3.1 Известный индексный протокол

Сеть реализует многосетевое индексирование данных и услуги поиска через децентрализованную сеть узлов, что облегчает разработчикам индексацию данных блокчейна и создание децентрализованных приложений. Основная модель продукта заключается в рынке выполнения запросов данных и рынке кэширования индексов данных, которые по сути обслуживают запросы пользователей на продукты.

Сеть состоит из четырех ключевых ролей: индексатор, куратор, делегат и разработчик, которые вместе обеспечивают поддержку данных для приложений web3. Обязанности каждой роли следующие:

• Индексатор: операторы узлов в сети, которые участвуют в сети через стекинг, предоставляя услуги индексирования и обработки запросов.
• Делегатор: пользователь, который ставит токены на узел-индексатор для поддержки его работы и зарабатывает часть вознаграждений через делегированный узел.
• Куратор: отвечает за то, какие подграфы сигналов должны индексироваться сетью, чтобы обеспечить приоритетную обработку ценных подграфов.
• Разработчики: как сторона, предъявляющая требования, являются основными пользователями сети. Они создают и отправляют подграфы в сеть, ожидая удовлетворения потребностей в данных.

В настоящее время эта сеть перешла к полноценному децентрализованному хостингу подграфов, при этом экономические стимулы между различными участниками обеспечивают функционирование системы.

Продукты этого протокола также быстро развиваются на волне ИИ. Одна из его ключевых команд разработчиков сосредоточена на использовании технологий ИИ для оптимизации индексного ценообразования и пользовательского опыта запросов, разрабатывая несколько инструментов для повышения производительности экосистемы, таких как механизм динамического ценообразования, оптимизатор распределения ресурсов и инструменты для запросов на естественном языке.

3.2 Некоторая полная цепочка данных сети

Это платформа для интеграции всех данных Блокчейн, упрощающая разработчикам создание и обслуживание приложений. К её уникальным функциям относятся:

• Реальный временной дата-озеро: предоставляет специализированное реальное временное дата-озеро для потоков данных Блокчейн, позволяя мгновенный доступ к данным.
• Двухцепочная архитектура: основанная на определенной технологии, создающая уровень исполнения, который параллельно формируется с алгоритмом консенсуса в двухцепочной архитектуре. Это усиливает программируемость и композируемость межцепочных данных, поддерживает высокую пропускную способность, низкую задержку и окончательность, а также повышает безопасность сети с помощью модели двойного залога.
• Инновационный стандарт формата данных: введение нового стандарта формата данных, оптимизирующего структурирование и использование данных в криптоиндустрии.
• Модель криптомира: сочетание технологий AI модели для создания AI модели, способной эффективно понимать, предсказывать блокчейн-транзакции и взаимодействовать с ними.

Эти функции выделяют сеть в протоколе индексирования Блокчейн, особенно акцентируя внимание на доступности данных в реальном времени, инновационных форматах данных и создании более умных моделей для повышения аналитики за счет сочетания данных на цепочке и вне ее.

Его ИИ-модель основана на модели, разработанной одной компанией, и сочетает данные на блокчейне и вне его, а также временные и пространственные действия, чтобы изучать и анализировать криптографические паттерны, делать выводы на основе причинно-следственного анализа, глубоко исследовать потенциальную ценность и закономерности данных на блокчейне, предоставляя пользователям более интеллектуальные данные услуги.

3.3 Некоторая проверяемая вычислительная платформа

Этот проект нацелен на создание проверяемого вычислительного слоя, расширяющего нулевые доказательства в децентрализованных хранилищах данных, обеспечивая надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.

В области индексации данных и верификации этот проект внедрил инновационную технологию нулевых доказательств, обеспечивая, что SQL-запросы, выполняемые на децентрализованном хранилище данных, являются защищенными от подделки и проверяемыми. Эта технология генерирует криптографические доказательства, подтверждающие целостность и точность результатов запросов. В отличие от традиционных сетей Блокчейн, которые полагаются на механизмы консенсуса, эта технология реализует более эффективный способ верификации данных: один Узел отвечает за получение данных, а другие Узлы проверяют подлинность данных с помощью технологии нулевых доказательств, что повышает общую производительность системы.

В то же время проект тесно сотрудничает с одной лабораторией ИИ, ускоряя разработку инструментов генеративного ИИ, чтобы упростить пользователям обработку данных блокчейна с помощью обработки естественного языка. Пользователи могут вводить запросы на естественном языке, ИИ автоматически преобразует их в SQL и выполняет запрос, представляя конечный результат.

Заключение и перспективы

Технология индексации данных Блокчейн прошла путь от изначального источника данных Узлов, через развитие анализа данных и индексаторов, в конечном итоге эволюционировав в полные услуги данных с поддержкой ИИ. Постоянная эволюция этих технологий не только повысила эффективность и точность доступа к данным, но и предоставила пользователям беспрецедентный интеллектуальный опыт.

Смотря в будущее, с продолжением развития таких новых технологий, как AI и нулевое доказательство, сервисы данных Блокчейн станут еще более интеллектуальными и безопасными. У нас есть основания полагать, что сервисы данных Блокчейн продолжат играть важную роль в качестве инфраструктуры, предоставляя мощную поддержку для прогресса и инноваций в отрасли.