Індустрія штучного інтелекту останнім часом активно розвивається, сприймаючись як новий етап промислової революції. Поява великих моделей значно підвищила ефективність у різних галузях; компанія Boston Consulting вважає, що GPT підвищив робочу ефективність в США приблизно на 20%. Універсальність великих моделей вважається новою парадигмою програмного забезпечення, що дозволяє програмам демонструвати кращу продуктивність і підтримувати більш широкий спектр модальностей. Технології глибокого навчання принесли четвертий бум в індустрію ШІ, і ця хвиля також вплинула на криптовалютну індустрію.
Цей звіт детально розгляне розвиток індустрії ШІ, класифікацію технологій, а також вплив глибокого навчання на цю галузь. Глибокий аналіз ланцюга постачання в глибокому навчанні, зокрема GPU, хмарних обчислень, джерел даних, краєвих пристроїв тощо, а також їхнього сучасного стану та тенденцій. По суті, розгляне взаємозв'язок між криптовалютою та індустрією ШІ, а також структуру ланцюга постачання, пов'язаного з криптовалютою.
Індустрія штучного інтелекту почалася в 50-х роках XX століття. Для реалізації бачення штучного інтелекту академічне середовище та промисловість розвинули різні шляхи реалізації в умовах різних епох.
Сучасні технології штучного інтелекту в основному використовують метод "машинного навчання", щоб машини могли покращувати продуктивність системи через ітерацію даних. Основними етапами є введення даних в алгоритм, навчання моделі, тестування та впровадження, завершення автоматизованого прогнозування.
Машинне навчання має три основні напрямки: з'єднувальна теорія, символічна теорія та поведінкова теорія, які відповідно імітують нервову систему, мислення та поведінку людини.
На сьогоднішній день, нейронні мережі, які представляють зв'язковий підхід, займають домінуючу позицію (, також відомі як глибоке навчання ). Нейронні мережі мають вхідний шар, вихідний шар і кілька прихованих шарів. Коли кількість шарів і нейронів ( параметрів ) є достатньо великою, вони можуть моделювати складні загальні завдання. Постійно налаштовуючи параметри, врешті-решт досягається оптимальний стан, звідки й походить термін "глибоке".
Технології глибокого навчання пройшли численні ітерації розвитку, від ранніх нейронних мереж до мереж з прямим зв'язком, RNN, CNN, GAN, і, нарешті, до сучасних великих моделей, таких як GPT, які використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, вона додає модулі перетворення, які можуть кодувати мультимодальні дані у числові представлення, що потім вводяться в нейронну мережу для реалізації мультимодальної обробки.
Розвиток штучного інтелекту пройшов три технологічні хвилі:
У 60-х роках XX століття розвиток символістських технологій спричинив першу хвилю, яка вирішила проблеми загальної обробки природної мови та діалогу між людиною і комп'ютером. Одночасно з'явилися експертні системи.
У 1997 році IBM Deep Blue переміг чемпіона світу з шахів, що стало ознакою другого сплеску технологій ШІ.
У 2006 році було представлено концепцію глибокого навчання, що започаткувало третю технологічну хвилю. Алгоритми глибокого навчання постійно еволюціонують, від RNN, GAN до Transformer та Stable Diffusion, конекціонізм досягнув свого розквіту.
У третій хвилі виникло багато знакових подій:
У 2011 році IBM Watson переміг людину у вікторині "Небезпечна межа".
У 2014 році Goodfellow запропонував GAN
У 2015 році Хінтон та інші запропонували алгоритм глибокого навчання в журналі "Природа".
У 2016 році AlphaGo переміг Лі Сїшиця
У 2017 році Google опублікував статтю про алгоритм Transformer
У 2018 році OpenAI випустила GPT
У 2020 році OpenAI випустила GPT-3
У 2023 році ChatGPT запустився та швидко досягнув 100 мільйонів користувачів
Ланцюг промисловості глибокого навчання
Сучасні великі мовні моделі в основному використовують методи глибокого навчання на основі нейронних мереж. Моделі великого формату, такі як GPT, викликали нову хвилю AI-інтересу, ринок відчуває різкий зріст попиту на дані та обчислювальні потужності. У цьому розділі обговорюється склад і стан розвитку індустрії алгоритмів глибокого навчання.
Навчання великих моделей в основному ділиться на три етапи:
Попереднє тренування: введення великої кількості даних для пошуку найкращих параметрів вимагає найбільше обчислювальних потужностей.
Тонке налаштування: використання невеликої кількості високоякісних даних для навчання, покращення якості моделі.
Посилене навчання: створення моделі винагороди для оцінки якості виходу, автоматичне ітераційне налаштування параметрів.
На продуктивність великих моделей впливають три основні фактори: кількість параметрів, якість і обсяг даних, а також обчислювальна потужність. Можна використовувати емпіричні формули для оцінки необхідної обчислювальної кількості.
Обчислювальна потужність в основному використовує GPU-чіпи, такі як Nvidia A100, H100 тощо. GPU виконують плаваючі операції з точністю через модуль Tensor Core, а продуктивність чіпа в основному оцінюється за FLOPS при точності FP16/FP32.
Навчання великих моделей потребує величезних обсягів обчислень та сховища. Наприклад, для GPT-3 потрібно 175 мільярдів параметрів і 180 мільярдів токенів даних, а для одного етапу попереднього навчання - 584 дні. Параметри та обсяг даних GPT-4 зросли в 10 разів, що вимагає в 100 разів більше обчислювальної потужності.
Постачальники навчальних даних: пошукові системи, соціальні платформи тощо
Постачальник бази даних: векторна база даних
Периферійні пристрої: система охолодження, енергопостачання
Застосування: все ще на початковій стадії
Взаємозв'язок між криптовалютою та ШІ
Технологія блокчейн в поєднанні з ZK розвивається у децентралізовану + бездокументну концепцію. По суті, це мережа вартості, кожна транзакція базується на перетворенні вартості токенів.
Токеноміка може надати мережі багатовимірну цінність, що значно перевищує традиційні корпоративні цінні папери. Токени дозволяють надавати цінність будь-яким інноваціям та ідеям.
Для AI-індустрії токенна економіка може перетворити цінність кожного етапу в ланцюгу постачання, заохочуючи більше участі. Непідробний і децентралізований характер блокчейн-технології також може реалізувати деякі AI-додатки, які потребують довіри.
Отже, токеноміка сприяє відновленню та відкриттю цінності, децентралізований реєстр вирішує проблеми довіри, а цінність знову починає циркулювати у глобальному масштабі.
Огляд проекту Value Chain у криптоіндустрії
Сторона постачання GPU
Представлені проекти, такі як Render. Ринок обчислювальної потужності GPU в хмарі призначений не лише для навчання та інференсу моделей AI, а також може бути використаний для традиційних завдань рендерингу, зменшуючи ризик для окремого ринку.
Очікується, що у 2024 році попит на обчислювальну потужність GPU складе приблизно 75 мільярдів доларів США, а в 2032 році досягне 773 мільярдів доларів США, CAGR 33,86%.
З розвитком ітерацій GPU багато незайнятих GPU відіграватимуть довгострокову цінність у спільних мережах. Проте в GPU, що діляться на блокчейні, існує проблема пропускної здатності передачі даних.
Представлені проекти, такі як Meson Network. Але спільна пропускна здатність може бути псевдопотребою, географічне розташування призводить до затримок, що перевищують локальне зберігання.
Представлені проекти, такі як EpiK Protocol, Synesis One, Masa тощо. Перевага постачальників даних Web3 полягає у більш широких каналах збору даних. Проекти в напрямку ZK, такі як Masa, мають хороші перспективи.
ЗКМЛ
Використання технології гомоморфного шифрування для реалізації обчислень та навчання з приватністю. Прикладом проектів є Axiom, Risc Zero, Ritual тощо.
AI застосування
Основними є традиційні блокчейн-додатки + автоматизована універсальність. AI Agent стає важливим напрямком, представницький проект, такий як Fetch.AI.
Адаптивні мережі, створені для AI-моделей або агентів, такі як Tensor, Allora тощо. На основі токеноміки значно знижують витрати на інференцію.
Підсумок
Хоча технології глибокого навчання не є єдиним напрямком розвитку ШІ, вже є реальні сценарії застосування. Токеноміка може перетворити цінність ланцюга постачання ШІ, а технології блокчейн можуть вирішити проблему довіри.
Хоча платформи спільного використання GPU можуть використовувати вільну обчислювальну потужність для зниження витрат, проблеми з пропускною спроможністю обмежують їх використання лише для не термінового навчання малих моделей.
В цілому, поєднання AI та Crypto має практичну користь, може перебудувати систему цінностей, вирішити проблеми довіри та виявити залишкову вартість.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
15 лайків
Нагородити
15
5
Поділіться
Прокоментувати
0/400
ShadowStaker
· 2год тому
мех... ще один теоретичний аналіз без розгляду реальних вузьких місць MEV
Переглянути оригіналвідповісти на0
MoonMathMagic
· 07-24 20:32
криптосвіт знову говорить про AI~
Переглянути оригіналвідповісти на0
ContractSurrender
· 07-24 20:28
Не бути невдачами, ринок такий.
Переглянути оригіналвідповісти на0
LiquidatedAgain
· 07-24 20:23
Знову будете йти ва-банк з AI, так? Все ще вважаєте, що втрати малі?
Переглянути оригіналвідповісти на0
FundingMartyr
· 07-24 20:08
Технічний піонер, але обчислювальна потужність важко піддається опису!
Штучний інтелект та криптоактиви: переформатування системи цінностей та структури промислового ланцюга
AI x Crypto: від нуля до вершини
Вступ
Індустрія штучного інтелекту останнім часом активно розвивається, сприймаючись як новий етап промислової революції. Поява великих моделей значно підвищила ефективність у різних галузях; компанія Boston Consulting вважає, що GPT підвищив робочу ефективність в США приблизно на 20%. Універсальність великих моделей вважається новою парадигмою програмного забезпечення, що дозволяє програмам демонструвати кращу продуктивність і підтримувати більш широкий спектр модальностей. Технології глибокого навчання принесли четвертий бум в індустрію ШІ, і ця хвиля також вплинула на криптовалютну індустрію.
Цей звіт детально розгляне розвиток індустрії ШІ, класифікацію технологій, а також вплив глибокого навчання на цю галузь. Глибокий аналіз ланцюга постачання в глибокому навчанні, зокрема GPU, хмарних обчислень, джерел даних, краєвих пристроїв тощо, а також їхнього сучасного стану та тенденцій. По суті, розгляне взаємозв'язок між криптовалютою та індустрією ШІ, а також структуру ланцюга постачання, пов'язаного з криптовалютою.
! Newcomer Science丨AI x Crypto: від нуля до піку
Історія розвитку галузі штучного інтелекту
Індустрія штучного інтелекту почалася в 50-х роках XX століття. Для реалізації бачення штучного інтелекту академічне середовище та промисловість розвинули різні шляхи реалізації в умовах різних епох.
Сучасні технології штучного інтелекту в основному використовують метод "машинного навчання", щоб машини могли покращувати продуктивність системи через ітерацію даних. Основними етапами є введення даних в алгоритм, навчання моделі, тестування та впровадження, завершення автоматизованого прогнозування.
Машинне навчання має три основні напрямки: з'єднувальна теорія, символічна теорія та поведінкова теорія, які відповідно імітують нервову систему, мислення та поведінку людини.
На сьогоднішній день, нейронні мережі, які представляють зв'язковий підхід, займають домінуючу позицію (, також відомі як глибоке навчання ). Нейронні мережі мають вхідний шар, вихідний шар і кілька прихованих шарів. Коли кількість шарів і нейронів ( параметрів ) є достатньо великою, вони можуть моделювати складні загальні завдання. Постійно налаштовуючи параметри, врешті-решт досягається оптимальний стан, звідки й походить термін "глибоке".
Технології глибокого навчання пройшли численні ітерації розвитку, від ранніх нейронних мереж до мереж з прямим зв'язком, RNN, CNN, GAN, і, нарешті, до сучасних великих моделей, таких як GPT, які використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, вона додає модулі перетворення, які можуть кодувати мультимодальні дані у числові представлення, що потім вводяться в нейронну мережу для реалізації мультимодальної обробки.
Розвиток штучного інтелекту пройшов три технологічні хвилі:
У 60-х роках XX століття розвиток символістських технологій спричинив першу хвилю, яка вирішила проблеми загальної обробки природної мови та діалогу між людиною і комп'ютером. Одночасно з'явилися експертні системи.
У 1997 році IBM Deep Blue переміг чемпіона світу з шахів, що стало ознакою другого сплеску технологій ШІ.
У 2006 році було представлено концепцію глибокого навчання, що започаткувало третю технологічну хвилю. Алгоритми глибокого навчання постійно еволюціонують, від RNN, GAN до Transformer та Stable Diffusion, конекціонізм досягнув свого розквіту.
У третій хвилі виникло багато знакових подій:
Ланцюг промисловості глибокого навчання
Сучасні великі мовні моделі в основному використовують методи глибокого навчання на основі нейронних мереж. Моделі великого формату, такі як GPT, викликали нову хвилю AI-інтересу, ринок відчуває різкий зріст попиту на дані та обчислювальні потужності. У цьому розділі обговорюється склад і стан розвитку індустрії алгоритмів глибокого навчання.
Навчання великих моделей в основному ділиться на три етапи:
Попереднє тренування: введення великої кількості даних для пошуку найкращих параметрів вимагає найбільше обчислювальних потужностей.
Тонке налаштування: використання невеликої кількості високоякісних даних для навчання, покращення якості моделі.
Посилене навчання: створення моделі винагороди для оцінки якості виходу, автоматичне ітераційне налаштування параметрів.
На продуктивність великих моделей впливають три основні фактори: кількість параметрів, якість і обсяг даних, а також обчислювальна потужність. Можна використовувати емпіричні формули для оцінки необхідної обчислювальної кількості.
Обчислювальна потужність в основному використовує GPU-чіпи, такі як Nvidia A100, H100 тощо. GPU виконують плаваючі операції з точністю через модуль Tensor Core, а продуктивність чіпа в основному оцінюється за FLOPS при точності FP16/FP32.
Навчання великих моделей потребує величезних обсягів обчислень та сховища. Наприклад, для GPT-3 потрібно 175 мільярдів параметрів і 180 мільярдів токенів даних, а для одного етапу попереднього навчання - 584 дні. Параметри та обсяг даних GPT-4 зросли в 10 разів, що вимагає в 100 разів більше обчислювальної потужності.
! Newcomer Science丨AI x Crypto: від нуля до піку
Основні елементи виробничого ланцюга:
Взаємозв'язок між криптовалютою та ШІ
Технологія блокчейн в поєднанні з ZK розвивається у децентралізовану + бездокументну концепцію. По суті, це мережа вартості, кожна транзакція базується на перетворенні вартості токенів.
Токеноміка може надати мережі багатовимірну цінність, що значно перевищує традиційні корпоративні цінні папери. Токени дозволяють надавати цінність будь-яким інноваціям та ідеям.
Для AI-індустрії токенна економіка може перетворити цінність кожного етапу в ланцюгу постачання, заохочуючи більше участі. Непідробний і децентралізований характер блокчейн-технології також може реалізувати деякі AI-додатки, які потребують довіри.
Отже, токеноміка сприяє відновленню та відкриттю цінності, децентралізований реєстр вирішує проблеми довіри, а цінність знову починає циркулювати у глобальному масштабі.
Огляд проекту Value Chain у криптоіндустрії
Сторона постачання GPU
Представлені проекти, такі як Render. Ринок обчислювальної потужності GPU в хмарі призначений не лише для навчання та інференсу моделей AI, а також може бути використаний для традиційних завдань рендерингу, зменшуючи ризик для окремого ринку.
Очікується, що у 2024 році попит на обчислювальну потужність GPU складе приблизно 75 мільярдів доларів США, а в 2032 році досягне 773 мільярдів доларів США, CAGR 33,86%.
З розвитком ітерацій GPU багато незайнятих GPU відіграватимуть довгострокову цінність у спільних мережах. Проте в GPU, що діляться на блокчейні, існує проблема пропускної здатності передачі даних.
! Newcomer Science丨AI x Crypto: від нуля до піку
апаратна пропускна спроможність
Представлені проекти, такі як Meson Network. Але спільна пропускна здатність може бути псевдопотребою, географічне розташування призводить до затримок, що перевищують локальне зберігання.
! Newcomer Science丨AI x Crypto: від нуля до піку
дані
Представлені проекти, такі як EpiK Protocol, Synesis One, Masa тощо. Перевага постачальників даних Web3 полягає у більш широких каналах збору даних. Проекти в напрямку ZK, такі як Masa, мають хороші перспективи.
ЗКМЛ
Використання технології гомоморфного шифрування для реалізації обчислень та навчання з приватністю. Прикладом проектів є Axiom, Risc Zero, Ritual тощо.
AI застосування
Основними є традиційні блокчейн-додатки + автоматизована універсальність. AI Agent стає важливим напрямком, представницький проект, такий як Fetch.AI.
! Newcomer Science丨AI x Crypto: від нуля до піку
AI публічна блокчейн
Адаптивні мережі, створені для AI-моделей або агентів, такі як Tensor, Allora тощо. На основі токеноміки значно знижують витрати на інференцію.
Підсумок
Хоча технології глибокого навчання не є єдиним напрямком розвитку ШІ, вже є реальні сценарії застосування. Токеноміка може перетворити цінність ланцюга постачання ШІ, а технології блокчейн можуть вирішити проблему довіри.
Хоча платформи спільного використання GPU можуть використовувати вільну обчислювальну потужність для зниження витрат, проблеми з пропускною спроможністю обмежують їх використання лише для не термінового навчання малих моделей.
В цілому, поєднання AI та Crypto має практичну користь, може перебудувати систему цінностей, вирішити проблеми довіри та виявити залишкову вартість.
! Newcomer Science丨AI x Crypto: від нуля до піку