Штучний інтелект x Криптовалюта: від нуля до верху

Вступ

Розвиток галузі штучного інтелекту в останній час розглядається деякими як четверта промислова революція. Поява великих моделей значно підвищила ефективність у різних сферах, за оцінками, підвищивши приблизно на 20% робочу ефективність у США. Водночас, загальна здатність, яку принесла велика модель, вважається новою парадигмою проектування програмного забезпечення, порівняно з точним проектуванням коду в минулому, тепер проектування програмного забезпечення більше зосереджене на вбудовуванні рамок загальних великих моделей у програмне забезпечення, яке може демонструвати кращу продуктивність і підтримувати більш широкий спектр вхідних і вихідних модальностей. Технології глибокого навчання дійсно принесли нову хвилю процвітання в галузі ШІ, і ця хвиля також поширилася на галузь криптовалют.

Цей звіт детально розгляне історію розвитку галузі ШІ, класифікацію технологій, а також вплив технології глибокого навчання на галузь. Потім буде проведено глибокий аналіз стану та тенденцій розвитку вгору і вниз по ланцюгу вартості в глибокому навчанні, включаючи GPU, хмарні обчислення, джерела даних, крайові пристрої тощо. Нарешті, з'essence' буде досліджено зв'язок між криптовалютою та галуззю ШІ, структуровано ланцюг вартості ШІ, пов'язаний з криптовалютою.

Історія розвитку AI-індустрії

Індустрія штучного інтелекту почала свій шлях у 1950-х роках. Для досягнення бачення штучного інтелекту академічні та промислові кола в різні епохи та з різних наукових фонів розробили безліч течій, що реалізують штучний інтелект.

Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання", ідея якого полягає в тому, щоб дати можливість машинам покращувати продуктивність системи, спираючись на дані та повторюючи завдання. Основні етапи полягають у подачі даних до алгоритму, використанні цих даних для навчання моделі, тестуванні та впровадженні моделі, а також у використанні моделі для виконання автоматизованих прогнозних завдань.

Наразі в машинному навчанні існує три основні напрямки: з'єднувальна теорія, символізм і біхевіоризм, які імітують людську нервову систему, мислення та поведінку.

Наразі нейронні мережі, які представляють коннекціонізм, домінують (, також відомий як глибоке навчання ). Основна причина полягає в тому, що ця архітектура має один вхідний шар, один вихідний шар, але кілька прихованих шарів. Як тільки кількість шарів і нейронів (, а також кількість параметрів ) достатньо велика, з'являється достатня можливість для моделювання складних загальних завдань. Завдяки введенню даних можна постійно коригувати параметри нейронів, і після кількох ітерацій даних нейрони досягнуть оптимального стану (, що також є витоком його "глибини" - достатня кількість шарів і нейронів.

Технологія глибокого навчання на основі нейронних мереж також пройшла через кілька технічних ітерацій та еволюцій: від ранніх нейронних мереж до мереж прямого проходження, RNN, CNN, GAN, і врешті-решт еволюціонувала до сучасних великих моделей, таких як GPT, що використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, яка додала перетворювач для кодування всіх модальностей ), таких як аудіо, відео, зображення тощо (, в відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, що дозволяє нейронній мережі моделювати будь-який тип даних, реалізуючи багатомодальність.

! [Newcomer Science Popular丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(

Розвиток штучного інтелекту пройшов три хвилі технологій:

Перша хвиля відбулася в 60-ті роки XX століття, через десять років після висунення технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішили проблеми загальної обробки природної мови та взаємодії людини з комп'ютером. У той же час з'явилися експертні системи, які є системами з дуже глибокими знаннями в хімії, які роблять висновки на основі запитань, щоб генерувати відповіді, подібні до тих, що дає хімічний експерт.

Друга хвиля технологій ШІ відбулася в 1997 році, коли IBM Deep Blue перемогла чемпіона світу з шахів Гаррі Каспарова з рахунком 3.5:2.5. Ця перемога вважається віхою в розвитку штучного інтелекту.

Третя хвиля технологій штучного інтелекту відбулася у 2006 році. Три гуру глибокого навчання запропонували концепцію глибокого навчання, алгоритму, що використовує штучні нейронні мережі для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці алгоритми спільно сформували третю технологічну хвилю, а також були періодом розквіту коннекціонізму.

Багато знакових подій також супроводжувалися дослідженнями та еволюцією технологій глибокого навчання, зокрема:

• У 2011 році Уотсон від IBM переміг людей у телевізійній вікторині "Небезпечна межа".

• У 2014 році Goodfellow запропонував GAN, який навчається шляхом суперництва двох нейронних мереж і здатний генерувати фотореалістичні зображення.

• У 2015 році Хінтон та інші в журналі «Природа» запропонували алгоритми глибокого навчання, що відразу викликало величезний резонанс у науковому середовищі та промисловості.

• У 2015 році OpenAI було створено, отримавши інвестиції у 1 мільярд доларів.

• У 2016 році на основі технології глибокого навчання AlphaGo провела битву між людиною та машиною в го з Лі Сіцзєм, здобувши перемогу з рахунком 4:1.

• У 2017 році Google опублікував статтю «Увага - це все, що вам потрібно», в якій було запропоновано алгоритм Transformer, і розпочався розвиток великих мовних моделей.

• У 2018 році OpenAI випустила GPT, побудований на основі алгоритму Transformer, один з найбільших мовних моделей на той час.

• У 2019 році OpenAI випустила GPT-2 з 1,5 мільярда параметрів.

• У 2020 році OpenAI розробила GPT-3, яка має 175 мільярдів параметрів, що в 100 разів більше, ніж у GPT-2.

• У 2021 році OpenAI випустила GPT-4, який має 1,76 трильйона параметрів, що в 10 разів більше, ніж GPT-3.

• У січні 2023 року було запущено застосунок ChatGPT на основі моделі GPT-4, у березні він досягнув ста мільйонів користувачів, ставши найшвидшим у історії застосунком, який досягнув ста мільйонів користувачів.

![Новачок Коротка Інформація丨AI x Crypto：Від нуля до вершини])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Ланцюг промисловості глибокого навчання

Сучасні великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. На чолі з GPT великі моделі спричинили бум штучного інтелекту, в результаті чого на цей ринок увійшло багато гравців, а попит на дані та обчислювальні потужності різко зріс. Тому в цій частині звіту ми переважно досліджуємо індустріальний ланцюг алгоритмів глибокого навчання, з'ясовуючи, як складається їх верхній та нижній потоки в AI-індустрії, яка керується алгоритмами глибокого навчання, а також які реалії та відносини попиту та пропозиції, а також майбутній розвиток.

По-перше, необхідно чітко визначити, що при навчанні великих моделей, таких як GPT, основаних на технології Transformer, існує три етапи.

Перед тренуванням, оскільки базується на трансформері, перетворювач повинен перетворити текстовий ввід на числові значення, цей процес називається "Токенізація", після чого ці числові значення називаються токенами. Загалом, одне англійське слово або символ можна грубо вважати одним токеном, тоді як кожен китайський ієрогліф можна грубо вважати двома токенами. Це також є основною одиницею, яка використовується для оцінки GPT.

Перший крок, попереднє навчання. Шляхом надання входу достатньої кількості пар даних для пошуку оптимальних параметрів для кожного нейрона моделі, цей процес вимагає великої кількості даних, а також є найбільш витратним за обчислювальними ресурсами, оскільки потрібно багаторазово ітеративно випробовувати різні параметри нейронів. Після завершення навчання на одній партії даних зазвичай використовують ту ж саму партію даних для повторного навчання з метою ітерації параметрів.

Другий крок, доопрацювання. Доопрацювання – це процес навчання на невеликій, але дуже якісній вибірці даних, такі зміни підвищують якість виходу моделі, оскільки попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може підвищити якість моделі завдяки високоякісним даним.

Третій крок, підкріплене навчання. Спочатку буде створено абсолютно нову модель, яку називають "модель винагороди", мета якої дуже проста — впорядкувати результати виходу. Потім ця модель використовується для визначення, чи є вихід великої моделі високоякісним, так що можна використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ) Але іноді також необхідна людська участь для оцінки якості виходу моделі (.

Коротше кажучи, під час навчання великої моделі, попереднє навчання має дуже високі вимоги до обсягу даних, а необхідна потужність GPU є найвищою, тоді як доопрацювання вимагає більш якісних даних для покращення параметрів, а підкріплювальне навчання може повторно ітеративно налаштовувати параметри за допомогою моделі винагороди для отримання якісніших результатів.

Під час навчання чим більше параметрів, тим вищим є потенціал узагальнення. Отже, на ефективність великої моделі впливають три основні фактори: кількість параметрів, обсяг і якість даних, а також обчислювальна потужність. Ці три фактори спільно впливають на якість результатів великої моделі та її здатність до узагальнення.

Припустимо, що кількість параметрів дорівнює p, обсяг даних дорівнює n), а кількість токенів дорівнює (, тоді ми можемо за допомогою загального емпіричного правила розрахувати необхідну обчислювальну потужність, що дозволить оцінити необхідні покупки обчислювальної потужності та час навчання.

Обчислювальна потужність зазвичай вимірюється у Flops, що представляє одну операцію з плаваючою комою. Згідно з практичними досвідом, для попереднього навчання великої моделі потрібно приблизно 6np Flops, де 6 називається галузевою константою. А інференс )Inference — це процес, коли ми вводимо дані і чекаємо на вихід великої моделі (, поділяється на дві частини: введення n токенів, вихід n токенів, отже, в цілому потрібно приблизно 2np Flops.

На початку використовувалися процесори CPU для навчання та надання обчислювальних потужностей, але згодом почали поступово використовувати GPU, такі як чіпи Nvidia A100, H100 тощо. Оскільки CPU існує як універсальне обчислення, але GPU можуть використовуватися як спеціалізоване обчислення, їх ефективність споживання енергії значно перевищує CPU. GPU виконує обчислення з плаваючою комою в основному через модуль під назвою Tensor Core. Тому загальні чіпи мають дані Flops при точності FP16 / FP32, що представляє їх основну обчислювальну потужність і є одним з основних показників чіпа.

Ми можемо бачити, що для виконання цього величезного обсягу обчислень потрібно багато найсучасніших чіпів, щоб разом здійснити одне попереднє навчання, а параметрів GPT-4 у десять разів більше, ніж у GPT-3, що означає, що навіть при незмінному обсязі даних кількість чіпів потрібно купити в десять разів більше, і кількість токенів GPT-4 становить 13 трильйонів, що також в десять разів більше, ніж у GPT-3. В кінцевому рахунку, GPT-4 може вимагати понад 100 разів більше обчислювальної потужності чіпів.

У навчанні великих моделей зберігання даних також є проблемою, оскільки обсяг даних величезний, а пам'ять GPU зазвичай маленька, тому, коли пам'ять не може вмістити ці дані, потрібно врахувати пропускну здатність чіпа, тобто швидкість передачі даних з жорсткого диска в пам'ять. Оскільки ми не будемо використовувати лише один чіп, потрібно використовувати методи спільного навчання, щоб кілька чіпів GPU спільно тренували одну велику модель, що стосується швидкості передачі між чіпами GPU. Тому в багатьох випадках фактори або витрати, що обмежують остаточну практику навчання моделі, не завжди є обчислювальною потужністю чіпа, частіше це може бути пропускна здатність чіпа. Оскільки передача даних дуже повільна, це призводить до подовження часу виконання моделі, що підвищує витрати на електроенергію.

! [Newcomer Science丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(

Взаємозв'язок між криптовалютою та ШІ

Блокчейн виграв від розвитку ZK-технологій, перетворившись на ідею децентралізації + дезавуації довіри. Повертаючись до початку створення блокчейну, це була ланцюг біткоїнів. У статті Сатоші Накамото він вперше називається дезавуйованою системою передачі вартості. Пізніше було представлено децентралізовану, дезавуйовану платформу смарт-контрактів для обміну вартості.

Повертаючись до суті, ми вважаємо, що вся блокчейн-мережа є мережею вартості, кожна транзакція є перетворенням вартості на основі базового токена. Тут вартість проявляється у формі токена, а токеноміка - це конкретні правила, що відображають вартість токена.

У традиційному Інтернеті створення вартості здійснюється за допомогою P/E, має остаточну форму прояву, а саме - ціну акцій. Увесь потік, вартість та вплив формують грошові потоки підприємства, які є остаточним проявом вартості, що в кінцевому підсумку перетворюється на P/E та відображається в ціні акцій і ринковій капіталізації.

Але для мережі Ethereum ETH, як відображення багатогранної цінності мережі Ethereum, може не лише забезпечувати стабільний грошовий потік через стейкінг, але й виступати в ролі засобу обміну цінностями, засобу зберігання цінностей, товару для споживання мережевої активності тощо. Крім того, він також виконує функцію захисного шару Restaking, плати за газ в екосистемі Layer2 тощо.

Tokenomics є дуже важливим, оскільки економіка токенів може визначити розрахунковий актив екосистеми ), тобто відносну цінність рідного токена мережі (. Хоча ми не можемо визначити ціну для кожного виміру, проте ми маємо втілення багатовимірної цінності, і це є ціна токена. Ця цінність значно перевищує існування цінних паперів підприємств. Як тільки мережі надається токен і цей токен починає обертатися, подібно до того, як усі Q-біти Tencent мають обмежену кількість, механізми дефляції та інфляції.