"Битва ста моделей" в сфері AI: від академічних проблем до інженерних задач
Минулого місяця в галузі штучного інтелекту спалахнула "війна тварин".
Одна сторона - це модель Llama, випущена Meta, яка завдяки своїй відкритій природі користується великою популярністю серед спільноти розробників. Інша сторона - це велика модель під назвою Falcon. У травні з'явилася Falcon-40B, яка перевершила Llama і зайняла перше місце в рейтингу відкритих LLM.
Цей рейтинг створено спільнотою відкритих моделей і пропонує набір стандартів для оцінки можливостей LLM та їх ранжування. Рейтинг в основному представляє собою чергування Llama та Falcon на верхніх позиціях. Після виходу Llama 2, родина Llama здобула одну перемогу; на початку вересня Falcon випустив версію 180B і знову досяг вищого рангу.
Цікаво, що розробником Falcon є Інститут наукових досліджень та інновацій в Абу-Дабі, столиці Об'єднаних Арабських Еміратів. Офіційні особи ОАЕ заявили, що вони беруть участь у цій сфері, щоб підривати основних гравців.
Сьогодні сфера ШІ вступила в етап "хороводу демонів": країни та компанії з фінансовими ресурсами створюють свої власні великі мовні моделі. Лише в колі країн Перської затоки є не один гравець. У серпні Саудівська Аравія щойно придбала понад 3000 чіпів H100 для навчання LLM для національних університетів.
Ситуація в індустрії ШІ, що характеризується різноманітністю, зобов'язана публікації Google у 2017 році статті "Увага — це все, що вам потрібно". У цій статті було представлено алгоритм Transformer, який став ключовим двигуном цього етапу буму ШІ. На даний момент усі великі моделі, включаючи шокуючу світову серію GPT, базуються на основі Transformer.
Поява Transformer значно сповільнила темпи інновацій у базових алгоритмах в академічному середовищі. Такі інженерні елементи, як обробка даних, масштаб обчислень та архітектура моделей, все більше стають важливими факторами в змаганнях з ШІ. Будь-яка технологічна компанія з певними технічними можливостями може розробити великі моделі.
Однак, легкий вхід не означає, що кожен може стати гігантом ери ШІ. Основна конкурентоспроможність відкритих великих моделей полягає в активному співтоваристві розробників. Серія Llama від Meta стала орієнтиром для відкритих LLM, багато моделей розроблено на її основі.
Водночас, різниця в продуктивності все ще очевидна. У останньому тестуванні AgentBench GPT-4 з відривом набрав 4,41 бала, тоді як інші відкриті LLM показали результати близько 1 бала. Ця різниця виникає з досвіду команди провідних вчених та накопичених знань за тривалі дослідження.
Окрім технологічних викликів, прибуток також є великою проблемою. На даний момент більшість компаній у сфері штучного інтелекту стикаються з серйозним дисбалансом між витратами та доходами. За оцінками, світові технологічні компанії щороку витрачатимуть 200 мільярдів доларів на інфраструктуру великих моделей, тоді як очікувані доходи становитимуть лише 75 мільярдів доларів, що створює величезний розрив.
В цілому, сфера ШІ переживає перехід від академічних проблем до інженерних завдань. Попри зниження бар'єрів для входу, справжнє створення цінності та комерційний успіх все ще стикаються з численними викликами. У майбутньому переможці, ймовірно, не лише покладатимуться на саму модель, але й зможуть досягти прориву в прикладних сценаріях, екологічній побудові та бізнес-моделях.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Індустрія ШІ вступає в битву сотні моделей, технічний бар'єр падає, але комерційні виклики залишаються.
"Битва ста моделей" в сфері AI: від академічних проблем до інженерних задач
Минулого місяця в галузі штучного інтелекту спалахнула "війна тварин".
Одна сторона - це модель Llama, випущена Meta, яка завдяки своїй відкритій природі користується великою популярністю серед спільноти розробників. Інша сторона - це велика модель під назвою Falcon. У травні з'явилася Falcon-40B, яка перевершила Llama і зайняла перше місце в рейтингу відкритих LLM.
Цей рейтинг створено спільнотою відкритих моделей і пропонує набір стандартів для оцінки можливостей LLM та їх ранжування. Рейтинг в основному представляє собою чергування Llama та Falcon на верхніх позиціях. Після виходу Llama 2, родина Llama здобула одну перемогу; на початку вересня Falcon випустив версію 180B і знову досяг вищого рангу.
Цікаво, що розробником Falcon є Інститут наукових досліджень та інновацій в Абу-Дабі, столиці Об'єднаних Арабських Еміратів. Офіційні особи ОАЕ заявили, що вони беруть участь у цій сфері, щоб підривати основних гравців.
Сьогодні сфера ШІ вступила в етап "хороводу демонів": країни та компанії з фінансовими ресурсами створюють свої власні великі мовні моделі. Лише в колі країн Перської затоки є не один гравець. У серпні Саудівська Аравія щойно придбала понад 3000 чіпів H100 для навчання LLM для національних університетів.
Ситуація в індустрії ШІ, що характеризується різноманітністю, зобов'язана публікації Google у 2017 році статті "Увага — це все, що вам потрібно". У цій статті було представлено алгоритм Transformer, який став ключовим двигуном цього етапу буму ШІ. На даний момент усі великі моделі, включаючи шокуючу світову серію GPT, базуються на основі Transformer.
Поява Transformer значно сповільнила темпи інновацій у базових алгоритмах в академічному середовищі. Такі інженерні елементи, як обробка даних, масштаб обчислень та архітектура моделей, все більше стають важливими факторами в змаганнях з ШІ. Будь-яка технологічна компанія з певними технічними можливостями може розробити великі моделі.
Однак, легкий вхід не означає, що кожен може стати гігантом ери ШІ. Основна конкурентоспроможність відкритих великих моделей полягає в активному співтоваристві розробників. Серія Llama від Meta стала орієнтиром для відкритих LLM, багато моделей розроблено на її основі.
Водночас, різниця в продуктивності все ще очевидна. У останньому тестуванні AgentBench GPT-4 з відривом набрав 4,41 бала, тоді як інші відкриті LLM показали результати близько 1 бала. Ця різниця виникає з досвіду команди провідних вчених та накопичених знань за тривалі дослідження.
Окрім технологічних викликів, прибуток також є великою проблемою. На даний момент більшість компаній у сфері штучного інтелекту стикаються з серйозним дисбалансом між витратами та доходами. За оцінками, світові технологічні компанії щороку витрачатимуть 200 мільярдів доларів на інфраструктуру великих моделей, тоді як очікувані доходи становитимуть лише 75 мільярдів доларів, що створює величезний розрив.
В цілому, сфера ШІ переживає перехід від академічних проблем до інженерних завдань. Попри зниження бар'єрів для входу, справжнє створення цінності та комерційний успіх все ще стикаються з численними викликами. У майбутньому переможці, ймовірно, не лише покладатимуться на саму модель, але й зможуть досягти прориву в прикладних сценаріях, екологічній побудові та бізнес-моделях.