Amazon кидає виклик Nvidia з новим інструментом розробки TorchNeuron
Amazon Web Services (AWS) випустила інструмент TorchNeuron, який дозволяє стартапам у сфері штучного інтелекту (ШІ) легко переносити свої ШІ-додатки на власний чип AWS для навчання моделей — Trainium. Цим кроком Amazon фактично кидає виклик програмній перевазі Nvidia, яка допомогла їй стати основним постачальником апаратного забезпечення для ШІ.
TorchNeuron працює з PyTorch — безкоштовним інструментарієм з відкритим кодом, який розробники використовують для створення, навчання та запуску моделей ШІ. За словами Amazon, він дозволяє запускати ШІ-додатки, написані на PyTorch, на чипі Trainium, змінюючи лише один рядок конфігурації, без необхідності переписувати код.
Amazon стверджує, що близько 85% ШІ-додатків написано з використанням PyTorch. Спочатку його розробила Facebook, але з 2022 року він є частиною Linux Foundation, яка підтримує проєкти з відкритим кодом. Nvidia роками забезпечувала бездоганну підтримку свого програмного забезпечення CUDA — програмної інфраструктури, яка дозволяє додаткам працювати на графічних процесорах Nvidia та іншому її обладнанні — для ШІ-додатків, написаних на PyTorch. Як наслідок, обладнання Nvidia глибоко інтегроване в цей інструментарій, фактично ставши стандартом за замовчуванням.
TorchNeuron є адаптацією PyTorch, тому розробники, знайомі з PyTorch, одразу розумітимуть, як ним користуватися. Amazon — не перша компанія, яка намагається спростити перенесення своїх чипів на платформу. Користувачі PyTorch також можуть портувати свої додатки на GPU AMD або навіть на чипи Apple за допомогою простої зміни конфігурації.
Однак Amazon стверджує, що перенесення на Trainium не тільки легке, але й надає стартапам доступ до всієї хмарної інфраструктури Amazon. Не дивно, що AWS вважає це кращим вибором для стартапів, ніж використання “нео-хмар”, багато з яких пов’язані з Nvidia та її обладнанням, як-от CoreWeave, Nebius і Firmus.
“Ви створюєте рішення на AWS. Ви не робите ставку на постачальника обчислювальних потужностей, призначених для однієї мети, і не метушитеся, створюючи все інше навколо нього”, — заявив Колін Брейс, віцепрезидент з технологічного програмного забезпечення в AWS Annapurna Labs (підрозділ, що займається розробкою власних чипів Amazon), у коментарі TechCrunch. “На AWS, — продовжив він, — інфраструктура для переходу від прототипу до продакшену вже готова, що дозволяє засновнику швидко розвиватися та масштабуватися, коли це необхідно”.
AWS стверджує, що оскільки один і той же чип обробляє як навчання (процес навчання моделі ШІ), так і висновки (використання готової моделі, наприклад, при відповіді на запитання користувача), і він тісно інтегрований з хмарною інфраструктурою, необхідною стартапам, їхня хмара заощадить їм гроші, навіть якщо AWS не пропонує найнижчу ціну за токен.
“Цінність Trainium полягає у співвідношенні ціни та продуктивності, а також у тому, що це єдина платформа для навчання та висновків, що покращує економіку всього робочого навантаження”, — сказав Брейс. “Погляньте на Deepgram — вони перейшли на Trainium, використовуючи нативну підтримку PyTorch, і обробляють на 70% більше аудіо за долар при продакшн-класу точності”. Deepgram — це постачальник голосових ШІ-додатків, конкурент ElevenLabs.
Але Amazon не зупиняється на тому, щоб просто надати розробникам додатків на PyTorch простий варіант переходу до своєї хмари.
Amazon також заявила, що працює над тим, щоб PyTorch став менш автоматично орієнтованим на Nvidia, і внесе відповідний код до основного проєкту PyTorch. У дописі в блозі, що анонсує новий інструмент, компанія написала:
Підхід Amazon виходить за межі власного обладнання. Компанія вносить зміни безпосередньо до PyTorch, співпрацюючи зі спільнотою PyTorch над видаленням коду, який прив’язує фреймворк до конкретних чипів. Мета — зробити PyTorch більш незалежним від апаратного забезпечення для всієї спільноти розробників, а не тільки для користувачів Trainium.
Хоча така тактика, безсумнівно, вигідна тим, хто продає обладнання та хмарні послуги, що конкурують з Nvidia, одним із завдань PyTorch є приховування всіх складних аспектів запуску ШІ-коду на обладнанні. Нам доведеться почекати й побачити, чи надасть витіснення Nvidia розробникам більше вибору та доступніших варіантів, як обіцяє Amazon, чи лише більше головного болю з конфігурацією.
У будь-якому разі, якщо Amazon вдасться глибоко від’єднати PyTorch від Nvidia, це може мати значно більші наслідки для гігантської компанії GPU, ніж просто боротьба з конкурентами в галузі чипів. Як сказав Брейс: “Справжня історія полягає в усуненні прив’язки, яка позбавляла розробників справжнього вибору”.
За матеріалами: techcrunch.com