Компанія Google DeepMind розробляє технологію на базі штучного інтелекту для створення саундтреків до відео.
Дослідницький підрозділ Google у сфері ШІ та інші організації вже створювали моделі для відео, але вони не здатні генерувати під них звукові ефекти. Для цих цілей DeepMind використовує технологію V2A (video-to-audio).
«Моделі для генерації відео розвиваються неймовірними темпами, але багато сучасних систем не створюють звукову доріжку. Одним із наступних важливих кроків на шляху до генерації фільмів є поява саундтреків до цих німих відеороликів», — йдеться в повідомленні DeepMind.
Технологія V2A від DeepMind використовує промпти в поєднанні з відео для створення музики, звукових ефектів і діалогів. Наприклад: «Пульсуюча під водою медуза, морське життя, океан». Дифузійна ШІ-модель, що лежить в основі V2A, навчена на базі звуків, розшифровок діалогів і відеокліпів.
Для створення звуку до відео використовувалися такі підказки: кінематограф, трилер, фільм жахів, музика, напруга, атмосфера, кроки по бетону.
DeepMind зазначає, що технологія поки що не ідеальна, а звук не можна назвати високоякісним і переконливим. Перед повноцінним запуском V2A потрібні доопрацювання і тестування.
Нагадаємо, у лютому OpenAI представила нову генеративну ШІ-модель Sora, яка дає змогу перетворювати текст на відео.
У червні вчені з Гарварду і DeepMind створили віртуального щура зі штучним інтелектом як мозком.
Раніше дочірня компанія Google представила генеративну ШІ-модель Genie для створення ігор.
Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *
Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.
Автономні електроенергетичні системи відіграють важливу роль у забезпеченні безперебійного постачання електроенергії…
До кінця липня в Telegram з’являться міні-магазин додатків і вбудований браузер із підтримкою…
Компанія OpenAI веде переговори з Broadcom та іншими розробниками мікросхем для створення нового…
Користувачі запустили десятки нових токенів, присвячених компанії CrowdStrike і «синьому екрану…
Спотові Ethereum-ETF забезпечать стабільний і значний приплив капіталу з плином часу. Про…
Тайлер і Кемерон Вінклвосси пожертвували по 8 BTC (~$500 000) кожен на виборчу…
Гонконзький віртуальний банк ZA Bank надасть послуги резервної установи для емітентів стейблкоїнів.…
У результаті чергового перерахунку складність майнінгу першої криптовалюти збільшилася на 3,21% — до 82,05 Т. Показник…