Google створила застосунок для офлайн-ШІ
Google анонсувала новий Android-додаток AI Edge Gallery, що дозволяє запускати великі мовні моделі на смартфонах без необхідності підключення до інтернету. Зокрема, моделі на кшталт Gemma 3n функціонують повністю офлайн, використовуючи лише обчислювальні ресурси самого пристрою.
«Google AI Edge Gallery — це експериментальний додаток, який надає можливість використовувати потужність сучасних моделей Generative AI безпосередньо у ваших руках, працюючи виключно [на локальних пристроях]», — зазначено в документації.
Додаток було опубліковано 31 травня на GitHub під ліцензією Apache 2.0, що дозволяє його налаштування під особисті потреби. На даний момент доступна лише версія для Android, але в найближчому майбутньому планується реліз для iOS.
Програма націлена переважно на розробників і має три ключові функції: AI Chat (чат), Ask Image (візуальний аналіз) та Prompt Lab (разові завдання, такі як переформулювання тексту).
Дані: GitHub
Користувачі мають можливість завантажувати моделі, наприклад, з Hugging Face, але наразі підтримуються лише формати на кшталт Gemma-3n-E2B або Qwen2.5-1.5B. Завантажені моделі представляють собою окремі файли, що містять усі «знання», отримані під час навчання. Найбільша модель Gemma 3 має розмір близько 4,4 ГБ, тоді як найменша становить 554 МБ.
Без підключення до інтернету та можливості передачі даних на сервери, контрольовані компаніями, така менш потужна система має певні переваги:
- додаток функціонує без доступу до мережі, не потребує підписок, кредитів чи лімітів — потрібні лише ресурси та заряд вашого смартфона;
- без затримок на зв’язок із сервером модель може надавати відповіді швидше;
- збереження всіх даних на локальному пристрої забезпечує більшу конфіденційність;
- локальні версії не повідомляють про спроби обійти обмеження, що дозволяє експериментувати з джейлбрейками.
Проте контекстне вікно обмежене 4096 токенами. Підтримка сторонніх моделей також наразі є обмеженою. AI Edge Gallery приймає лише формат .task, а не популярні .safetensor, які використовують більшість LLM на ринку.
Нагадаємо, у червні Microsoft інтегрувала генератор відео на основі моделі Sora від OpenAI у мобільний додаток Bing.
