Meta представила нову серію ШІ-моделей Llama 4

Корпорація Meta представила нову серію відкритих ШІ-моделей Llama 4. Вони обганяють конкурентів за кількома бенчмарками, згідно з даними внутрішніх тестів.

Основою серії є Llama 4 Behemoth — велика мовна модель (LLM) з 2 трлн параметрів. Вона ще знаходиться на етапі навчання і наразі не випущена. Дві її мультимодальні дистиляції — Maverick і Scout — вже доступні для розробників і користувачів.

ШІ-помічник Meta AI, доступний у різних продуктах компанії, таких як WhatsApp, Messenger та Instagram, вже оновлений для інтеграції Llama 4 у 40 країнах. Проте мультимодальні функції наразі доступні лише в США.

Стверджується, що Behemoth, або LLM-учитель для двох інших моделей, перевершує GPT-4.5, Claude Sonnet 3.7 і Gemini 2.0 Pro в тестах, орієнтованих на STEM, таких як MATH-500 і GPQA Diamond.

«Це лише початок для колекції Llama 4. Ми вважаємо, що найрозумніші системи повинні мати можливість виконувати узагальнені дії, природно спілкуватися з людьми та вирішувати складні завдання, з якими вони раніше не стикалися. Наділення Llama надздібностями в цих сферах призведе до створення найкращих продуктів для людей на наших платформах і розширить можливості розробників у впровадженні інновацій у наступні великі споживчі та бізнес-сфери», — йдеться в анонсі компанії.

Нова архітектура

Llama 4 — це перша серія моделей, що використовують архітектуру Mixture of Experts (MoE). Наприклад, у Maverick є 128 «експертів» і 400 млрд загальних параметрів, але лише 17 млрд активних. У Scout показники становлять 16, 109 млрд і 17 млрд відповідно.

Характеристики нейромереж із лінійки Llama 4. Дані: Meta.

Згідно з внутрішніми тестами компанії, Maverick перевищує моделі на кшталт GPT-4o і Gemini 2.0 у деяких тестах програмування, міркувань, підтримки мов, довгих контекстів і зображень. Проте нейромережа не досягає рівня більш потужних і сучасних Gemini 2.5 Pro від Google, Claude 3.7 Sonnet від Anthropic і GPT-4.5 від OpenAI.

Maverick краще підходить для використання як спільний помічник і чат. Сильні сторони Scout полягають в узагальненні документів і міркуванні над великими базами. Остання здатна працювати на одному графічному процесорі Nvidia H100, тоді як для Maverick потрібна система Nvidia H100 DGX або її еквівалент.