Nvidia: Лінійна математика замінить дорогі переходи моделей ШІ

Коли агентна система штучного інтелекту передає завдання від меншої моделі до більшої — або навпаки — вона платить високу ціну: приймаюча модель мусить переобчислювати всю розмову з нуля, що збільшує витрати на обчислення та затримку. Це є серйозним вузьким місцем для підприємств, які створюють довготривалі робочі процеси з кількома моделями LLM.

Щоб вирішити цю проблему, дослідники з Nvidia представили техніку передачі KV-кешу між моделями, яка безпосередньо відображає попередньо заповнений KV-кеш з моделі-джерела до моделі-призначення. Ця техніка відповідає реальним агентним застосуванням, де великі контексти накопичуються протягом багатьох кроків.

Для реальних застосувань ШІ, передача KV-кешу між моделями може зменшити витрати на обчислення та затримку для довготривалих робочих процесів з кількома LLM — і робить це за допомогою простої лінійної математики, а не дорогої моделі глибокого навчання.

Експерименти показують, що для сумісних пар моделей, цей процес лінійного відображення працює від 2,7 до 25 разів швидше, ніж переобчислення розмови, зберігаючи до 98% самостійної точності моделі-призначення.

Чому зміна моделей посеред сесії така дорога

Аналіз того, як LLM обробляють пам’ять, допомагає зрозуміти, чому робочі процеси з кількома моделями стикаються з обмеженнями продуктивності на практиці. Коли LLM отримує запит, вона спочатку виконує етап “попереднього заповнення” (prefill), який є початковим прямим проходом, що обчислює ключі та значення для всіх вхідних токенів та заповнює KV-кеш (Key-Value cache).

Після цього вона переходить до фази “декодування” (decode), де обчислює та генерує наступні токени в послідовності. Під час цієї фази модель читає з цього KV-кешу, щоб передбачати нові токени один за одним, уникаючи необхідності повторно оцінювати всю історію розмови для кожного нового токена.

У багатоходових розмовах або тривалих агентних сесіях контекст поступово стає довшим. Оскільки обчислювальна вартість етапу попереднього заповнення прямо масштабується як з розміром моделі, так і з довжиною вхідних даних, обробка цих довгих сесій стає все дорожчою і призводить до значних затримок, якщо KV-кеш стає недійсним.

Це знецінення відбувається щоразу, коли система ШІ намагається змінити модель посеред сесії, наприклад, направляючи складний крок міркування до більшої моделі або переходячи до меншої моделі для економії коштів. Оскільки різні LLM мають різні архітектури, вони очікують свої кешовані вхідні дані у різних форматах.

В результаті, будь-яка зміна моделі змушує приймаючу модель знову оплачувати повну вартість попереднього заповнення, щоб переобчислити KV-кеш для накопиченого контексту.

Відображення пам’яті між моделями без перезапуску

Дослідники Nvidia вивчали передачу KV-кешу між моделями, щоб з’ясувати, як розробники можуть трансформувати KV-кеш однієї моделі у формат, очікуваний іншою, без повторного виконання етапу попереднього заповнення.

Якщо ця проблема буде вирішена, передача KV-кешу між моделями матиме переваги в обох напрямках. Передача від малої до великої моделі покращує якість виводу. Наприклад, дешева, менша модель обробляє рутинні частини агентного робочого процесу, але стикається з труднощами у складній проблемі міркування, тоді ви можете відобразити KV-кеш на більшу модель і безперебійно продовжити процес.

З іншого боку, передача від великої до малої моделі знижує витрати на обчислення. Високопродуктивна, велика модель може бути використана для розпакування величезного, складного системного запиту або синтезу щільного PDF-файлу на початку сесії. Як тільки важка робота буде виконана, KV-кеш сесії відображається на меншу, більш економічну модель для обробки швидких, розмовних кроків, що йдуть далі.

Були попередні спроби вирішити проблему передачі KV-кешу, але вони мали кілька ключових обмежень. До них належить необхідність дорогого навчання на основі градієнтів або дуже жорсткі архітектурні обмеження.

Для цього початкового дослідження автори обмежили свою увагу передачею в межах сімейств моделей, таких як перехід між моделями різного розміру з сімейств Qwen, Llama або Ministral. Ці моделі мають спільні токенізатори, ДНК навчальних даних та основні архітектурні стилі, але відрізняються за розміром та глибиною. Однак, ця структура залишає багато простору для майбутніх експериментів. Дослідники зазначають, що техніка може бути розширена на передачу між різними сімействами, невідповідні кількості KV-голів або гібридні архітектури, що поєднують стандартну увагу з іншими механізмами пам’яті.

Ключовим висновком дослідження Nvidia є те, що KV-кеш між моделями є значною мірою лінійною структурою. Це означає, що ви можете виконати відображення за допомогою простих алгебраїчних трюків і без необхідності важкого навчання нейронної мережі. Наприклад, експериментуючи з передачею KV-кешу з моделі Qwen3 з 14 мільярдами параметрів до версії з 32 мільярдами параметрів, автори виявили, що просте лінійне регресійне відображення з одного вихідного шару до цільового шару може відновити 56% варіативності ключів цільової моделі та 32% варіативності її значень. При комбінуванні кількох вихідних шарів ці показники зросли до 79% та 65% відповідно.

Щоб перетворити цей лінійний зв’язок на практичну систему, дослідники розробили замкнений за формою “ridge mapper” для кожної голови, що складається з трьох ключових компонентів:

• Регресія “ridge” для кожної голови: Замість використання складного глибокого навчання для тренування системи, вони застосували просту лінійну регресію з використанням невеликого калібрувального набору з кількох сотень текстових послідовностей. Ця техніка незалежно розв’язує класичну проблему найкращої прямої для кожної голови уваги.

• Вибір джерела між шарами: Оскільки вихідна та цільова моделі мають різну кількість шарів, відображувач оцінює та вибирає найбільш прогнозні вихідні шари для передачі до кожного конкретного цільового шару. Таким чином, система вибирає лише найкорисніші частини пам’яті зі старої моделі для побудови пам’яті нової моделі.

• Відображення у просторі контенту: Перед перекладом даних, відображувач видаляє кодування RoPE. RoPE, або Rotary Position Embedding, є стандартним механізмом, який застосовує математичний, залежний від позиції поворот до даних, щоб модель розуміла порядок токенів у послідовності. Видалення значень RoPE дозволяє відображувачу узагальнювати послідовності довжиною, що перевищує його навчальні дані.

Тестування лінійного відображувача

Щоб перевірити, чи працює техніка, дослідники оцінили конвеєр передачі для шести сімейств моделей “matched-KV”. Matched-KV означає, що вихідна та цільова моделі мають однакову кількість KV-голів та розміри на голову, що типово для моделей різного розміру в межах однієї родини.

Сімейства моделей включали Qwen3, Llama 3.1 та Ministral 3, з тестами передачі KV-кешу між різними розмірами від 3 до 70 мільярдів параметрів. Їхні експерименти включали величезний стрибок у 8,8 разів за кількістю параметрів від Llama 3.1 8B до 70B.

Щоб охопити широкий спектр завдань, вони оцінювали моделі за п’ятьма основними бенчмарками точності (ARC-Challenge, HellaSwag, WinoGrande, MMLU та GSM8K), а також за складністю мовного моделювання на WikiText-2 та багатоходовим розмовним завданням CoQA. Для налаштування лінійного відображувача перекладу вони використовували крихітний калібрувальний набір даних з 500 текстових послідовностей по 1024 токени кожна.

Дослідники порівнювали фреймворк з граничною стельовою точністю базової лінії, де цільова модель виконувала повне, традиційне попереднє заповнення. Вони також порівнювали свою повну систему з абляційними конфігураціями, такими як зменшення кількості вибраних шарів або деактивація різних компонентів. Крім того, вони порівнювали свій простий метод зі складною нейронною мережею, навченою за допомогою зворотної поширення помилки, щоб побачити, чи зможе більш складне глибоке навчання відновити точність на парах, де лінійний метод мав труднощі.

Для чотирьох з шести протестованих пар, швидкий, замкнений за формою лінійний “ridge mapper” зберігав від 73% до 98% самостійної точності попереднього заповнення цільової моделі — включаючи величезний стрибок від Llama 3.1 8B до 70B, який зберіг 72,8% цільової точності.

Відображувач також працює від 2,7 до 25 разів швидше, ніж повторне попереднє заповнення. Наприклад, при перекладі KV-кешу довжиною 32 768 токенів з Qwen3 14B до моделі 32B, передача зайняла всього 278 мілісекунд, порівняно з майже 7 секундами для стандартного повторного попереднього заповнення.

Система також продемонструвала високу стабільність на завданнях, що виконуються протягом багатьох кроків. При тестуванні на багатоходових розмовах, дрейф, або втрата точності, між базовою лінією цільової моделі та переданим кешем залишався неймовірно малим протягом 10 кроків, доводячи, що він не призведе до каскадних збоїв під час тривалих агентних сесій.

Однак, прямолінійний лінійний підхід стикнувся з обмеженнями на конкретних парах моделей. Для двох конфігурацій Ministral, лінійний відображувач різко деградував, оскільки проста лінійна відповідність не змогла екстраполювати за межі калібрувальних даних. Щоб виправити це, дослідники замінили лінійний відображувач на нелінійний багатошаровий перцептрон (MLP) з двома прихованими шарами по 1024 одиниці, навчений на тих самих даних. Це додало складності та витрат на навчання до налаштування, але дозволило відновити точність до понад 90%.

Більша галузева проблема, ніж може вирішити одна стаття

Впровадження міжмодельної передачі є частиною ширшого, загальногалузевого поштовху до вирішення проблеми вузького місця KV-кешу, яке стало однією з ключових перешкод для масштабування корпоративного ШІ. Оскільки розробники змушують LLM обробляти величезні документи або бази коду та виконувати тривалі завдання міркування, управління цим шаром пам’яті стає настільки ж важливим, як і самі моделі.

За останній рік дослідники атакували цю проблему обчислень та пам’яті з різних сторін. Наприклад, Nvidia нещодавно представила динамічну розріджену пам’ять (DMS), техніку, яка інтелектуально видаляє менш важливі токени з KV-кешу, щоб скоротити витрати на міркування до 8 разів.

Інші підходи зосереджені на агресивному стисненні даних. Дослідники з MIT розробили алгебраїчну техніку стиснення під назвою Attention Matching, яка стискає KV-кеш у 50 разів без погіршення якості. Подібним чином, Nvidia представила KV Cache Transform Coding (KVTC), яка використовує концепції стиснення медіа для зменшення пам’яті в 20 разів без зміни базових ваг моделі.

Окрім стиснення, дослідники також працюють над зменшенням обчислювальних накладних витрат на отримання даних. Оптимізатори, такі як IndexCache, видаляють надлишкові обчислення шарів, щоб забезпечити значно швидший час до першого токена в додатках з довгим контекстом. А моделі, такі як DeepSeek і серія GLM, оптимізують KV-кеш за допомогою архітектурних інновацій.

Оскільки системи ШІ беруться за завдання з довшим горизонтом та складнішими архітектурами, базова інфраструктура пам’яті стає настільки ж важливою, як і самі моделі. Передача KV-кешу між моделями надає розробникам ще один інструмент для зниження витрат на виведення під час масштабування агентних систем з кількома моделями.

Подробиці можна знайти на сайті: venturebeat.com