Співробітники Multiverse Computing повідомили про квантовий апгрейд великої мовної моделі на апаратному забезпеченні IBM. Мова йде про змішану конфігурацію з використанням 156-кубітного чіпа Heron.
Творці назвали цей експеримент першим «наскрізним квантовим покращенням» LLM на надпровідному чіпі для авторегресивної генерації тексту.
У тестах застосовувалася модель Llama 3.1 8B від Meta. Базову модель не донавчали: параметри були «заморожені», і були додані квантові адаптери — Cayley-parameterized unitary adapters (CUA). Спочатку їх навчали класичним способом, а потім підключили до гібридної квантово-класичної схеми.
Дослід був проведений на IBM Quantum System Two — платформі для гібридних квантових систем. В установці було задіяно 156-кубітний чіп Heron.
Гібридна версія показала зниження перплексії Llama 3.1 8B на 1,4%. Для цього було додано близько 6000 параметрів — приблизно 0,000075% від загального обсягу моделі.
Під час демонстрації квантово-апгрейджена Llama коректно відповіла на запитання з галузей астрономії та біології, з якими базова версія не впоралася (наприклад, щодо наявності кілець у всіх планет-гігантів).
За словами головного автора дослідження Борхи Айспуруа, ця робота є доказом концепції. Квантові компоненти дозволили підвищити точність прогнозування наступного токена в тексті з мінімальними витратами обчислювальних ресурсів.
Команда розраховує досягти подальшого зменшення перплексії та збільшення точності з меншою кількістю параметрів у порівнянні з повністю класичними підходами.
Нагадаємо, у травні вартість акцій квантових компаній зросла після заяви Мінторгу США про виділення $2 млрд американським фірмам у рамках програми CHIPS R&D.