TabFM від Google: потужне прогнозування без тренування на кожному наборі даних

Переважна більшість бізнес-даних має табличний формат, зберігаючись у сховищах даних, CRM-системах та фінансових реєстрах. Однак для створення надійної моделі на їх основі досі вимагалося тренування нової моделі з нуля для кожного набору даних, а також постійне підтримання циклів налаштування гіперпараметрів, інженерії ознак та конвеєрів перенавчання для боротьби з дрейфом даних. Google Research пропонує рішення: нова базова модель під назвою TabFM, яка розглядає табличні прогнози як задачу навчання в контексті (in-context learning).

Ця модель здатна генерувати прогнози для нової, невідомої таблиці за один прямий прохід. Для корпоративних розробників та інженерів зі штучного інтелекту це означає скорочення часу до виведення в експлуатацію з тижнів інженерії конвеєрів до одного виклику API.

Виклики традиційного машинного навчання

Для отримання надійних прогнозів з градієнтного бустингового дерева фахівці з даних повинні створювати та підтримувати складні конвеєри обробки даних. Їм потрібно очищати неоднорідні вхідні дані, заповнювати пропущені значення, кодувати категоріальні змінні у числові формати та створювати власні комбінації ознак.

Після підготовки даних необхідно запускати повторювані цикли оптимізації гіперпараметрів, шукаючи найкращу конфігурацію серед параметрів швидкості навчання, глибини дерев, коефіцієнтів вибірки та сіток регуляризації.

«Після розгортання ці традиційні моделі вимагають постійних операційних витрат через моніторинг дрейфу даних та конвеєри перенавчання для збереження точності», — повідомив VentureBeat Вейхао Конг, науковий співробітник Google Research.

Тим часом, решта індустрії ШІ рухається далі. Генеративні моделі ШІ для тексту та комп’ютерного зору безперешкодно перейшли до інференсу з нульовим пострілом (zero-shot inference), де модель може виконати абсолютно нове завдання, просто отримавши контекстний запит.

Великі мовні моделі (LLMs) вже чудово справляються з навчанням у контексті, тож чому б не подати таблиці до готової LLM?

Оскільки LLMs тренуються на природній мові, а не на структурованих даних, вони погано обробляють таблиці безпосередньо. По-перше, їхні контекстні обмеження швидко вичерпуються середніми таблицями, що містять лише кілька тисяч рядків і сотні стовпців. По-друге, LLMs страждають від неефективності токенізації, незграбно розбиваючи числові значення та руйнуючи математичну точність. Нарешті, вони страждають від структурної сліпоти. Коли 2D-таблиця серіалізується як одновимірний текстовий рядок, LLMs втрачають відстеження того, яке значення належить до якого рядка та стовпця зі зростанням таблиці.

«Ось чому сьогодні набагато ефективніше використовувати LLM для написання коду, який обробляє інженерію ознак та викликає XGBoost, ніж просити LLM прочитати саму таблицю», — зазначив Конг.

Що таке TabFM?

Для виконання інференсу з TabFM вам не потрібно оновлювати жодних вагових коефіцієнтів моделі. Натомість ви берете свої історичні приклади (рядки тренування з їхніми відомими мітками) та цільові рядки (нові дані, для яких ви хочете отримати прогнози) і передаєте їх моделі як єдиний, уніфікований запит. Модель навчається інтерпретувати взаємозв’язки між стовпцями та рядками безпосередньо з цього контексту під час виконання.

Наприклад, уявіть аналітика компанії, який намагається спрогнозувати відтік клієнтів. Замість створення спеціалізованого конвеєру даних та тренування моделі XGBoost, він може просто передати зразок історичних даних сесій користувачів разом із новою активною сесією до TabFM. За один прямий прохід модель поверне миттєву ймовірність відтоку.

TabFM долає обмеження LLMs, розглядаючи дані як сітку, зберігаючи їхню структурну цілісність без примусового перетворення на одновимірний текстовий рядок.

Для ефективної обробки різноманітних табличних структур, забезпечуючи масштабоване прогнозування з нульовим пострілом, TabFM поєднує сильні сторони попередніх експериментальних архітектур: TabPFN та TabICL. TabPFN, розроблена Prior Labs, вперше довела, що трансформаторна архітектура може виконувати класифікацію з нульовим пострілом на невеликих таблицях, хоча вона мала проблеми з обчислювальною масштабованістю для великих наборів даних.

Пізніше TabICL, розроблена Національним інститутом цифрових наук і технологій Франції, вирішила цю проблему, ввівши стиснення рядків, що дозволило навчанню в контексті ефективно обробляти значно більші таблиці.

TabFM поєднує глибоку контекстуалізацію ознак TabPFN з ефективним стисненням TabICL у новій гібридній конструкції, що базується на трьох ключових механізмах:

• 1. Чергування уваги до рядків і стовпців: Сира таблиця спочатку обробляється багатошаровим модулем уваги, який чергується між стовпцями (ознаками) та рядками (прикладами). Постійно звертаючи увагу на ці два виміри, модель природно захоплює складні взаємодії ознак. Ця глибока контекстуалізація виконує важку роботу, яка зазвичай вимагає трудомісткої ручної розробки ознак фахівцями з даних.
• 2. Стиснення рядків: Після цієї контекстуалізації інформація, отримана шляхом перехресної уваги для кожного рядка, стискається в одне щільне векторне представлення. TabICL вперше застосувала це, використовуючи токени CLS для стиснення багатої інформації рядка в один вектор, «на відміну від TabPFN v2, v2.5 та v2.6, які звертають увагу на всю сітку комірок протягом усієї мережі», — пояснив Конг. Це значно зменшує обчислювальне навантаження.
• 3. Навчання в контексті (ICL): Каузальний Трансформер потім працює з цією послідовністю стиснутих вбудовувань. Ця Трансформерна модель використовує механізм уваги TabICL для звернення до цих щільних векторів рядків, різко зменшуючи вартість обчислень та дозволяючи моделі ефективно обробляти великі набори даних.

Важливою перевагою TabFM є її методика попереднього навчання. Модель тренувалася виключно на сотнях мільйонів синтетичних наборів даних. Ці набори даних динамічно генерувалися за допомогою структурних причинних моделей (SCM), які включають широкий спектр випадкових функцій. Тренуючись виключно на синтетичних SCM, TabFM вивчила фундаментальні математичні апріорні знання про те, як табличні ознаки взаємодіють, не використовуючи реальні, конфіденційні CSV-файли.

TabFM у дії

Для перевірки можливостей моделі дослідники Google протестували TabFM на TabArena, комплексному наборі для оцінки, що охоплює 51 різноманітний табличний набір даних з 38 завдань класифікації та 13 завдань регресії.

На цих загальнодоступних тестах прогнози TabFM з нульовим пострілом вже відповідають або перевершують ретельно налаштовані керовані базові моделі. Однак Google застерігає, що це не означає автоматично, що TabFM універсально замінить спеціалізовані, гіпероптимізовані виробничі моделі для кожного корпоративного робочого навантаження.

«Замість заміни гіпероптимізованих виробничих моделей, справжня практична бізнес-цінність, яку вона розблоковує для команд з обмеженими ресурсами, — це швидкість», — сказав Конг. «Вона дозволяє аналітикам даних та бекенд-інженерам миттєво створювати високоякісні базові моделі без виділеної команди з науки про дані, яка керує складним життєвим циклом».

Для досвідчених практиків, які прагнуть вичавити максимальну точність, дослідницька команда також представила конфігурацію «TabFM-Ensemble». Запускаючи модель через 32 різні варіації та узагальнюючи результати, TabFM ще більше підвищує продуктивність.

Початок роботи, компроміси та хмарне майбутнє

Перехід до навчання в контексті для таблиць вводить новий економічний компроміс, який повинні враховувати інженерні команди.

З традиційними алгоритмами тренування є повільним і дорогим, але інференс — блискавично швидким і дешевим. TabFM перевертає цю динаміку. Хоча час тренування зводиться до нуля, інференс стає значно складнішим. Оскільки моделі необхідно обробляти весь історичний набір даних як контекст під час кожного прогнозу, їй потрібно більше обчислювальних ресурсів та пам’яті під час виконання.

У цій новій парадигмі «традиційне тренування машинного навчання стає фазою «попереднього заповнення» (KV кешування) у контекстному вікні», — зазначив Конг. Хоча ця вартість попереднього заповнення висока, вона сплачується лише один раз для кожної таблиці, а кеш використовується повторно для наступних запитів. «Проблема полягає в затримці прогнозу, яку не може усунути жодне кешування», — додав Конг. Кожен новий прогноз вимагає проходу через великий трансформатор. «Будь-який виробничий API, що вимагає часу відгуку в однорозрядних мілісекундах, не може витримати накладні витрати на прямий прохід TabFM».

Для розробників, які бажають оцінити модель сьогодні, бар’єр для входу низький. Google розробив TabFM як пряму заміну традиційним робочим процесам машинного навчання, пропонуючи API, сумісний зі scikit-learn (TabFMClassifier та TabFMRegressor). Він нативно обробляє змішані числові та категоріальні стовпці, працює безпосередньо з pandas DataFrames і не вимагає ручних порядкових кодерів або числових масштабувальників. Бібліотека підтримує як бекенди JAX, так і PyTorch.

Однак корпоративні команди повинні бути обізнані про поточні обмеження та ліцензійні обмеження. Архітектура моделі має жорстке обмеження в 10 вихідних класів для завдань класифікації, і вона оптимізована для таблиць з до 500 ознак. Що ще важливіше, хоча Google випустив базовий код під ліцензією Apache 2.0, попередньо навчені ваги моделі опубліковані на Hugging Face під суворою ліцензією tabfm-non-commercial-v1.0. Розробники можуть оцінювати модель внутрішньо, але вона ще не може бути розгорнута в комерційних продуктах.

Заглядаючи в майбутнє, Google вирішує проблеми комерційного розгортання через свою хмарну екосистему. TabFM інтегрується безпосередньо в Google BigQuery, дозволяючи аналітикам виконувати прогнози з нульовим пострілом нативно через команду «AI.PREDICT». Розміщуючи інференс базової моделі безпосередньо поруч зі сховищем даних, TabFM може незабаром зробити складне табличне машинне навчання настільки ж доступним, як і простий запит до бази даних.

На практиці TabFM чудово підходить для швидкого прототипування, середовищ з високим дрейфом даних та невеликих і середніх наборів даних обсягом до 100 000 рядків. Навпаки, команди повинні дотримуватися традиційних моделей для суворих API з надзвичайно низькою затримкою або для величезних таблиць, що перевищують мільйон рядків, які наразі вимагають агресивного вибіркового відбору рядків, що знижує конкурентну перевагу базової моделі.

Порада від INFBusiness:

Ця новина про TabFM від Google Research є надзвичайно цінною для бізнес-аналітиків, інженерів даних та розробників, які працюють із табличними даними. Вона пропонує кардинально новий підхід до машинного навчання, який значно прискорює процес отримання прогнозів. Замість складних та тривалих етапів підготовки даних та тренування моделей, TabFM дозволяє миттєво отримувати результати, використовуючи модель як “чорну скриньку” з мінімальним втручанням. Це ідеально підходить для швидкого прототипування, аналізу даних у реальному часі та в умовах, коли дані часто змінюються. Хоча є певні обмеження щодо комерційного використання та затримки прогнозу, перспективи інтеграції з хмарними сервісами, як BigQuery, роблять TabFM потужним інструментом для підвищення продуктивності та демократизації доступу до передових методів машинного навчання.

Оригінал статті: venturebeat.com