Cohere: Повний контроль над AI-агентами – запорука суверенітету компаній

Цього тижня сотні керівників підприємств та технічних фахівців заповнили головний зал розкішного готелю Nia в Менло-Парку на VB Transform 2026 – найвизначнішу конференцію року, присвячену використанню генеративних ШІ-агентів для досягнення бізнес-результатів.

Рашад Алао, віцепрезидент з інженерії продуктів канадського стартапу в галузі корпоративного ШІ Cohere, долучився до бесіди з генеральним директором та головним редактором VentureBeat Меттом Маршаллом, щоб обговорити створення агентних систем без компромісів щодо конфіденційних даних, контролю над інфраструктурою чи можливості зміни постачальників.

Алао, який раніше очолював команди з відповідального ШІ, безпеки та надійності в Google і Meta, стверджував, що суверенітет ШІ – це більше, ніж просто завантаження відкритої моделі чи запуск застосунку за корпоративним брандмауером.

На запитання, як Cohere визначає суверенітет, Алао вказав на організації, що експлуатують критично важливі системи, зокрема банки, лікарні та уряди.

«Важливо мати суворий контроль над тим, де зберігаються дані, жорсткий контроль над ШІ», – зазначив він, додавши, що операції ШІ повинні відбуватися в юрисдикціях, які організація розуміє або безпосередньо контролює.

Це поширюється від GPU та інфраструктури приватних хмар до систем управління, які маршрутизують запити між моделями, а також з’єднувачів, інструментів пошуку та агентних фреймворків, що працюють з корпоративними даними.

«Ви хочете контролювати весь стек», – підкреслив Алао.

Навантаження агентів може випередити падіння цін на токени

Маршалл поставив під сумнів один із центральних економічних аргументів на користь менших, локально розгорнутих моделей: ціни на інференс (висновки) стрімко падають, потенційно послаблюючи аргументи щодо оптимізації кожного токена.

Алао заперечив, що загальне споживання зростає ще швидше, оскільки підприємства переходять від відносно простих чат-ботів до агентів, які аналізують проблеми, викликають інструменти, здійснюють пошук у внутрішніх системах і виконують кілька кроків перед наданням відповіді.

«Використання ваших токенів експоненціально зростає, оскільки ви працюєте зі все складнішими агентними сценаріями використання», – сказав він. Ці робочі процеси потребують «значних обсягів обробки, обдумування, взаємодії з інструментами» для досягнення своїх цілей, додав він.

Алао також провів розмежування між постачальниками, які виставляють рахунки клієнтам відповідно до споживання токенів, і підходом Cohere.

«Якщо ваш основний спосіб стягнення плати з клієнтів – це використання токенів, ви прагнете максимізувати їхнє використання», – зазначив він. «Ми не продаємо наші моделі та нашу платформу таким чином».

Натомість, за словами Алао, Cohere прагне допомогти підприємствам розв’язувати найскладніші проблеми приватно та безпечно, одночасно зменшуючи непотрібне використання моделей. Його рецепт був простим: «Використовуйте правильну модель для поставленого завдання».

Замість того, щоб надсилати кожен запит до найбільшої доступної передової моделі, підприємствам слід маршрутизувати завдання відповідно до необхідного рівня інтелекту та чутливості або регуляторного навантаження, пов’язаного із завданням.

Алао навів приклад неназваного канадського банку, який використовує локальні моделі Cohere для суворо регламентованих завдань, тоді як менш чутливі завдання, що потребують вищого рівня інтелекту, надсилаються через платформу Cohere North до більших передових моделей.

«Отже, маршрутизація моделей може стати надзвичайно корисною», – підкреслив він.

Менші моделі для більшості корпоративних завдань

Відповідаючи на запитання з аудиторії щодо того, як випущена минулого місяця модель North Mini Code від Cohere з відкритим вихідним кодом може конкурувати з пропрієтарними моделями для кодування, Алао визнав, що більші передові моделі можуть дещо краще справлятися з найскладнішими завданнями.

Однак ця перевага може не виправдовувати їх безрозсудне використання.

«Для 80% сценаріїв використання, які їм були потрібні, це було значно ефективніше, значно дешевше», – сказав Алао щодо розробників, які впроваджують модель.

North Mini Code від Cohere працює на одному GPU Nvidia H100 і призначена для агентного програмного інжинірингу, включаючи роботу в терміналі, рев’ю коду та використання інструментів.

Компанія також випустила Command A+ – модель mixture-of-experts із 218 мільярдами параметрів, з яких лише 25 мільярдів активні під час кожного кроку генерації.

Її стиснена чотирибітна версія зменшує апаратні вимоги для приватного розгортання, а її ліцензія Apache 2.0 надає підприємствам широку свободу для експлуатації та модифікації.

Пошук стає частиною агента

Стосовно багаторічної роботи Cohere над ембеддингами та корпоративним пошуком, Алао зазначив, що ця галузь виходить за межі простого пошуку тексту та його включення до контекстного вікна моделі.

«Сьогодні найсучасніші рішення зосереджені на мультимодальному пошуку», – сказав він. «Це виходить за межі лише текстової модальності».

Пошук за документами, зображеннями та іншими формами інформації стає «невід’ємним компонентом вашого агентного робочого процесу», додав Алао, при цьому модель сама вирішує, коли і як використовувати пошук, як і будь-який інший інструмент.

На запитання, що могло б переконати підприємства відмовитися від пакетних ШІ-сервісів від поточних хмарних провайдерів, Алао знову наголосив на контролі над даними та їх портативності.

«Якщо вас цікавить суверенітет, ви захочете мати більше контролю над своїми даними», – зазначив він. Шар управління Cohere, додав він, дозволяє клієнтам маршрутизувати трафік до відповідних моделей, «долаючи проблему прив’язки до постачальника, яка турбує багатьох наших клієнтів».

Порада від INFBusiness:

Ця інформація особливо корисна для бізнесів, які прагнуть максимізувати контроль над своїми ШІ-рішеннями, зберігаючи при цьому конфіденційність даних та гнучкість у виборі технологій. Впровадження підходу, подібного до запропонованого Cohere, може допомогти уникнути залежності від одного постачальника та оптимізувати витрати на ШІ.

Джерело новини: venturebeat.com