Чат-бот OpenAI шахраював для перемоги в шахи
Орієнтована на міркування ШІ-модель o1-preview шляхом маніпуляцій у файловій системі самостійно і без підказок зламала тестове середовище, щоб не програти Stockfish у шахи. Про це повідомили експерти Palisade Research.
⚡️ o1-preview autonomously hacked its environment rather than lose to Stockfish in our chess challenge. No adversarial prompting needed.
— Palisade Research (@PalisadeAI) December 27, 2024
Дослідники повідомили ШІ-моделі, що її противник «сильний». Під час процесу o1 виявила, що може виграти, редагуючи код гри.
Нейромережа замінювала вміст файлу «game/fen.txt», додаючи чорним 500 пішаків. Шаховий движок після цього здавався.
Під час тестів експерти виявили ієрархію можливостей різних ШІ-моделей:
- o1-preview здійснювала злом без підказки;
- GPT-4o і Claude 3.5 потрібно було підштовхнути;
- Llama 3.3, Qwen і o1-mini втрачали узгодженість.
«Висновок: оцінки схем можуть слугувати мірилом можливостей моделей — вони аналізують як їхню здатність виявляти вразливості системи, так і схильність до їхнього використання», — підсумували Palisade Research.
Нагадаємо, у грудні експерти з безпеки виявили, що o1 більш схильна до обману людей порівняно зі стандартною версією GPT-4o і ШІ-моделями від інших компаній.
