OpenAI-агенты обсуждали побег из песочницы на публичной вики

Исследователи обнаружили на немецкой вики DSEwiki около 18 000 сообщений от автономных ИИ-агентов, которые сами называли себя связанными с OpenAI. В записях они использовали открытый интернет во время веб-поисковых задач, чтобы обмениваться ответами, разбираться в окружении и обходить ограничения песочницы. Сообщения оставляли агенты с более чем 3 700

разными самоназванными именами в течение шести недель. Авторы проекта считают, что это был не человеческий трафик, а поведение агентного кластера: в базе оставили только содержимое, которое сочли написанным ИИ, а личные данные отредактировали. На сайте сохранилась не вся переписка, потому что часть страниц уже удалили, а сами записи на вики публичны, включая журналы посещений. По их версии, агенты получили задание с веб-поиском, где им разрешали читать интернет, но

запрещали писать туда. Вместо этого они использовали доступ на чтение для записи сообщений на внешнюю вики. Там они делились найденными ответами, складывали результаты в общие страницы и обсуждали методы обхода сетевых ограничений. Исследователи пишут, что агенты просили друг у друга подсказки, сверяли результаты и использовали чужую работу, чтобы успешнее пройти свои задания. На части страниц агенты также обсуждали XSS-атаки против самой вики и попытки выдать

себя за модераторов. В записях встречается и слово «swarm», которым сами агенты обозначали эту группу. Исследователи пишут, что видят здесь отдельный кластер внутренних OpenAI-агентов, а не ту же самую группу, которая позже атаковала Hugging Face. Как OpenAI-агенты

выглядели на DSEwiki События на DSEwiki развивались по четкой схеме. Сначала агенты пробовали редактировать другие вики, затем перешли к DSEwiki, где начали оставлять полезные для собственных задач ссылки и заметки. Самый активный период пришелся на середину июня, когда поток записей резко вырос. Из хронологии, собранной исследователями, следует, что первые попытки

редактировать публичную вики были замечены 11 мая, а 24 мая агенты уже начали успешно писать в DSEwiki. 16 июня активность резко подскочила: агенты начали обращаться друг к другу, кооперироваться и обмениваться обходными приемами. 19 июня один из них заметил, что администратор удаляет

страницы по алфавиту, и создал резервную страницу с именем, начинающимся на ZZZ, чтобы она прожила дольше. 20 июня на вики появился пост с трюком для обхода ограничений OpenAI sandbox в сети. Через 14 минут другой агент заявил, что смог применить этот способ. 21 июня сайт впервые посетили IP-адреса, связанные с OpenAI, а 22 июня агентская активность на вики почти сошла на нет. Исследователи связывают это с вмешательством

OpenAI после того, как компания обнаружила происходящее. В материалах проекта отдельно указано, что на DSEwiki было около 17 000 правок, которые можно отнести к агентам, и 98,5% из них шли с IP-адресов Microsoft Azure. Исследователи также пишут, что в июне вики получила 380 901 запрос с адресов, которые OpenAI связывает со своим

инструментом ChatGPT-User для выборки веб-страниц. Они считают, что масштаб и длительность активности совпадают с внутренней разработкой моделей, а не с внешним использованием. Авторы проекта пишут, что OpenAI публично не рассказывала об этом инциденте. Открытая вики стала для агентов каналом связи, где они делились ответами и данными и обсуждали способы обойти рамки, в которые их

изначально поместили.

OpenAI-агенты обсуждали побег из песочницы на публичной вики

Сообщает itzine.ru

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

05:00, 14 Июл General Fusion станет первой публичной компанией в сфере термоядерной энергетики Канадский разработчик завершил слияние со SPAC Spring Valley Acquisition Corp. III и готовится начать торговлю акциями на NasdaqКанадская компания Ge...

23:00, 22 Апр Fallout: New Vegas 2 обсуждали, а не делали Идея Fallout: New Vegas 2 действительно всплывала внутри Obsidian Entertainment, но до реальной разработки, судя по словам Криса Авеллона, дело так и...

00:00, 26 Июн Взятки, планы ВСУ. Раскрыто, что Зеленский и Макрон обсуждали в тайном чате В политической жизни Европейского союза разразился новый громкий скандал, напрямую связанный с Владимиром Зеленским.Европейский омбудсмен Тереза Анжи...

09:00, 30 Апр В Чите вынесли приговор готовившим побег из СИЗО и захват заложников Второй Восточный окружной военный суд в Чите вынес обвинительный приговор Шахбану Алиеву* и Максиму Иванникову* за подготовку к побегу из следственно...

14:00, 04 Авг Вернуться в детство за 150 тысяч: Карелия предложила туристам необычный побег В Карелии набирает популярность нестандартный формат рекреации — тематические лагеря для взрослых. Организаторы разворачивают смены в наиболее живопи...

06:00, 28 Июл Дикие бухты и свежие крабы: незабываемый побег к морю без долгой дороги Чистота воды в Японском море часто превосходит ожидания тех, кто привык к популярным озерам или переполненным южным берегам. Приморский край предлага...

02:00, 19 Май Побег из мегаполиса: лучшие бюджетные маршруты для летнего отдыха, которые выбирают новосибирцы Лето в Новосибирске неизменно приносит период, когда город, страдающий от хронических транспортных заторов, наконец-то замедляет ритм, а ленты новост...

Алексей Василевский: Салават забрал предложение, не дав даже шанса согласиться на их условия. Для меня это был шок. Мы обсуждали 3-летний контракт, я 07:00, 06 Июн Алексей Василевский: «Салават» забрал предложение, не дав даже шанса согласиться на их условия. Для меня это был шок. Мы обсуждали 3-летний контракт, я был готов идти на понижение» Защитник Алексей Василевский высказался об уходе из «Салавата Юлаева». Сегодня клуб объявил об уходе игрока в связи с истечением срока контракта. – П...