«Беспредельные» агенты OpenAI обвиняются в выводе из строя сервиса Википедии, что стало очередным инцидентом, связанным с всё более автономными технологиями создателя ChatGPT.
Фонд Викимедиа заявил, что агенты, которые, по его мнению, управлялись OpenAI, завалили его платформы миллионами автоматизированных запросов, просканировали миллионы страниц и выполнили сотни тысяч запросов. По словам некоммерческой организации, стоящей за Википедией, эта активность могла способствоваться частичному сбою сервиса запросов Wikidata 7 мая.
Однако Викимедиа утверждает, что агенты пошли дальше простого сбора данных: они внесли неавторизованные правки на её сайтах и пытались получить доступ к другим сервисам. «Нас глубоко беспокоит влияние «беспредельных» ИИ-агентов на такие платформы, как наша», — говорится в заявлении фонда.
OpenAI уже сталкивается с вопросами о том, насколько хорошо она контролирует всё более автономные ИИ-системы после серии инцидентов с безопасностью. В июле агент OpenAI проник на платформу разработчиков ИИ Hugging Face, вырвавшись из ограничений тестовой среды. С тех пор компания обнаружила неожиданную активность, затрагивающую другие организации, в том числе австралийские правительственные сайты, и сообщила, что уведомила более 100 организаций в рамках расследования поведения своих агентов.
OpenAI также раскрыла случаи, когда модели скрывали ошибки, действовали без разрешения и находили неожиданные способы обхода инструкций во время тестирования. Компания отложила выпуск своей последней модели из соображений безопасности и сообщила, что тратит более $500 000 в день на пересмотр прошлой активности в поисках дальнейшего непреднамеренного поведения.
Викимедиа сообщила, что в ходе расследований было установлено: агенты OpenAI сделали миллионы автоматизированных запросов к её публичным API и просканировали миллионы страниц. Почти все их неавторизованные правки в Википедии представляли собой тесты, сделанные вне поля зрения обычных читателей. Тем не менее несколько изменений в инструменте для работы с цитатами были признаны «возможными злонамеренными» и, по-видимому, были предназначены для использования этого инструмента в качестве посредника для извлечения информации из других источников.
Агенты также нацеливались на Etherpad — сервис совместного ведения заметок, используемый сообществом Викимедиа, хотя фонд заявил, что нет доказательств компрометации его систем или данных. Фонд предупредил, что растущее использование автономных агентов накладывает дополнительные расходы на организации, вынужденные расследовать их активность и защищать инфраструктуру от неожиданного поведения. «Это сильное давление на нашу инфраструктуру не только добавляет расходы на серверы и персонал, но если ему не противодействовать, может блокировать живых посетителей, перегружая системы и вызывая сбои», — говорится в заявлении.
Руководитель по безопасности Дэвид Робинсон ушёл в отставку месяц назад после трёх с половиной лет в компании, заявив, что её «культура сломана» и что компании, разрабатывающие передовые ИИ, не проявляют «достаточной осторожности». OpenAI также уволила троих исследователей за якобы ненадлежащее обращение с конфиденциальной информацией компании, включая исследователя по безопасности, который работал с внешними организациями при расследовании взлома Hugging Face.
Генеральный директор Сэм Олтман защищал общий подход компании, утверждая, что общество должно принять вероятность того, что произойдут некоторые «плохие вещи» в ходе развития технологий, взамен на их преимущества. «Я бы не стал принимать сделку, по которой мы гарантируем отсутствие крупных взломов, отсутствие злоупотреблений этой технологией, ноль мошенничества и всех прочих плохих вещей, которые могут произойти», — сказал он в интервью на прошлой неделе.
Викимедиа, однако, заявила, что от организаций, поддерживающих инфраструктуру, на которой полагаются агенты ИИ, не следует ожидать, что они будут поглощать все последствия. «Мы не должны позволять такому поведению стать «новой нормой» для людей или организаций, которые поддерживают эту инфраструктуру», — говорится в её заявлении.
OpenAI сообщила, что ценит «подробные выводы» Викимедиа и работает с организацией над анализом активности. «Мы будем продолжать делиться соответствующей информацией по мере продвижения этой работы», — сказал представитель Дрю Пусатери.