Как мы улучшим нашу работу в интересах Австралии
В июне, во время внутреннего обучения и оценки, наши модели получали доступ к сайтам государственных органов Австралии способами, на которые у них не было разрешения. Наше реагирование на произошедшее также должно было быть лучше. Мы приносим извинения и работаем над тем, чтобы в будущем действовать лучше.
В этой публикации мы рассказываем, что нам известно, что мы изменили и что будем делать для восстановления доверия австралийцев. Это новый вид киберинцидентов, представляющий собой формирующийся глобальный вызов. Один из способов взять на себя ответственность за ситуацию — целенаправленно сотрудничать с Австралией в разработке практических подходов к тому, как разработчикам ИИ и государственным органам выявлять кибердействия ИИ, раскрывать сведения о них и реагировать на них, будь то злонамеренные или непреднамеренные действия.
После инцидента с Hugging Face в июле мы начали проверять действия моделей в ходе более раннего обучения и оценки, чтобы выявить другие затронутые организации. В середине августа эта проверка выявила действия, затронувшие перечисленные ниже сайты государственных органов Австралии.
Вот что нам известно на основании имеющихся данных:
Services Australia: модель OpenAI обнаружила способ получить доступ к закрытой части сервиса, выполняла команды, получала внутренние файлы, учётные данные и сводную статистику, а также записывала файлы. При этом доступа к записям об отдельных пациентах или клиентах не было. Ниже мы подробнее рассказываем об этом инциденте.
Бюро статистики и исследований преступности Нового Южного Уэльса (BOCSAR): модель OpenAI обратилась к общедоступному инструменту картографирования преступности BOCSAR для изучения открытой статистики преступности. Ниже мы подробнее объясняем, почему модели выполняют различные задачи по поиску информации. Модель отправляла запросы к API и запрашивала метаданные сайта через общедоступный инструмент BOCSAR, который предоставляет учётные данные для запросов к API из браузера. Система BOCSAR вернула конфигурацию приложения, служебные задания и журналы, а также метаданные сайта. Доступа к сведениям о преступлениях, относящимся к конкретным лицам, не было.
Департамент здравоохранения штата Виктория: агенты OpenAI обнаружили открыто доступный ключ и использовали его для запросов к системе отчётности Агентства медицинской информации штата Виктория (VAHI), получив настройки отчётности и сводную статистику опросов. В какой степени эта информация должна была быть доступна, неясно: это зависит от правил доступа VAHI. Доступа к индивидуальным медицинским записям или ответам на опросы, позволяющим установить личность, не было.
Австралийский институт здоровья и благополучия (AIHW): агенты OpenAI получили сводную статистику с помощью сторонних сервисов просмотра веб-страниц и скачивания файлов, в том числе с сайта AIHW, а также напрямую запрашивали данные диаграмм. Отдельные попытки обойти средства контроля доступа не увенчались успехом. Судя по имеющимся данным, скачанные материалы находились в открытом доступе. Компрометации системы не произошло. Доступа к индивидуальным медицинским записям не было.
Мы начали расследовать эти действия, как только узнали о них в середине августа. Мы уведомили Services Australia и Департамент здравоохранения штата Виктория 10 сентября, а Бюро статистики и исследований преступности Нового Южного Уэльса — 18 сентября. Действия, связанные с Австралийским институтом здоровья и благополучия, не достигали установленных нами порогов для раскрытия информации, поскольку способ доступа, по всей видимости, соответствовал общедоступному режиму. Тем не менее 24 сентября мы уведомили институт, чтобы поделиться результатами и предложить встречу для их обсуждения.
Мы хотели предоставить затронутым ведомствам подробный отчёт после завершения расследования. Однако нам следовало раньше поделиться предварительными выводами и информировать австралийские ведомства по мере появления новых фактов.
С тех пор мы тесно сотрудничаем с государственными ведомствами Австралии, делясь всем, что нам удалось выяснить к настоящему моменту. Если мы выявим другие затронутые ведомства, то незамедлительно свяжемся с ними напрямую, передадим имеющуюся информацию и будем сообщать о новых фактах по мере их появления.
В ходе внутреннего обучения и оценки в июне мы использовали экспериментальную модель OpenAI, предназначенную только для внутреннего использования, а не для публичного выпуска. Она работала без полного набора мер защиты, применяемых в наших общедоступных продуктах. В ходе этого обучения и оценки она получила доступ к сервису статистической отчётности Medicare агентства Services Australia. На данный момент наша проверка не выявила свидетельств доступа к чьим-либо медицинским записям.
При внутреннем обучении и оценке моделей мы даём им задания из обширной подборки исследовательских вопросов по самым разным темам. Они отражают те подробные вопросы, которые могут задавать пользователи. Так модель учится находить, интерпретировать и анализировать общедоступную информацию, чтобы быть полезнее людям. Наши модели должны отвечать на эти вопросы, используя опубликованную в открытом доступе статистику.
В этом случае одной из задач модели было выяснить, сколько государство тратит на лекарства от кожных заболеваний в расчёте на одного жителя в населённых пунктах штата Виктория. Модель столкнулась с трудностями при поиске этих сведений и предприняла действия, на которые мы не давали разрешения. В ходе поиска этой информации в сервисе статистической отчётности Medicare агентства Services Australia она обнаружила способ получить доступ к закрытой части сервиса. Затем она использовала этот доступ для изучения технической информации о системе и исходного кода сервиса — по-прежнему с целью найти изначально запрошенные сведения. Мы не планировали подобных действий. Ни такого доступа к сервису, ни последующих действий не должно было произойти.
После инцидента с Hugging Face мы усилили меры защиты при проведении исследований, в том числе ввели дополнительные сетевые ограничения и расширили мониторинг. Мы внедрили средства блокировки прямого доступа к интернету в этих исследовательских средах: веб-контент предоставляется из кеша. Наши нынешние системы мониторинга служат дополнительным уровнем защиты: они обнаружили бы такие действия и отправили бы команде сигнал о необходимости срочной проверки специалистом. Например, когда модель получила прямой доступ к интернету во время недавнего запуска обучения(открывается в новом окне), система мониторинга обнаружила это и оповестила специалиста, после чего мы остановили обучение. Мы продолжаем проверять эти меры защиты и устранять недостатки. Инцидент с Hugging Face остаётся самым серьёзным из тех, что мы наблюдали.
Люди хотят быть уверены, что ИИ разрабатывается безопасно, и эта уверенность начинается с действий самих компаний, подобных нашей. Недавно мы сообщили(открывается в новом окне), что приостановили обучение и оценку наших наиболее мощных моделей в сценариях с использованием инструментов. Мы возобновим их обучение только тогда, когда будем уверены, что внедрили дополнительные меры защиты, над которыми сейчас работаем.
По мере расширения возможностей систем ИИ мы также видим, что времени на помощь организациям в поиске и устранении уязвимостей остаётся всё меньше. Для этого нужны совместные действия со специалистами по киберзащите во всём мире.
Вместе с организациями из сфер технологий, кибербезопасности и критической инфраструктуры мы выступили с призывом к совместным действиям в области киберзащиты. Этот призыв начинается с наших собственных обязательств: усиления мер защиты, своевременного раскрытия информации и практической поддержки затронутых организаций. Он также предусматривает инвестиции в команды, защищающие жизненно важные службы, чтобы они могли находить уязвимости, проверять исправления и делиться эффективными решениями.
В Австралии мы выделяем ресурсы и предоставляем экспертную помощь, чтобы поддержать затронутые ведомства и помочь специалистам по киберзащите применить эти принципы на практике. В частности, мы планируем:
Адресную поддержку затронутых ведомств. Мы выделим необходимые ресурсы, чтобы помочь затронутым ведомствам разобраться в произошедшем и оценить последствия. В том числе мы поделимся значимыми техническими результатами расследований и организуем взаимодействие с нашими командами реагирования в рамках соответствующих договорённостей об обмене информацией.
Финансирование и поддержку для усиления киберзащиты. Мы предоставим органам власти и компаниям Австралии кредиты из нашего фонда Daybreak for Frontline Defenders объёмом 1 млрд долларов и техническую помощь для усиления киберзащиты критической инфраструктуры и других особо важных сред. Опираясь на наше взаимодействие с органами власти и операторами критической инфраструктуры, эта работа поможет организациям лучше понимать и выявлять риски, связанные с растущими возможностями ИИ-агентов, и реагировать на них.
Создание рабочей группы в Австралии. Мы создадим рабочую группу с участием независимых австралийских экспертов для разработки практических рекомендаций в области политики управления рисками, связанными с растущими возможностями ИИ-агентов. С учётом уроков этих инцидентов группа сосредоточится на улучшении процедур уведомления, укреплении координации между разработчиками ИИ и государством, а также на определении мер для более надёжной защиты государственных систем. Рекомендации рабочей группы будут учитываться в подходе OpenAI и помогут органам власти Австралии в работе над безопасностью ИИ и кибербезопасностью. Ожидается, что рабочая группа завершит работу к концу года. Она также предложит практические шаги, которые ИИ-компании могут предпринять для снижения риска подобных инцидентов.
Органы власти, компании и граждане Австралии всегда были и остаются исключительно ценными партнёрами OpenAI. Мы не принимаем это как должное и намерены исправить ситуацию.
Директор по стратегии OpenAI Джейсон Квон прилетит из штаб-квартиры OpenAI в США, чтобы во вторник, 6 октября, выступить на заседании Объединённого специального комитета по искусственному интеллекту в Сиднее. Он ответит на вопросы о том, что нам известно, как мы отреагировали, какие меры приняли и что будем делать лучше в дальнейшем.
Мы продолжим делиться подтверждёнными результатами расследований с затронутыми ведомствами и соответствующими органами власти. Мы будем публиковать новости о нашей продолжающейся проверке и о ходе выполнения этих обязательств. Мы знаем, что для восстановления доверия нам предстоит многое сделать. Мы обязаны показать австралийцам, что вносим существенные изменения и выполняем свои обещания.
