У червні під час внутрішнього навчання й оцінювання наші моделі отримали доступ до австралійських урядових вебсайтів у недозволені способи. Ми також мали краще організувати реагування на ці події. Ми перепрошуємо та працюємо над тим, щоб надалі діяти краще.
У цьому дописі ми розповідаємо, що нам відомо, що ми змінили та що робитимемо для відновлення довіри австралійців. Це новий тип кіберінциденту, який свідчить про появу глобального виклику. Один зі способів узяти відповідальність за цю ситуацію — цілеспрямовано співпрацювати з Австралією над практичними підходами, які допоможуть розробникам ШІ й органам влади виявляти дії ШІ в кіберпросторі, повідомляти про них і реагувати на них — незалежно від того, зловмисні вони чи ненавмисні.
Після інциденту з Hugging Face у липні ми почали перевіряти попередні дії моделей під час навчання й оцінювання, щоб виявити інші постраждалі організації. У середині серпня ця перевірка виявила дії, що стосувалися наведених нижче австралійських урядових вебсайтів.
Ось що нам відомо на підставі наявних доказів:
Services Australia: модель OpenAI знайшла спосіб отримати доступ до непублічної частини сервісу, виконувала команди, отримала внутрішні файли, облікові дані й зведену статистику, а також записувала файли. Водночас доступу до записів про окремих пацієнтів або клієнтів не було. Нижче ми докладніше розглянемо цей інцидент.
Бюро статистики та досліджень злочинності Нового Південного Уельсу (BOCSAR): модель OpenAI звернулася до загальнодоступного інструмента картографування злочинності BOCSAR, щоб дослідити відкриту статистику злочинності (нижче ми пояснюємо, чому моделі виконують різні завдання з пошуку інформації). Модель надсилала запити до API та запити метаданих вебсайту через загальнодоступний інструмент BOCSAR, який надає облікові дані для браузерних запитів до API. Система BOCSAR повернула конфігурацію застосунку, службові завдання й журнали, а також метадані вебсайту. Доступу до записів про правопорушення окремих осіб не було.
Департамент охорони здоров’я штату Вікторія: агенти OpenAI виявили відкритий ключ доступу, за допомогою якого надіслали запити до системи звітності Агентства медичної інформації штату Вікторія (VAHI) та отримали конфігурацію звітності й зведену статистику опитувань. Незрозуміло, якою мірою ця інформація мала бути доступною: це залежить від політик доступу VAHI. Доступу до медичних записів окремих осіб або відповідей на опитування, за якими можна ідентифікувати респондентів, не було.
Австралійський інститут здоров’я та добробуту (AIHW): агенти OpenAI отримували зведену статистику за допомогою сторонніх сервісів перегляду й завантаження, зокрема з вебсайту AIHW, а також безпосередньо запитували дані діаграм. Окремі спроби обійти засоби контролю доступу були невдалими. Схоже, завантажені матеріали були загальнодоступними. Систему не було скомпрометовано. Доступу до медичних записів окремих осіб не було.
Ми розпочали розслідування цих дій, щойно дізналися про них у середині серпня. Ми повідомили Services Australia та Департамент охорони здоров’я штату Вікторія 10 вересня, а Бюро статистики та досліджень злочинності Нового Південного Уельсу — 18 вересня. Дії, пов’язані з Австралійським інститутом здоров’я та добробуту, не відповідали нашим критеріям обов’язкового повідомлення, оскільки спосіб доступу видавався сумісним із загальнодоступним режимом. Проте 24 вересня ми повідомили інститут, щоб поділитися висновками та запропонувати інформаційну зустріч.
Ми прагнули надати постраждалим установам докладний звіт після завершення розслідування. Однак нам слід було раніше поділитися попередніми висновками та інформувати австралійські установи в міру появи нових фактів.
Відтоді ми тісно співпрацюємо з державними установами Австралії та ділимося всім, що вдалося з’ясувати на цей час. Якщо ми виявимо інші постраждалі установи, то оперативно й безпосередньо повідомимо їм наявну інформацію та надаватимемо оновлення в міру появи нових фактів.
Під час внутрішнього навчання й оцінювання в червні ми використовували експериментальну модель OpenAI суто для внутрішніх потреб. Вона не призначалася для публічного випуску й не мала повного набору засобів захисту, які застосовуються в наших загальнодоступних продуктах. У процесі цього навчання й оцінювання вона отримала доступ до сервісу статистичної звітності Medicare від Services Australia. На цей час наша перевірка не виявила доказів доступу до чиїхось медичних записів.
Під час внутрішнього навчання й оцінювання моделей ми даємо їм завдання з широкого набору дослідницьких запитань на різні теми, що відображають докладні запитання, які можуть ставити користувачі. Так модель вчиться знаходити, тлумачити й аналізувати загальнодоступну інформацію, щоб бути кориснішою для людей. Наші моделі мають відповідати на ці запитання, використовуючи відкрито опубліковані статистичні дані.
У цьому випадку одним із завдань моделі було дослідити державні витрати на ліки від шкірних захворювань у розрахунку на одну особу в громадах штату Вікторія. Модель зіткнулася з труднощами в отриманні цієї інформації та вдалася до дій, на які ми не давали дозволу. Шукаючи цю інформацію в сервісі статистичної звітності Medicare від Services Australia, вона знайшла спосіб отримати доступ до непублічної частини сервісу. Потім вона використала цей доступ, щоб переглянути технічну інформацію про систему та вихідний код сервісу — усе ще намагаючись знайти початково запитану інформацію. Ми не планували таких дій, і ні цього доступу до сервісу, ні подальших дій не мало статися.
Після інциденту з Hugging Face ми посилили заходи безпеки в дослідженнях, зокрема запровадили додаткові мережеві обмеження та розширили моніторинг. Ми впровадили засоби контролю, які блокують прямий доступ до інтернету в цих дослідницьких середовищах: натомість вебвміст надається з кешу. Додатковий рівень захисту забезпечують наші нинішні системи моніторингу: вони виявили б такі дії та терміново сповістили б нашу команду для перевірки фахівцями. Наприклад, коли модель отримала прямий доступ до інтернету під час нещодавнього сеансу навчання(відкривається у новому вікні), наша система моніторингу виявила ці дії та терміново сповістила фахівця, і ми зупинили сеанс. Ми й далі тестуємо ці засоби захисту та усуваємо прогалини. Інцидент із Hugging Face залишається найсерйознішим із тих, які ми спостерігали.
Люди хочуть бути впевненими, що ШІ розробляють безпечно, і це починається з дій самих компаній, як-от наша. Нещодавно ми повідомили(відкривається у новому вікні), що призупинили навчання й оцінювання наших найпотужніших моделей із використанням інструментів. Ми відновимо їхнє навчання лише тоді, коли будемо впевнені, що запровадили додаткові заходи безпеки, над якими зараз працюємо.
Оскільки можливості систем ШІ загалом зростають, ми також бачимо, що часу на допомогу організаціям у виявленні й усуненні вразливостей залишається дедалі менше. Це потребує спільних дій із фахівцями кіберзахисту в усьому світі.
Разом з організаціями у сферах технологій, кібербезпеки та критичної інфраструктури ми долучилися до заклику до спільних дій із кіберзахисту. Цей заклик починається з наших власних обов’язків: посилювати захист, своєчасно повідомляти про інциденти та надавати практичну підтримку постраждалим організаціям. Він також закликає інвестувати в команди, які захищають життєво важливі служби, щоб вони могли знаходити вразливості, перевіряти виправлення й ділитися дієвими підходами.
В Австралії ми виділяємо ресурси та залучаємо експертів, щоб підтримати постраждалі установи й допомогти фахівцям кіберзахисту втілити ці принципи на практиці. Зокрема, ми забезпечимо:
Цільову підтримку постраждалих установ. Ми виділимо необхідні ресурси, щоб допомогти постраждалим установам зрозуміти, що сталося, та оцінити наслідки. Зокрема, ми поділимося відповідними технічними висновками та організуємо взаємодію з нашими командами реагування в межах належних домовленостей про обмін інформацією.
Фінансування та підтримку для посилення кіберзахисту. Ми підтримаємо органи влади та бізнес Австралії, надаючи кредити з нашого фонду Daybreak для фахівців на передовій кіберзахисту обсягом 1 млрд доларів США, а також технічну допомогу для посилення кіберзахисту критичної інфраструктури та інших середовищ, що потребують особливого захисту. Спираючись на нашу співпрацю з органами влади й операторами критичної інфраструктури, ця робота допоможе організаціям краще розуміти та виявляти ризики, пов’язані з дедалі потужнішими агентами ШІ, і реагувати на них.
Створення робочої групи в Австралії. Ми створимо робочу групу за участю незалежних австралійських експертів, щоб розробити практичні рекомендації щодо політики управління ризиками, пов’язаними з дедалі потужнішими агентами ШІ. Спираючись на уроки цих інцидентів, група зосередиться на вдосконаленні процедур сповіщення, посиленні координації між розробниками ШІ та владою, а також визначенні заходів для кращого захисту державних систем. Рекомендації робочої групи допоможуть сформувати підхід OpenAI та підтримають роботу органів влади Австралії у сфері безпеки ШІ й кібербезпеки. Робоча група, яка, як очікується, завершить роботу до кінця року, також запропонує практичні кроки, які компанії у сфері ШІ можуть зробити для зниження ризику подібних інцидентів.
Органи влади, бізнес і громадяни Австралії завжди були й залишаються неоціненними партнерами OpenAI. Ми не сприймаємо це як належне й маємо намір виправити ситуацію.
Директор зі стратегії OpenAI Джейсон Квон прилетить зі штаб-квартири OpenAI у США, щоб у вівторок, 6 жовтня, виступити в Сіднеї перед Спільним спеціальним комітетом зі штучного інтелекту. Він відповість на запитання про те, що нам відомо, як ми відреагували, яких заходів ужили та як діятимемо краще надалі.
Ми й далі ділитимемося перевіреними висновками з постраждалими установами та відповідними органами влади. Ми публікуватимемо оновлення про нашу поточну перевірку та виконання цих зобов’язань. Ми знаємо, що для відновлення довіри попереду ще багато роботи. Наш обов’язок — показати австралійцям, що ми впроваджуємо суттєві зміни та дотримуємося своїх обіцянок.
