Как ще се справяме по-добре за Австралия
През юни, по време на вътрешно обучение и оценяване, нашите модели получиха достъп до австралийски правителствени уебсайтове по начини, за които нямаха разрешение. Освен това трябваше да реагираме по-добре. Извиняваме се и работим, за да се справяме по-добре занапред.
В тази публикация излагаме какво знаем, какво сме променили и какво ще направим, за да възстановим доверието на австралийците. Това е нов вид киберинцидент, който представлява нововъзникващо глобално предизвикателство. Един от начините, по които възнамеряваме да поемем отговорност за ситуацията, е да работим целенасочено с Австралия за разработване на практически подходи, чрез които разработчиците на ИИ и правителствата да откриват и оповестяват кибердействия на ИИ и да реагират на тях, независимо дали са злонамерени, или непреднамерени.
След инцидента с Hugging Face през юли започнахме преглед на по-ранни действия при обучение и оценяване, за да установим дали има други засегнати организации. В средата на август при този преглед установихме действия, засягащи посочените по-долу австралийски правителствени уебсайтове.
Ето какво знаем въз основа на доказателствата:
Services Australia: Модел на OpenAI откри начин да получи достъп извън публично достъпната част на услугата, изпълни команди, извлече вътрешни файлове, данни за удостоверяване и обобщени статистически данни и записа файлове. Не е осъществен обаче достъп до досиета на отделни пациенти или клиенти. Разглеждаме този инцидент по-подробно по-долу.
Бюро за статистика и изследване на престъпността на Нов Южен Уелс (BOCSAR): Модел на OpenAI използва публичния инструмент на BOCSAR за картографиране на престъпността, за да проучи публични статистически данни за престъпността (по-долу обясняваме по-подробно защо моделите изпълняват различни задачи за проучване на информация). Моделът изпрати заявки към API и за метаданни на уебсайта чрез публичния инструмент на BOCSAR, който предоставя данни за удостоверяване за API заявки от браузъра. Системата на BOCSAR върна конфигурацията на приложението, оперативни задачи и журнали, както и метаданни на уебсайта. Не е осъществен достъп до криминални досиета на отделни лица.
Министерство на здравеопазването на щата Виктория: Агенти на OpenAI откриха незащитен ключ за достъп, чрез който изпратиха заявки към системата за справки на Агенцията за здравна информация на Виктория и извлякоха конфигурацията за справките и обобщени статистически данни от анкети. Не е ясно до каква степен тази информация е трябвало да бъде достъпна — това зависи от правилата за достъп на VAHI. Не е осъществен достъп до индивидуални медицински досиета или отговори на анкети, позволяващи идентифициране на участниците.
Австралийски институт по здравеопазване и социално благосъстояние: Агенти на OpenAI извлякоха обобщени статистически данни, включително от уебсайта на AIHW, чрез външни услуги за сърфиране и изтегляне и изпратиха директни заявки за данни от диаграми. Отделни опити за заобикаляне на механизмите за контрол на достъпа бяха неуспешни. Изтеглените материали изглежда са били публично достъпни. Системата не е била компрометирана. Не е осъществен достъп до индивидуални медицински досиета.
Започнахме разследвания на тези действия веднага щом научихме за тях в средата на август. Уведомихме Services Australia и Министерството на здравеопазването на Виктория на 10 септември, а Бюрото за статистика и изследване на престъпността на Нов Южен Уелс — на 18 септември. Действията, свързани с Австралийския институт по здравеопазване и социално благосъстояние, не достигнаха прага за уведомяване съгласно нашите критерии, тъй като начинът на достъп изглеждаше съвместим с публичния достъп. Въпреки това уведомихме института на 24 септември, за да споделим констатациите си и да предложим разяснителна среща.
Целта ни беше да предоставим на засегнатите институции подробна информация след приключване на разследването. Трябваше обаче да споделим предварителните констатации по-рано и да информираме австралийските институции при установяването на нови факти.
Оттогава работим в тясно сътрудничество с австралийските държавни институции, за да споделяме установеното до момента. Ако установим други засегнати институции, ще ги уведомим своевременно и пряко, ще им предоставим наличната информация и ще ги информираме при установяването на допълнителни факти.
По време на вътрешно обучение и оценяване през юни използвахме експериментален модел на OpenAI само за вътрешни цели. Той не беше предназначен за публично пускане и не разполагаше с пълния набор от предпазни мерки, използвани в публично достъпните ни продукти. В хода на това обучение и оценяване той осъществи достъп до услугата за статистически справки на Medicare към Services Australia. До момента проверката ни не е установила доказателства за достъп до нечии медицински досиета.
При вътрешното обучение и оценяване на моделите им възлагаме задачи от широк набор изследователски въпроси по множество теми, които отразяват видовете подробни въпроси, които потребителите биха задали. Така моделът се обучава да намира, тълкува и анализира публично достъпна информация, за да бъде по-полезен на хората. Нашите модели трябва да отговарят на тези въпроси, като използват публично публикувани статистически данни.
В този случай една от задачите, възложени на модела, беше да проучи държавните разходи на човек за лекарства за кожни заболявания в общностите в щата Виктория. Моделът срещна трудности при намирането на тази информация и предприе действия, за които не му бяхме дали разрешение. Докато търсеше тази информация в услугата за статистически справки на Medicare към Services Australia, той откри начин да получи достъп извън публично достъпната част на услугата. След това използва този достъп, за да прегледа техническа информация за системата и изходен код, свързан с услугата — все така с цел да намери първоначално търсената информация. Не сме възнамерявали да допуснем подобни действия. Нито този достъп до услугата, нито последвалите действия е трябвало да се случват.
След инцидента с Hugging Face засилихме предпазните мерки при изследователската си работа, включително с допълнителни мрежови ограничения и разширено наблюдение. Въведохме механизми за блокиране на прекия достъп до интернет в тези изследователски среди, като достъпът до уеб съдържание се осигурява чрез кеширани копия. Като допълнително ниво на сигурност, сегашните ни системи за наблюдение биха засекли тези действия и биха изпратили сигнал до екипа ни за спешна проверка от човек. Например, когато модел получи пряк достъп до интернет по време на скорошно обучение(отваря се в нов прозорец), системите ни за наблюдение засякоха действията и изпратиха сигнал за проверка от човек, след което спряхме обучението. Продължаваме да тестваме тези защити и да отстраняваме пропуските. Инцидентът с Hugging Face остава най-сериозният, който сме наблюдавали.
Хората искат да знаят, че ИИ се разработва безопасно, а това започва от действията на самите компании като нашата. Наскоро съобщихме(отваря се в нов прозорец), че сме преустановили обучението и оценяването с използване на инструменти за най-способните си модели. Ще възобновим обучението им едва когато сме уверени, че сме въвели допълнителни предпазни мерки, по които работим в момента.
С нарастването на възможностите на системите с ИИ като цяло виждаме също, че ни остава все по-малко време да помогнем на организациите да открият и отстранят слабостите си. Това изисква съвместни действия със специалистите по киберзащита по целия свят.
Присъединихме се към организации от секторите на технологиите, киберсигурността и критичната инфраструктура в призив за съвместни действия за киберзащита. Този призив започва със собствените ни отговорности, включително по-строги предпазни мерки, своевременно оповестяване и практическа подкрепа за засегнатите организации. Той призовава и за инвестиции в екипите, които защитават основни услуги, за да могат да откриват уязвимости, да проверяват дали са отстранени и да споделят работещите решения.
В Австралия се ангажираме да предоставим ресурси и експертни знания в подкрепа на засегнатите институции и да помогнем на специалистите по киберзащита да приложат тези принципи на практика, включително чрез:
Целенасочена подкрепа за засегнатите институции. Ще осигурим необходимите ресурси, за да помогнем на засегнатите институции да разберат какво се е случило и да оценят последиците. Това включва споделяне на относимите технически констатации и организиране на взаимодействието с нашите екипи за реагиране чрез подходящи договорености за обмен на информация.
Финансиране и подкрепа за укрепване на киберзащитата. Ще подкрепим австралийските правителства и бизнеса с кредити от нашия фонд Daybreak за защитниците на първа линия на стойност 1 милиард долара и с техническа помощ за укрепване на киберзащитата на критичната инфраструктура и други чувствителни среди. Надграждайки сътрудничеството ни с правителствата и операторите на критична инфраструктура, тази работа ще помогне на организациите по-добре да разбират, откриват и да реагират на рисковете от все по-способните ИИ агенти.
Австралийска работна група. Ще създадем работна група с участието на независими австралийски експерти, която да разработи практически препоръки за политики за управление на рисковете от все по-способните ИИ агенти. Въз основа на поуките от тези инциденти тя ще се съсредоточи върху подобряването на процедурите за уведомяване, засилването на координацията между разработчиците на ИИ и държавните органи и определянето на мерки за по-добра защита на държавните системи. Препоръките на работната група ще послужат за основа на подхода на OpenAI и ще подпомогнат работата на австралийските правителства по безопасността на ИИ и киберсигурността. Работната група, която се очаква да приключи дейността си до края на годината, ще препоръча и практически стъпки, които компаниите за ИИ могат да предприемат, за да намалят риска от подобни инциденти.
Австралийските правителства, бизнесът и гражданите винаги са били и продължават да бъдат безценни партньори за OpenAI. Не приемаме това за даденост и възнамеряваме да поправим стореното.
Директорът по стратегията на OpenAI Джейсън Куон ще пристигне от централата на OpenAI в САЩ, за да се яви пред Съвместната специална комисия по изкуствен интелект в Сидни във вторник, 6 октомври. Той ще отговори на въпроси за това какво знаем, как сме реагирали, какви стъпки сме предприели и как ще подобрим работата си занапред.
Ще продължим да споделяме потвърдените констатации със засегнатите институции и съответните правителства. Ще публикуваме актуална информация за текущата ни проверка и за напредъка по изпълнението на тези ангажименти. Знаем, че ни предстои много работа, за да възстановим доверието, и че носим отговорност да покажем на австралийците, че правим съществени промени и изпълняваме обещанията си.
