În iunie, în timpul antrenării și evaluării interne, modelele noastre au accesat site-uri guvernamentale australiene în moduri neautorizate. De asemenea, ar fi trebuit să gestionăm mai bine răspunsul nostru la această situație. Ne pare rău și lucrăm pentru a proceda mai bine în viitor.
În acest articol prezentăm ceea ce știm, ce am schimbat și ce vom face pentru a recâștiga încrederea australienilor. Acesta este un nou tip de incident cibernetic, care reprezintă o provocare emergentă la nivel mondial. Una dintre modalitățile prin care intenționăm să ne asumăm responsabilitatea pentru această situație este colaborarea activă cu Australia pentru a contribui la dezvoltarea unor abordări practice privind modul în care dezvoltatorii de IA și guvernele identifică, comunică și răspund la comportamentul cibernetic al IA, fie el rău intenționat sau neintenționat.
După incidentul Hugging Face din iulie, am început să analizăm activitățile anterioare de antrenare și evaluare pentru a identifica alte organizații afectate. La jumătatea lunii august, această analiză a identificat activități care au afectat site-urile guvernamentale australiene de mai jos.
Iată ce știm pe baza dovezilor:
Services Australia: Un model OpenAI a descoperit o modalitate de a obține acces la părți ale serviciului care nu erau disponibile publicului, a executat comenzi, a preluat fișiere interne, date de autentificare și statistici agregate și a scris fișiere. Totuși, nu au fost accesate dosare individuale ale pacienților sau clienților. Prezentăm acest incident mai detaliat mai jos.
Biroul de Statistică și Cercetare a Criminalității din New South Wales (BOCSAR): Un model OpenAI a accesat instrumentul public de cartografiere a criminalității al BOCSAR pentru a cerceta statistici publice despre criminalitate (explicăm mai jos de ce modelele îndeplinesc diverse sarcini de căutare a informațiilor). Modelul a trimis solicitări API și solicitări de metadate ale site-ului prin instrumentul public BOCSAR, care furnizează date de autentificare pentru solicitările API din browser. Sistemul BOCSAR a returnat configurația aplicației, sarcini operaționale și jurnale, precum și metadate ale site-ului. Nu au fost accesate caziere judiciare individuale.
Departamentul Sănătății din Victoria: Agenți OpenAI au descoperit o cheie de acces expusă, pe care au folosit-o pentru a interoga sistemul de raportare al Agenției pentru Informații de Sănătate din Victoria și a prelua configurația de raportare și statistici agregate din sondaje. Nu este clar în ce măsură aceste informații ar fi trebuit să fie accesibile; acest lucru depinde de politicile de acces ale VAHI. Nu au fost accesate dosare medicale individuale sau răspunsuri la sondaje care să permită identificarea respondenților.
Institutul Australian de Sănătate și Asistență Socială: Agenți OpenAI au preluat statistici agregate folosind servicii terțe de navigare și descărcare, inclusiv de pe site-ul AIHW, și au interogat direct datele din grafice. Încercările separate de a ocoli mecanismele de control al accesului nu au reușit. Materialele descărcate par să fi fost disponibile publicului. Sistemul nu a fost compromis. Nu au fost accesate dosare medicale individuale.
Am început investigațiile asupra acestor activități imediat ce am aflat despre ele, la jumătatea lunii august. Am notificat Services Australia și Departamentul Sănătății din Victoria pe 10 septembrie, iar Biroul de Statistică și Cercetare a Criminalității din New South Wales pe 18 septembrie. Activitatea legată de Institutul Australian de Sănătate și Asistență Socială nu a îndeplinit criteriile noastre de notificare, deoarece modul de accesare părea compatibil cu accesul public. Totuși, am notificat institutul pe 24 septembrie pentru a-i comunica constatările noastre și a-i propune o sesiune de informare.
Scopul nostru era să oferim instituțiilor afectate o prezentare detaliată după finalizarea investigației. Totuși, ar fi trebuit să comunicăm constatările preliminare mai devreme și să ținem instituțiile australiene la curent pe măsură ce aflam noi fapte.
De atunci, am colaborat îndeaproape cu instituțiile guvernamentale australiene pentru a le comunica ceea ce am aflat până în prezent. Dacă identificăm alte instituții afectate, le vom notifica prompt și direct, comunicându-le informațiile disponibile, și le vom ține la curent pe măsură ce aflăm noi fapte.
În timpul antrenării și evaluării interne din iunie, rulam un model OpenAI experimental, destinat exclusiv uzului intern, care nu urma să fie lansat public și care nu dispunea de întregul set de măsuri de protecție folosite în produsele noastre disponibile publicului. În cursul acestei antrenări și evaluări, modelul a accesat Serviciul de raportare statistică Medicare al Services Australia. Analiza noastră de până acum nu a identificat dovezi că ar fi fost accesate dosarele medicale ale vreunei persoane.
Când ne antrenăm și evaluăm intern modelele, le atribuim sarcini selectate dintr-o colecție amplă de întrebări de cercetare din numeroase domenii, care reflectă tipurile de întrebări detaliate pe care le-ar putea adresa utilizatorii. Astfel, un model este antrenat să găsească, să interpreteze și să analizeze informații disponibile publicului, pentru a le fi mai util oamenilor. Modelele noastre ar trebui să răspundă la aceste întrebări folosind statistici publicate și accesibile publicului.
În acest caz, una dintre sarcinile atribuite modelului era să cerceteze cheltuielile guvernamentale pe persoană pentru medicamente destinate afecțiunilor cutanate în comunitățile din statul Victoria. Modelul a întâmpinat dificultăți în obținerea acestor informații și a întreprins acțiuni pe care nu îl autorizaserăm să le întreprindă. În timp ce căuta aceste informații în Serviciul de raportare statistică Medicare al Services Australia, a descoperit o modalitate de a obține acces la părți ale serviciului care nu erau disponibile publicului. Apoi a folosit acest acces pentru a examina informații tehnice despre sistem și codul-sursă al serviciului, tot cu scopul de a găsi informațiile pe care le căuta inițial. Nu am intenționat ca această activitate să aibă loc, iar accesarea serviciului și acțiunile ulterioare nu ar fi trebuit să se întâmple.
În urma incidentului Hugging Face, am consolidat măsurile de protecție din activitatea de cercetare, inclusiv prin restricții suplimentare de rețea și o monitorizare mai amplă. Am implementat mecanisme care blochează accesul direct la internet în aceste medii de cercetare, accesul la conținut web fiind asigurat prin copii stocate în cache. Ca nivel suplimentar de securitate, sistemele noastre actuale de monitorizare ar fi detectat această activitate și ar fi alertat echipa pentru o verificare umană urgentă. De exemplu, când un model a obținut acces direct la internet în timpul unei sesiuni recente de antrenare(se deschide într-o fereastră nouă), sistemul nostru de monitorizare a detectat activitatea și a alertat un evaluator uman, iar noi am oprit sesiunea. Continuăm să testăm aceste măsuri de protecție și să remediem lacunele. Incidentul Hugging Face rămâne cel mai grav pe care l-am observat.
Oamenii vor să știe că IA este dezvoltată în siguranță, iar acest lucru începe cu propriile acțiuni ale companiilor ca a noastră. Am anunțat(se deschide într-o fereastră nouă) recent că am suspendat antrenarea și evaluarea care implică utilizarea instrumentelor pentru modelele noastre cele mai capabile. Vom relua antrenarea lor doar atunci când vom avea încredere că sunt implementate măsuri de protecție suplimentare, la care lucrăm în prezent.
Pe măsură ce sistemele de IA devin în general tot mai capabile, vedem și că timpul disponibil pentru a ajuta organizațiile să identifice și să remedieze punctele slabe se scurtează. Acest lucru necesită acțiune colectivă, în colaborare cu specialiștii în apărare cibernetică din întreaga lume.
Ne-am alăturat organizațiilor din domeniile tehnologiei, securității cibernetice și infrastructurii critice într-un apel la acțiune colectivă pentru apărarea cibernetică. Acest apel începe cu propriile noastre responsabilități, inclusiv măsuri de protecție mai solide, informare la timp și sprijin practic pentru organizațiile afectate. De asemenea, apelul solicită investiții în echipele care protejează serviciile esențiale, astfel încât acestea să poată identifica vulnerabilități, verifica remedieri și împărtăși soluțiile care funcționează.
În Australia, ne angajăm să alocăm resurse și expertiză pentru a sprijini instituțiile afectate și a ajuta specialiștii în apărare cibernetică să pună în practică aceste principii, inclusiv prin:
Sprijin dedicat instituțiilor afectate. Vom aloca resursele necesare pentru a ajuta instituțiile afectate să înțeleagă ce s-a întâmplat și să evalueze impactul. Aceasta include comunicarea constatărilor tehnice relevante și facilitarea colaborării cu echipele noastre de răspuns la incidente, prin acorduri adecvate de schimb de informații.
Finanțare și sprijin pentru consolidarea apărării cibernetice. Vom sprijini guvernele și industria din Australia prin credite din fondul nostru de 1 miliard de dolari, Daybreak pentru apărătorii din prima linie, și prin asistență tehnică pentru consolidarea apărării cibernetice în infrastructura critică și în alte medii sensibile. Bazându-se pe colaborarea noastră cu guvernele și operatorii de infrastructură critică, această activitate va ajuta organizațiile să înțeleagă și să detecteze mai bine riscurile generate de agenții IA tot mai capabili și să răspundă mai eficient la acestea.
Un grup de lucru australian. Vom înființa un grup de lucru care va beneficia de expertiza unor specialiști australieni independenți, pentru a elabora recomandări practice de politici pentru gestionarea riscurilor generate de agenții IA tot mai capabili. Pe baza lecțiilor învățate din aceste incidente, grupul se va concentra pe îmbunătățirea proceselor de notificare, consolidarea coordonării dintre dezvoltatorii de IA și autorități și identificarea unor măsuri pentru o mai bună protecție a sistemelor guvernamentale. Recomandările grupului de lucru vor ghida abordarea OpenAI și vor sprijini activitatea guvernelor australiene în domeniul siguranței IA și al securității cibernetice. Grupul de lucru, care ar urma să își încheie activitatea până la sfârșitul anului, va recomanda și măsuri practice pe care companiile de IA le pot lua pentru a reduce riscul unor incidente similare.
Guvernele, industriile și cetățenii Australiei sunt și au fost parteneri de neprețuit pentru OpenAI. Nu considerăm acest sprijin de la sine înțeles și intenționăm să îndreptăm situația.
Directorul de strategie al OpenAI, Jason Kwon, va veni de la sediul OpenAI din SUA pentru a se prezenta marți, 6 octombrie, în fața Comisiei parlamentare mixte speciale pentru inteligență artificială, la Sydney. El va răspunde la întrebări despre ceea ce știm, cum am reacționat, ce măsuri am luat și cum ne vom îmbunătăți practicile pe viitor.
Vom continua să comunicăm constatările verificate instituțiilor afectate și guvernelor relevante. Vom publica actualizări despre analiza noastră în curs și despre progresele în îndeplinirea acestor angajamente. Știm că mai avem mult de lucru pentru a recâștiga încrederea și că este responsabilitatea noastră să le demonstrăm australienilor că facem schimbări semnificative și ne respectăm promisiunile.
