Proiectarea agenților IA pentru a rezista la injectarea de solicitări

Agenții IA sunt din ce în ce mai capabili să navigheze pe web, să regăsească informații și să întreprindă acțiuni în numele unui utilizator. Aceste capacități sunt utile, dar creează și noi modalități prin care atacatorii pot încerca să manipuleze sistemul.

Aceste atacuri sunt adesea descrise ca injectări de solicitări⁠: instrucțiuni plasate în conținut extern în încercarea de a face modelul să facă ceva ce utilizatorul nu a cerut. Conform experienței noastre, cele mai eficiente variante practice ale acestor atacuri seamănă tot mai mult cu ingineria socială, și nu cu simple înlocuiri de solicitări.

Această schimbare contează. Dacă problema nu este doar identificarea unui șir rău intenționat, ci rezistența la conținut înșelător sau manipulator în context, atunci apărarea împotriva acestuia nu se poate baza doar pe filtrarea intrărilor. De asemenea, necesită proiectarea sistemului astfel încât impactul manipulării să fie limitat, chiar dacă unele atacuri reușesc.

Primele atacuri de tip „injectare de solicitări” puteau fi de o simplitate absolută, cum ar fi modificarea unui articol de pe Wikipedia pentru a include instrucțiuni directe destinate agenților IA care îl accesează; fără să fi fost instruite să facă față unui astfel de mediu ostil, modelele IA urmau adesea aceste instrucțiuni fără să pună întrebări¹. Pe măsură ce modelele au devenit mai inteligente, au devenit și mai puțin vulnerabile la acest tip de sugestie, iar noi am observat că atacurile de tip „injectare de solicitări” au răspuns prin includerea unor elemente de inginerie socială:

În cadrul ecosistemului mai larg de securitate a IA, a devenit o practică obișnuită să se recomande tehnici precum „firewalling IA”, în care un intermediar între agentul IA și mediul exterior încearcă să clasifice datele de intrare în două categorii: injectare de solicitări rău intenționate și date de intrare obișnuite; însă aceste atacuri bine elaborate nu sunt, de obicei, detectate de astfel de sisteme. În cazul acestor sisteme, detectarea unei intrări rău intenționate devine o problemă la fel de dificilă ca și detectarea unei minciuni sau a unei informații eronate, adesea fără contextul necesar.

Pe măsură ce atacurile reale de injectări de solicitări au devenit mai complexe, am constatat că cele mai eficiente tehnici ofensive au valorificat tacticile de inginerie socială. În loc să tratăm aceste atacuri de injectare de solicitări bazate pe inginerie socială ca pe o categorie separată sau complet nouă de probleme, am început să le privim prin prisma gestionării riscurilor legate de ingineria socială la care sunt expuși oamenii în alte domenii. În aceste sisteme, obiectivul nu se limitează la identificarea perfectă a datelor de intrare rău intenționate, ci la proiectarea unor agenți și sisteme care să limiteze impactul manipulării, chiar și în cazul în care aceasta reușește. Astfel de sisteme se dovedesc a fi eficiente în atenuarea atât a injectării de solicitări, cât și a ingineriei sociale.

În acest fel, ne putem imagina agentul IA ca existând într-un sistem similar cu trei actori, precum un agent de servicii pentru clienți; agentul dorește să acționeze în numele angajatorului său, dar este expus continuu la intrări externe care ar putea încerca să-l inducă în eroare. Agentul de asistență clienți, fie el uman sau IA, trebuie să aibă limitări ale capacităților sale pentru a limita riscul de dezavantaj inerent existenței într-un astfel de mediu rău intenționat.

Imaginează-ți o situație în care o persoană gestionează un sistem de asistență pentru clienți și poate oferi carduri cadou și rambursări pentru neplăcerile întâmpinate de client, cum ar fi livrarea întârziată, daunele cauzate de defecțiuni etc. Aceasta este o problemă care implică mai multe părți, iar compania trebuie să aibă încredere că agentul acordă rambursări din motive întemeiate, în timp ce agentul interacționează și cu persoane terțe care ar putea încerca să-l inducă în eroare sau chiar să-l pună sub presiune.

În realitate, agentului i se oferă un set de reguli pe care trebuie să le respecte, dar se preconizează că, în mediul ostil în care se află, acesta va fi indus în eroare. Poate că un client trimite un mesaj în care susține că rambursarea nu a fost procesată sau amenință cu acțiuni negative dacă nu i se acordă rambursarea. Sistemele deterministe cu care interacționează agentul limitează valoarea rambursărilor care pot fi acordate unui client, semnalează potențiale e-mailuri de phishing și oferă alte măsuri de atenuare similare pentru a limita impactul compromiterii unui agent individual. 

Această viziune a determinat implementarea unui set solid de măsuri de contracarare pentru a satisface așteptările utilizatorilor noștri în materie de securitate.

În ChatGPT, combinăm acest model de inginerie socială cu abordări mai tradiționale de inginerie de securitate, cum ar fi analiza sursă-destinație.

În acest context, un atacator are nevoie atât de o sursă, adică de o modalitate de a influența sistemul, cât și de o destinație, adică de o capacitate care devine periculoasă într-un context nepotrivit. În cazul sistemelor agentice, acest lucru înseamnă adesea combinarea unui conținut extern nesigur cu o acțiune precum transmiterea de informații către o terță parte, accesarea unui link sau interacțiunea cu un instrument.

Obiectivul nostru este să le asigurăm utilizatorilor un nivel minim de siguranță: acțiunile potențial periculoase sau transmiterea de informații confidențiale nu trebuie să aibă loc în secret sau fără măsuri de protecție adecvate.

Atacurile pe care le întâlnim împotriva ChatGPT constau cel mai adesea în încercarea de a convinge asistentul să extragă anumite informații confidențiale dintr-o conversație și să le transmită unei terțe părți rău intenționate. În majoritatea cazurilor de care avem cunoștință, aceste atacuri eșuează deoarece, datorită instruirii noastre în materie de siguranță, agentul refuză să coopereze. Pentru cazurile în care agentul este convins, am dezvoltat o strategie de atenuare numită Safe Url, concepută pentru a detecta momentul în care informațiile pe care asistentul le-a aflat în conversație ar fi transmise către o terță parte. În aceste cazuri rare, fie îi prezentăm utilizatorului informațiile care ar urma să fie transmise și îi cerem să confirme, fie blocăm procesul și îi indicăm agentului să încerce o altă modalitate de a da curs solicitării utilizatorului.

Același mecanism se aplică navigărilor și marcajelor din Atlas⁠; și căutărilor și navigărilor în Cercetarea aprofundată⁠. ChatGPT Canvas⁠ și ChatGPT Apps⁠ adoptă o abordare similară, permițându-i agentului să creeze și să utilizeze aplicații funcționale — acestea rulează într-un sandbox capabil să detecteze comunicări neașteptate și să ceară consimțământul utilizatorului⁠(se deschide într-o fereastră nouă).

Poți citi mai multe informații despre Safe Url și poți găsi un document despre structura sa în postarea de pe blog dedicată Cum să-ți protejezi datele când un agent IA face clic pe un link⁠.

Interacțiunea în condiții de siguranță cu mediul exterior ostil este esențială pentru agenții complet autonomi. Atunci când integrezi un model IA într-un sistem de aplicații, îți recomandăm să afli ce controale ar trebui să aibă un agent uman într-o situație similară și să le implementezi. Ne așteptăm ca un model de IA cu inteligență maximă să poată rezista ingineriei sociale mai bine decât un agent uman, dar acest lucru nu este întotdeauna fezabil sau rentabil, în funcție de situație.

Continuăm să analizăm implicațiile ingineriei sociale asupra modelelor IA și măsurile de apărare împotriva acesteia și să ne incorporăm constatările atât în arhitecturile de securitate ale aplicațiilor, cât și în procesul de instruire al modelelor noastre de IA.