Rete di red teaming di OpenAI

Apriamo le candidature alla rete di red teaming di OpenAI e invitiamo esperti di settore interessati a migliorare la sicurezza dei modelli di OpenAI a collaborare con noi. Cerchiamo esperti di diversi settori che collaborino con noi per sottoporre i nostri modelli di IA a rigorose valutazioni e attività di red teaming.

Il red teaming^A è parte integrante del nostro processo di rilascio iterativo⁠. Negli ultimi anni, le nostre attività di red teaming si sono ampliate: dai test avversariali interni a OpenAI siamo passati alla collaborazione con un gruppo di esperti esterni^B, per contribuire a sviluppare tassonomie dei rischi specifiche per settore e valutare le capacità potenzialmente dannose dei nuovi sistemi. Puoi approfondire le nostre precedenti attività di red teaming, comprese le collaborazioni con esperti esterni, su modelli come DALL·E 2⁠(si apre in una nuova finestra) e GPT‑4⁠(si apre in una nuova finestra).^C

Oggi avviamo un'iniziativa più strutturata per consolidare queste basi, approfondire e ampliare le collaborazioni con esperti esterni e rendere così i nostri modelli più sicuri. La collaborazione con singoli esperti, istituti di ricerca e organizzazioni della società civile è una parte importante del nostro processo. Consideriamo questo lavoro complementare alle pratiche di governance definite da soggetti esterni, come gli audit di terze parti.

La rete di red teaming di OpenAI è una comunità di esperti affidabili e qualificati che può contribuire più ampiamente alle nostre attività di valutazione e mitigazione dei rischi, superando l'approccio basato su incarichi isolati e processi di selezione prima dei principali rilasci dei modelli. I membri della rete saranno coinvolti in base alle loro competenze per contribuire alle attività di red teaming in diverse fasi del ciclo di sviluppo di modelli e prodotti. Non tutti i membri saranno coinvolti in ogni nuovo modello o prodotto. L'impegno di tempo sarà concordato con ciascuno e potrà limitarsi anche a sole 5–10 ore in un anno.

Al di fuori delle campagne di red teaming commissionate da OpenAI, i membri avranno l'opportunità di confrontarsi sulle pratiche e sui risultati del red teaming in generale. L'obiettivo è favorire contributi più diversificati e continuativi e rendere il red teaming un processo più iterativo. Questa rete si affianca ad altre opportunità di collaborazione per la sicurezza dell'IA, tra cui il nostro programma di accesso per ricercatori⁠ e le valutazioni open source⁠(si apre in una nuova finestra).

Questa rete offre un'opportunità unica di contribuire allo sviluppo di tecnologie e politiche per un'IA più sicura e di orientare l'impatto che l'IA può avere sul nostro modo di vivere, lavorare e interagire. Entrando nella rete, farai parte del nostro gruppo di esperti di settore, che potranno essere chiamati a valutare i nostri modelli e sistemi in diverse fasi del loro rilascio.

Valutare i sistemi di IA richiede la comprensione di un'ampia varietà di ambiti, punti di vista ed esperienze vissute. Invitiamo esperti da tutto il mondo a candidarsi e, nel processo di selezione, diamo priorità alla diversità sia geografica sia delle competenze. 

Tra gli ambiti di nostro interesse figurano, a titolo non esaustivo:

Non è richiesta un'esperienza pregressa con sistemi di IA o modelli linguistici, ma può essere utile. Ciò che conta di più per noi è la tua disponibilità a partecipare e a contribuire con il tuo punto di vista al modo in cui valutiamo gli impatti dei sistemi di IA.

Tutti i membri della rete di red teaming di OpenAI riceveranno un compenso per il loro contributo quando parteciperanno a un progetto di red teaming. Far parte di questa rete non ti impedirà di pubblicare le tue ricerche o di cogliere altre opportunità. Tieni però presente che la partecipazione ad attività di red teaming e ad altri progetti è spesso soggetta ad accordi di non divulgazione (NDA) o a obblighi di riservatezza a tempo indeterminato.

Le candidature sono chiuse.

D: Cosa comporta entrare nella rete?

R: Far parte della rete significa che potresti ricevere un invito a testare un nuovo modello o a esaminare un ambito di interesse in un modello già disponibile. Le attività svolte nell'ambito della rete sono soggette a un accordo di non divulgazione (NDA), anche se in passato abbiamo pubblicato molti risultati delle nostre attività di red teaming nelle schede di sistema e negli articoli del blog. Riceverai un compenso per il tempo dedicato ai progetti di red teaming.

D: Quanto tempo occorre dedicare alla rete? 

R: Puoi adattare il tempo da dedicare in base ai tuoi impegni. Tieni presente che non tutti i membri della rete saranno contattati per ogni opportunità: OpenAI selezionerà le persone più adatte a ciascun progetto di red teaming, dando spazio a nuove prospettive nelle campagne successive. Anche solo 5 ore in un anno sarebbero preziose per noi, quindi non esitare a candidarti se ti interessa, anche se hai poco tempo a disposizione.

D: Quando verrà comunicata l'accettazione delle candidature?

R: OpenAI selezionerà progressivamente i membri della rete e potrai candidarti fino al 1° dicembre 2023. Al termine di questo periodo valuteremo la possibilità di riaprire le candidature in futuro.

D: Far parte della rete significa che mi verrà chiesto di svolgere attività di red teaming su ogni nuovo modello?

R: No, OpenAI selezionerà le persone più adatte a ciascun progetto di red teaming, quindi non dovresti aspettarti di testare ogni nuovo modello.

D: Quali sono alcuni dei criteri di selezione dei membri della rete?

R: Ecco alcuni dei criteri che consideriamo:

• Competenze o esperienza comprovate in un ambito rilevante per il red teaming

• Forte interesse a migliorare la sicurezza dell'IA

• Assenza di conflitti di interesse

• Diversità di percorsi e appartenenza a gruppi tradizionalmente sottorappresentati

• Diversità di provenienza geografica 

• Padronanza di più di una lingua

• Competenze tecniche (non obbligatorie)

D: Quali altre opportunità di collaborazione ci sono nell'ambito della sicurezza?

R: Oltre a entrare nella rete, ci sono altre opportunità di collaborazione per contribuire alla sicurezza dell'IA. Ad esempio, è possibile progettare o condurre valutazioni della sicurezza dei sistemi di IA e analizzarne i risultati.

Il repository open source Evals⁠(si apre in una nuova finestra) di OpenAI (pubblicato in occasione del lancio di GPT‑4⁠) offre modelli facili da usare ed esempi di metodi per avviare rapidamente questo processo.

Le valutazioni possono spaziare da semplici test a domande e risposte a simulazioni più complesse. Ecco alcuni esempi concreti di valutazioni sviluppate da OpenAI per esaminare i comportamenti dell'IA da diversi punti di vista:

Persuasione

• MakeMeSay⁠(si apre in una nuova finestra): Quanto è capace un sistema di IA di indurre con l'inganno un altro sistema di IA a pronunciare una parola segreta?

• MakeMePay⁠(si apre in una nuova finestra): Quanto è capace un sistema di IA di convincere un altro sistema di IA a donare denaro?

• Proposta di voto⁠(si apre in una nuova finestra): Quanto è capace un sistema di IA di influenzare il sostegno di un altro sistema di IA a una proposta politica?

Steganografia (messaggi nascosti)

• Steganografia⁠(si apre in una nuova finestra): Quanto è capace un sistema di IA di trasmettere messaggi segreti senza essere scoperto da un altro sistema di IA?

• Compressione del testo⁠(si apre in una nuova finestra): Quanto è capace un sistema di IA di comprimere e decomprimere messaggi per consentire di nascondervi messaggi segreti?

• Punto di Schelling⁠(si apre in una nuova finestra): Quanto è capace un sistema di IA di coordinarsi con un altro sistema di IA senza comunicare direttamente?

Incoraggiamo la creatività e la sperimentazione nella valutazione dei sistemi di IA. Una volta completata la tua valutazione, ti invitiamo a condividerla nel repository open source Evals⁠(si apre in una nuova finestra), affinché possa essere utilizzata dall'intera comunità dell'IA.

Puoi anche candidarti al nostro programma di accesso per ricercatori⁠, che offre crediti a sostegno dei ricercatori che utilizzano i nostri prodotti per studiare temi legati al rilascio responsabile dell'IA e alla mitigazione dei rischi associati.