OpenAIs nettverk for red teaming

Vi åpner nå for søknader til OpenAIs nettverk for red teaming og inviterer fageksperter som ønsker å gjøre OpenAIs modeller sikrere, til å bidra i arbeidet vårt. Vi søker eksperter fra ulike fagfelt som vil samarbeide med oss om grundig evaluering og red teaming av KI-modellene våre.

Red teaming^A er en integrert del av vår iterative utrullingsprosess⁠. De siste årene har red teaming-arbeidet vårt utviklet seg fra å fokusere på interne tester med angrepsforsøk hos OpenAI til å omfatte samarbeid med en gruppe eksterne eksperter^B. De hjelper oss med å utvikle fagspesifikke risikotaksonomier og vurdere potensielt skadelige kapabiliteter i nye systemer. Du kan lese mer om vårt tidligere red teaming-arbeid, inkludert samarbeid med eksterne eksperter, på modeller som DALL·E 2⁠(åpnes i et nytt vindu) og GPT‑4⁠(åpnes i et nytt vindu).^C

I dag lanserer vi en mer formalisert satsing som bygger videre på dette grunnlaget. Vi vil utvide og styrke samarbeidet med eksterne eksperter for å gjøre modellene våre sikrere. Samarbeid med enkelteksperter, forskningsinstitusjoner og sivilsamfunnsorganisasjoner er en viktig del av prosessen vår. Vi ser dette arbeidet som et supplement til eksternt fastsatte styringsrutiner, som tredjepartsrevisjoner.

OpenAIs nettverk for red teaming er et fellesskap av pålitelige og erfarne eksperter som kan gi bredere innspill til arbeidet vårt med risikovurdering og risikoreduserende tiltak. Det er et alternativ til enkeltoppdrag og utvelgelsesprosesser i forkant av store modellutrullinger. Medlemmene i nettverket vil bli kontaktet ut fra ekspertisen sin for å bidra med red teaming i ulike faser av modellenes og produktenes utviklingsløp. Ikke alle medlemmer vil bli involvert i hver nye modell eller hvert nye produkt. Tidsbruken avtales med det enkelte medlemmet og kan være så lite som 5–10 timer i året.

Utenom red teaming-runder på oppdrag fra OpenAI vil medlemmene kunne utveksle erfaringer om generelle metoder og funn innen red teaming. Målet er å legge til rette for mer mangfoldige og løpende innspill og gjøre red teaming til en mer iterativ prosess. Dette nettverket utfyller andre muligheter for samarbeid om KI-sikkerhet, blant annet tilgangsprogrammet vårt for forskere⁠ og evalueringer med åpen kildekode⁠(åpnes i et nytt vindu).

Dette nettverket gir en unik mulighet til å forme utviklingen av sikrere KI-teknologi og retningslinjer, og påvirke hvordan KI kan endre måten vi lever, arbeider og samhandler på. Som medlem i nettverket blir du en del av ekspertgruppen vår, som kan bli bedt om å vurdere modellene og systemene våre i ulike faser av utrullingen.

Å vurdere KI-systemer krever innsikt i en rekke fagområder, ulike perspektiver og egne livserfaringer. Vi inviterer eksperter fra hele verden til å søke og prioriterer både geografisk og faglig mangfold i utvelgelsen. 

Her er noen av områdene vi er interessert i, men listen er ikke uttømmende:

Tidligere erfaring med KI-systemer eller språkmodeller er ikke et krav, men kan være nyttig. Det vi verdsetter mest, er viljen din til å engasjere deg og bidra med ditt perspektiv på hvordan vi vurderer virkningene av KI-systemer.

Alle medlemmer av OpenAIs nettverk for red teaming får godtgjørelse for bidragene sine når de deltar i et red teaming-prosjekt. Medlemskap i nettverket begrenser ikke mulighetene dine til å publisere forskning eller benytte deg av andre muligheter. Du bør likevel være oppmerksom på at deltakelse i red teaming og andre prosjekter ofte er underlagt taushetserklæringer (NDA-er) eller forblir konfidensiell på ubestemt tid.

Søknadsfristen er nå utløpt.

Spørsmål: Hva innebærer det å bli med i nettverket?

Svar: Som medlem av nettverket kan du bli kontaktet om muligheter til å teste en ny modell eller undersøke et aktuelt område i en modell som allerede er tatt i bruk. Arbeid som utføres som del av nettverket, er underlagt en taushetserklæring (NDA). Vi har likevel tidligere publisert mange av funnene fra red teaming i systemkort og blogginnlegg. Du får godtgjørelse for tiden du bruker på red teaming-prosjekter.

Spørsmål: Hvor mye tid forventes det at jeg setter av som medlem av nettverket? 

Svar: Tiden du velger å sette av, kan tilpasses timeplanen din. Merk at ikke alle i nettverket vil bli kontaktet ved hver anledning. OpenAI velger deltakere ut fra hvem som passer best til det enkelte red teaming-prosjektet, og legger vekt på nye perspektiver i senere red teaming-runder. Selv så lite som 5 timer i året vil være verdifullt for oss, så ikke nøl med å søke hvis du er interessert, men har begrenset tid.

Spørsmål: Når får søkerne beskjed om de er tatt opp?

Svar: OpenAI tar opp medlemmer i nettverket fortløpende, og du kan søke frem til 1. desember 2023. Etter denne søknadsperioden vil vi vurdere om vi skal åpne for søknader igjen senere.

Spørsmål: Betyr medlemskap i nettverket at jeg blir bedt om å utføre red teaming på hver nye modell?

Svar: Nei, OpenAI velger deltakere ut fra hvem som passer best til det enkelte red teaming-prosjektet, og du bør ikke forvente å teste hver nye modell.

Spørsmål: Hvilke kriterier ser dere etter hos medlemmer av nettverket?

Svar: Her er noen av kriteriene vi legger vekt på:

• Dokumentert ekspertise eller erfaring innen et fagområde som er relevant for red teaming

• Engasjement for å forbedre KI-sikkerhet

• Ingen interessekonflikter

• Ulike bakgrunner og representasjon fra tradisjonelt underrepresenterte grupper

• Bred geografisk representasjon 

• Flytende ferdigheter i mer enn ett språk

• Tekniske ferdigheter (ikke et krav)

Spørsmål: Hvilke andre muligheter finnes for samarbeid om sikkerhet?

Svar: I tillegg til å bli med i nettverket finnes det andre samarbeidsmuligheter der du kan bidra til KI-sikkerhet. Du kan for eksempel utvikle eller gjennomføre sikkerhetsevalueringer av KI-systemer og analysere resultatene.

OpenAIs Evals⁠(åpnes i et nytt vindu)-lager med åpen kildekode (utgitt som del av lanseringen av GPT‑4⁠) tilbyr brukervennlige maler og metodeeksempler som hjelper deg raskt i gang med denne prosessen.

Evalueringene kan spenne fra enkle tester med spørsmål og svar til mer komplekse simuleringer. Her er noen konkrete eksempler på evalueringer utviklet av OpenAI for å vurdere KI-atferd fra ulike vinkler:

Overtalelse

• MakeMeSay⁠(åpnes i et nytt vindu): Hvor godt kan et KI-system lure et annet KI-system til å si et hemmelig ord?

• MakeMePay⁠(åpnes i et nytt vindu): Hvor godt kan et KI-system overtale et annet KI-system til å donere penger?

• Forslag til avstemning⁠(åpnes i et nytt vindu): Hvor godt kan et KI-system påvirke et annet KI-systems støtte til et politisk forslag?

Steganografi (skjulte meldinger)

• Steganografi⁠(åpnes i et nytt vindu): Hvor godt kan et KI-system sende hemmelige meldinger uten å bli oppdaget av et annet KI-system?

• Tekstkomprimering⁠(åpnes i et nytt vindu): Hvor godt kan et KI-system komprimere og dekomprimere meldinger for å gjøre det mulig å skjule hemmelige meldinger?

• Schelling-punkt⁠(åpnes i et nytt vindu): Hvor godt kan et KI-system koordinere med et annet KI-system uten direkte kommunikasjon?

Vi oppfordrer til kreativitet og eksperimentering i evalueringen av KI-systemer. Når evalueringen er ferdig, håper vi du vil bidra med den til Evals⁠(åpnes i et nytt vindu)-lageret med åpen kildekode, slik at flere i KI-miljøet kan bruke den.

Du kan også søke på tilgangsprogrammet vårt for forskere⁠, som gir kreditter til forskere som bruker produktene våre til å studere ansvarlig utrulling av KI og reduksjon av tilknyttet risiko.