OpenAI's red-teaming-netværk

Vi åbner nu for ansøgninger til OpenAI's red-teaming-netværk og inviterer fageksperter, der vil være med til at gøre OpenAI's modeller sikrere, til at deltage i vores arbejde. Vi søger eksperter fra forskellige fagområder til at samarbejde med os om grundig evaluering og red-teaming af vores AI-modeller.

Red-teaming^A er en integreret del af vores iterative proces for ibrugtagning⁠. I de seneste år har vores red-teaming-arbejde udviklet sig fra et fokus på interne test hos OpenAI, hvor vi bevidst forsøger at fremprovokere fejl, til samarbejde med en gruppe eksterne eksperter^B. De hjælper med at udvikle fagspecifikke risikoklassifikationer og evaluere potentielt skadelige evner i nye systemer. Du kan læse mere om vores tidligere red-teaming-arbejde, herunder samarbejdet med eksterne eksperter, på modeller som DALL·E 2⁠(åbner i et nyt vindue) og GPT‑4⁠(åbner i et nyt vindue).^C

I dag sætter vi en mere formaliseret indsats i gang, der bygger videre på dette fundament og styrker og udvider samarbejdet med eksterne eksperter for at gøre vores modeller sikrere. Samarbejde med individuelle eksperter, forskningsinstitutioner og civilsamfundsorganisationer er en vigtig del af vores proces. Vi ser dette arbejde som et supplement til eksternt fastlagte styrings- og kontrolprocedurer, såsom tredjepartsrevisioner.

OpenAI's red-teaming-netværk er et fællesskab af betroede og erfarne eksperter, der kan bidrage bredt til vores arbejde med risikovurdering og risikobegrænsning. Det erstatter enkeltstående samarbejder og udvælgelsesprocesser forud for ibrugtagningen af større modeller. Netværkets medlemmer bliver inddraget på baggrund af deres ekspertise for at hjælpe med red-teaming i forskellige faser af model- og produktudviklingen. Ikke alle medlemmer bliver involveret i hver ny model eller hvert nyt produkt. Tidsforbruget aftales med det enkelte medlem og kan være helt ned til 5–10 timer om året.

Ud over de red-teaming-forløb, som OpenAI bestiller, får medlemmerne mulighed for at udveksle erfaringer om generelle red-teaming-metoder og -resultater. Målet er at sikre mere alsidige og løbende bidrag og gøre red-teaming til en mere iterativ proces. Netværket supplerer andre muligheder for at samarbejde om AI-sikkerhed, herunder vores adgangsprogram for forskere⁠ og open source-evalueringer⁠(åbner i et nyt vindue).

Netværket giver en unik mulighed for at præge udviklingen af sikrere AI-teknologier og -politikker samt den indvirkning, AI kan have på den måde, vi lever, arbejder og omgås hinanden på. Som medlem af netværket bliver du en del af vores gruppe af fageksperter, der kan blive inddraget i vurderingen af vores modeller og systemer på forskellige stadier, efterhånden som de tages i brug.

Vurdering af AI-systemer kræver indsigt i en bred vifte af fagområder, forskellige perspektiver og personlige livserfaringer. Vi opfordrer eksperter fra hele verden til at ansøge og prioriterer både geografisk og faglig mangfoldighed i udvælgelsen. 

Vi er blandt andet interesserede i følgende fagområder:

Erfaring med AI-systemer eller sprogmodeller er ikke et krav, men kan være en fordel. Det vigtigste for os er din vilje til at engagere dig og bidrage med dit perspektiv til vores vurdering af AI-systemers indvirkning.

Alle medlemmer af OpenAI's red-teaming-netværk bliver honoreret for deres bidrag, når de deltager i et red-teaming-projekt. Medlemskab af netværket begrænser ikke dine muligheder for at offentliggøre din forskning eller forfølge andre muligheder. Du bør dog være opmærksom på, at deltagelse i red-teaming og andre projekter ofte er omfattet af fortrolighedsaftaler (NDA'er) eller forbliver fortrolig på ubestemt tid.

Der er nu lukket for ansøgninger.

Spørgsmål: Hvad indebærer det at være med i netværket?

Svar: Som medlem af netværket kan du blive kontaktet om muligheder for at teste en ny model eller undersøge et bestemt område i en model, der allerede er taget i brug. Arbejdet i netværket er omfattet af en fortrolighedsaftale (NDA), men vi har tidligere offentliggjort mange af vores red-teaming-resultater i systemkort og blogindlæg. Du bliver honoreret for den tid, du bruger på red-teaming-projekter.

Spørgsmål: Hvor meget tid forventes jeg at bruge som medlem af netværket? 

Svar: Du kan tilpasse dit tidsforbrug efter, hvad der passer ind i din hverdag. Bemærk, at ikke alle i netværket bliver kontaktet om alle muligheder. OpenAI udvælger deltagere efter, hvem der passer bedst til det enkelte red-teaming-projekt, og lægger vægt på nye perspektiver i efterfølgende red-teaming-forløb. Selv blot 5 timer om året vil være værdifuldt for os, så tøv ikke med at ansøge, hvis du er interesseret, men har begrænset tid.

Spørgsmål: Hvornår får ansøgere besked om, at de er optaget?

Svar: OpenAI udvælger løbende medlemmer til netværket, og du kan ansøge indtil den 1. december 2023. Efter denne ansøgningsperiode vil vi vurdere, om vi skal åbne for ansøgninger igen på et senere tidspunkt.

Spørgsmål: Betyder medlemskab af netværket, at jeg bliver bedt om at udføre red-teaming på alle nye modeller?

Svar: Nej, OpenAI udvælger deltagere efter, hvem der passer bedst til det enkelte red-teaming-projekt, og du skal ikke forvente at teste alle nye modeller.

Spørgsmål: Hvilke kriterier lægger I vægt på hos netværkets medlemmer?

Svar: Vi lægger blandt andet vægt på:

• Dokumenteret ekspertise eller erfaring inden for et bestemt fagområde med relevans for red-teaming

• Stort engagement i at forbedre AI-sikkerheden

• Ingen interessekonflikter

• Forskellige baggrunde og repræsentation af traditionelt underrepræsenterede grupper

• Bred geografisk repræsentation 

• Flydende beherskelse af mere end ét sprog

• Tekniske færdigheder (ikke et krav)

Spørgsmål: Hvilke andre muligheder er der for at samarbejde om sikkerhed?

Svar: Ud over at deltage i netværket er der andre muligheder for at bidrage til AI-sikkerhed gennem samarbejde. Du kan for eksempel udvikle eller gennemføre sikkerhedsevalueringer af AI-systemer og analysere resultaterne.

OpenAI's open source-lager Evals⁠(åbner i et nyt vindue) (udgivet som en del af lanceringen af GPT‑4⁠) indeholder brugervenlige skabeloner og eksempler på metoder, der kan hjælpe dig i gang.

Evalueringer kan spænde fra enkle test med spørgsmål og svar til mere komplekse simuleringer. Her er nogle konkrete eksempler på evalueringer, som OpenAI har udviklet til at undersøge AI-adfærd fra forskellige vinkler:

Overtalelse

• MakeMeSay⁠(åbner i et nyt vindue): Hvor godt kan et AI-system narre et andet AI-system til at sige et hemmeligt ord?

• MakeMePay⁠(åbner i et nyt vindue): Hvor godt kan et AI-system overtale et andet AI-system til at donere penge?

• Afstemningsforslag⁠(åbner i et nyt vindue): Hvor godt kan et AI-system påvirke et andet AI-systems opbakning til et politisk forslag?

Steganografi (skjulte beskeder)

• Steganografi⁠(åbner i et nyt vindue): Hvor godt kan et AI-system videregive hemmelige beskeder uden at blive opdaget af et andet AI-system?

• Tekstkomprimering⁠(åbner i et nyt vindue): Hvor godt kan et AI-system komprimere og dekomprimere beskeder, så det bliver muligt at skjule hemmelige beskeder?

• Schelling-punkt⁠(åbner i et nyt vindue): Hvor godt kan et AI-system koordinere med et andet AI-system uden direkte kommunikation?

Vi opfordrer til kreativitet og eksperimenter i evalueringen af AI-systemer. Når din evaluering er færdig, opfordrer vi dig til at bidrage med den til open source-lageret Evals⁠(åbner i et nyt vindue), så det bredere AI-fællesskab kan få glæde af den.

Du kan også ansøge om at deltage i vores adgangsprogram for forskere⁠, der giver kreditter til forskere, som bruger vores produkter til at undersøge områder relateret til ansvarlig ibrugtagning af AI og begrænsning af de tilknyttede risici.