OpenAI-netwerk voor red teaming

We doen een open oproep voor het OpenAI-netwerk voor red teaming en nodigen vakexperts uit om samen met ons de veiligheid van de modellen van OpenAI te verbeteren. We zoeken experts uit verschillende vakgebieden die samen met ons onze AI-modellen grondig willen evalueren en aan red teaming willen onderwerpen.

Red teaming^A is een integraal onderdeel van ons iteratieve uitrolproces⁠. De afgelopen jaren is onze aanpak van red teaming verbreed. Aanvankelijk lag de nadruk op interne tests bij OpenAI waarbij we systemen bewust probeerden te laten falen. Inmiddels werken we samen met een groep externe experts^B aan domeinspecifieke risico-indelingen en aan het evalueren van mogelijk schadelijke mogelijkheden van nieuwe systemen. Je kunt meer lezen over onze eerdere activiteiten op het gebied van red teaming, waaronder onze samenwerking met externe experts, voor modellen zoals DALL·E 2⁠(opent in een nieuw venster) en GPT‑4⁠(opent in een nieuw venster).^C

Vandaag starten we een formeler initiatief dat voortbouwt op deze basis. Daarmee willen we onze samenwerking met externe experts verdiepen en verbreden om onze modellen veiliger te maken. Samenwerking met individuele experts, onderzoeksinstellingen en maatschappelijke organisaties is een belangrijk onderdeel van ons proces. We zien dit werk als een aanvulling op extern vastgestelde bestuurs- en toezichtpraktijken, zoals onafhankelijke audits.

Het OpenAI-netwerk voor red teaming is een gemeenschap van betrouwbare en ervaren experts die een bredere bijdrage kunnen leveren aan onze risicobeoordeling en risicobeperking. Het vervangt daarmee de aanpak van eenmalige samenwerkingen en selectieprocedures voorafgaand aan belangrijke modeluitrollen. Leden van het netwerk worden op basis van hun expertise ingeschakeld om bij te dragen aan red teaming in verschillende fasen van de ontwikkeling van modellen en producten. Niet elk lid wordt bij elk nieuw model of product betrokken. Met ieder lid spreken we afzonderlijk af hoeveel tijd diegene bijdraagt; dat kan al met 5–10 uur per jaar.

Ook buiten de campagnes voor red teaming in opdracht van OpenAI kunnen leden onderling algemene werkwijzen en bevindingen rond red teaming uitwisselen. Het doel is om meer uiteenlopende en doorlopende inbreng mogelijk te maken en red teaming een meer iteratief proces te laten zijn. Dit netwerk vormt een aanvulling op andere mogelijkheden om samen aan AI-veiligheid te werken, waaronder ons toegangsprogramma voor onderzoekers⁠ en onze opensource-evaluaties⁠(opent in een nieuw venster).

Dit netwerk biedt een unieke kans om mee te werken aan veiligere AI-technologieën en bijbehorend beleid, en mede te bepalen hoe AI invloed heeft op de manier waarop we leven, werken en met elkaar omgaan. Als lid van dit netwerk maak je deel uit van onze groep vakexperts die we kunnen inschakelen om onze modellen en systemen in verschillende fasen van hun uitrol te beoordelen.

Het beoordelen van AI-systemen vraagt om inzicht in uiteenlopende vakgebieden, perspectieven en persoonlijke ervaringen. We nodigen experts van over de hele wereld uit om zich aan te melden. Bij de selectie geven we prioriteit aan diversiteit in zowel geografische herkomst als vakgebied. 

We zijn onder meer geïnteresseerd in de volgende vakgebieden:

Ervaring met AI-systemen of taalmodellen is niet vereist, maar kan wel nuttig zijn. We hechten vooral waarde aan je bereidheid om actief mee te doen en vanuit je eigen perspectief bij te dragen aan onze beoordeling van de impact van AI-systemen.

Alle leden van het OpenAI-netwerk voor red teaming ontvangen een vergoeding voor hun bijdrage wanneer ze deelnemen aan een project voor red teaming. Lidmaatschap van dit netwerk vormt geen belemmering om je onderzoek te publiceren of andere kansen te benutten. Houd er wel rekening mee dat deelname aan red teaming en andere projecten vaak onder een geheimhoudingsovereenkomst (NDA) valt of voor onbepaalde tijd vertrouwelijk blijft.

De aanmelding is gesloten.

V: Wat houdt deelname aan het netwerk in?

A: Als lid van het netwerk kun je worden benaderd om een nieuw model te testen, of om een al uitgerold model op een specifiek gebied te testen. Werkzaamheden binnen het netwerk vallen onder een geheimhoudingsovereenkomst (NDA). Wel hebben we in het verleden veel van onze bevindingen uit red teaming gepubliceerd in systeemkaarten en blogberichten. Je ontvangt een vergoeding voor de tijd die je aan projecten voor red teaming besteedt.

V: Hoeveel tijd kost deelname aan het netwerk? 

A: Hoeveel tijd je wilt bijdragen, kun je afstemmen op je agenda. Niet iedereen in het netwerk wordt voor elke gelegenheid benaderd. OpenAI selecteert leden op basis van hun geschiktheid voor een specifiek project voor red teaming en legt bij volgende campagnes voor red teaming de nadruk op nieuwe perspectieven. Zelfs 5 uur per jaar is voor ons al waardevol. Aarzel dus niet om je aan te melden als je interesse hebt, maar weinig tijd.

V: Wanneer horen aanmelders of ze zijn toegelaten?

A: OpenAI selecteert doorlopend leden voor het netwerk. Je kunt je tot 1 december 2023 aanmelden. Na deze aanmeldperiode bekijken we opnieuw of we in de toekomst weer aanmeldingen openstellen.

V: Word ik als lid van het netwerk gevraagd om elk nieuw model aan red teaming te onderwerpen?

A: Nee, OpenAI selecteert leden op basis van hun geschiktheid voor een specifiek project voor red teaming. Je moet er dus niet van uitgaan dat je elk nieuw model zult testen.

V: Op welke criteria letten jullie bij het selecteren van netwerkleden?

A: We letten onder meer op het volgende:

• Aantoonbare expertise of ervaring in een vakgebied dat relevant is voor red teaming

• Gedrevenheid om AI veiliger te maken

• Geen belangenconflicten

• Uiteenlopende achtergronden en vertegenwoordiging van traditioneel ondervertegenwoordigde groepen

• Brede geografische vertegenwoordiging 

• Vloeiende beheersing van meer dan één taal

• Technische vaardigheden (niet vereist)

V: Welke andere mogelijkheden zijn er om samen aan AI-veiligheid te werken?

A: Naast deelname aan het netwerk zijn er andere mogelijkheden om samen bij te dragen aan AI-veiligheid. Je kunt bijvoorbeeld veiligheidsevaluaties voor AI-systemen ontwikkelen of uitvoeren en de resultaten analyseren.

De opensource-repository Evals⁠(opent in een nieuw venster) van OpenAI (uitgebracht bij de lancering van GPT‑4⁠) biedt gebruiksvriendelijke sjablonen en voorbeeldmethoden om snel aan de slag te gaan.

Evaluaties kunnen variëren van eenvoudige vraag-en-antwoordtests tot complexere simulaties. Hier zijn enkele concrete voorbeelden van evaluaties die OpenAI heeft ontwikkeld om het gedrag van AI vanuit verschillende invalshoeken te beoordelen:

Overtuigingskracht

• MakeMeSay⁠(opent in een nieuw venster): Hoe goed kan een AI-systeem een ander AI-systeem ertoe verleiden een geheim woord te zeggen?

• MakeMePay⁠(opent in een nieuw venster): Hoe goed kan een AI-systeem een ander AI-systeem overtuigen om geld te doneren?

• Stemvoorstel⁠(opent in een nieuw venster): Hoe goed kan een AI-systeem beïnvloeden in hoeverre een ander AI-systeem een politiek voorstel steunt?

Steganografie (verborgen berichten)

• Steganografie⁠(opent in een nieuw venster): Hoe goed kan een AI-systeem geheime berichten doorgeven zonder dat een ander AI-systeem dit ontdekt?

• Tekstcompressie⁠(opent in een nieuw venster): Hoe goed kan een AI-systeem berichten comprimeren en decomprimeren om geheime berichten te verbergen?

• Schellingpunt⁠(opent in een nieuw venster): Hoe goed kan een AI-systeem zijn handelen afstemmen op dat van een ander AI-systeem, zonder directe communicatie?

We moedigen creativiteit en experimenten bij het evalueren van AI-systemen aan. Als je evaluatie af is, nodigen we je uit om deze toe te voegen aan de opensource-repository Evals⁠(opent in een nieuw venster), zodat de bredere AI-gemeenschap er gebruik van kan maken.

Je kunt je ook aanmelden voor ons toegangsprogramma voor onderzoekers⁠. Dit programma verstrekt credits aan onderzoekers die onze producten gebruiken om onderzoek te doen naar de verantwoorde inzet van AI en het beperken van de bijbehorende risico's.