OpenAI:s nätverk för red teaming

Vi öppnar nu ansökan till OpenAI:s nätverk för red teaming och bjuder in ämnesexperter som vill bidra till vårt arbete med att göra OpenAI:s modeller säkrare. Vi söker experter inom olika områden som vill samarbeta med oss för att grundligt utvärdera och genomföra red teaming av våra AI-modeller.

Red teaming^A är en central del av vår iterativa lanseringsprocess⁠. Under de senaste åren har vårt red teaming-arbete utvecklats från ett fokus på interna tester med avsiktliga angrepp hos OpenAI till samarbete med en grupp externa experter^B. De hjälper oss att utveckla ämnesspecifika klassificeringar av risker och utvärdera potentiellt skadliga förmågor i nya system. Du kan läsa mer om våra tidigare red teaming-insatser, inklusive vårt tidigare arbete med externa experter, för modeller som DALL·E 2⁠(öppnas i ett nytt fönster) och GPT‑4⁠(öppnas i ett nytt fönster).^C

I dag inleder vi en mer formaliserad satsning som bygger vidare på detta arbete och fördjupar och breddar våra samarbeten med externa experter för att göra våra modeller säkrare. Samarbete med enskilda experter, forskningsinstitutioner och civilsamhällesorganisationer är en viktig del av vår process. Vi ser detta arbete som ett komplement till externt fastställda styrningsrutiner, exempelvis tredjepartsgranskningar.

OpenAI:s nätverk för red teaming är en gemenskap av betrodda och erfarna experter som kan ge ett bredare underlag för vårt arbete med att bedöma och begränsa risker. Det ersätter upplägget med enstaka uppdrag och urvalsprocesser inför större modellanseringar. Nätverkets medlemmar kommer att anlitas utifrån sin expertis för att bidra till red teaming i olika skeden av modellernas och produkternas utvecklingscykel. Alla medlemmar kommer inte att delta i arbetet med varje ny modell eller produkt. Tidsinsatsen bestäms tillsammans med varje medlem och kan vara så liten som 5–10 timmar om året.

Utöver de red teaming-insatser som OpenAI beställer får medlemmarna möjlighet att utbyta erfarenheter om allmänna metoder och resultat inom red teaming. Målet är att möjliggöra mer mångsidig och kontinuerlig återkoppling och göra red teaming till en mer iterativ process. Nätverket kompletterar andra samarbetsmöjligheter inom AI-säkerhet, bland annat vårt program för forskaråtkomst⁠ och våra utvärderingar med öppen källkod⁠(öppnas i ett nytt fönster).

Nätverket ger en unik möjlighet att påverka utvecklingen av säkrare AI-teknik och policyer, liksom hur AI kan påverka vårt sätt att leva, arbeta och samspela. Som medlem i nätverket ingår du i vår grupp av ämnesexperter som kan anlitas för att bedöma våra modeller och system i olika skeden av lanseringen.

För att bedöma AI-system krävs förståelse för många olika områden, perspektiv och personliga erfarenheter. Vi välkomnar ansökningar från experter över hela världen och prioriterar både geografisk spridning och bredd inom olika ämnesområden i vårt urval. 

Här är några av de områden vi är intresserade av, men listan är inte uttömmande:

Tidigare erfarenhet av AI-system eller språkmodeller är inget krav, men kan vara till hjälp. Det vi värdesätter mest är din vilja att engagera dig och bidra med ditt perspektiv på hur vi bedömer AI-systemens påverkan.

Alla medlemmar i OpenAI:s nätverk för red teaming får ersättning för sina insatser när de deltar i ett red teaming-projekt. Medlemskap i nätverket hindrar dig inte från att publicera din forskning eller ta dig an andra uppdrag. Du bör dock vara medveten om att deltagande i red teaming och andra projekt ofta omfattas av sekretessavtal (NDA) eller förblir konfidentiellt på obestämd tid.

Ansökan är nu stängd.

Fråga: Vad innebär det att gå med i nätverket?

Svar: Som medlem i nätverket kan du bli kontaktad om möjligheter att testa en ny modell eller undersöka ett visst område i en modell som redan är i bruk. Arbetet inom nätverket omfattas av ett sekretessavtal (NDA), men vi har tidigare publicerat många av våra resultat från red teaming i systemkort och blogginlägg. Du får ersättning för den tid du lägger på red teaming-projekt.

Fråga: Hur mycket tid förväntas jag lägga som medlem i nätverket? 

Svar: Hur mycket tid du väljer att lägga kan anpassas efter ditt schema. Observera att inte alla i nätverket blir kontaktade vid varje tillfälle. OpenAI väljer deltagare utifrån vilka som passar ett visst red teaming-projekt och lägger vikt vid nya perspektiv i kommande red teaming-insatser. Även så lite som 5 timmar om året är värdefullt för oss, så tveka inte att ansöka om du är intresserad men har begränsat med tid.

Fråga: När får de sökande besked om de har blivit antagna?

Svar: OpenAI väljer löpande ut medlemmar till nätverket och du kan ansöka fram till den 1 december 2023. Efter ansökningsperioden tar vi på nytt ställning till om vi ska öppna för fler ansökningar framöver.

Fråga: Innebär medlemskap i nätverket att jag blir ombedd att genomföra red teaming av varje ny modell?

Svar: Nej, OpenAI väljer deltagare utifrån vilka som passar ett visst red teaming-projekt, och du bör inte förvänta dig att få testa varje ny modell.

Fråga: Vilka kriterier tittar ni på när ni väljer medlemmar till nätverket?

Svar: Några av de kriterier vi tittar på är:

• Dokumenterad expertis eller erfarenhet inom ett område som är relevant för red teaming

• Starkt engagemang för att förbättra AI-säkerheten

• Inga intressekonflikter

• Varierande bakgrunder och representation av traditionellt underrepresenterade grupper

• Bred geografisk representation 

• Flytande kunskaper i mer än ett språk

• Teknisk kompetens (inget krav)

Fråga: Vilka andra möjligheter finns till samarbete kring säkerhet?

Svar: Förutom att gå med i nätverket finns det andra samarbetsmöjligheter för att bidra till AI-säkerheten. Du kan till exempel utforma eller genomföra säkerhetsutvärderingar av AI-system och analysera resultaten.

OpenAI:s förvar med öppen källkod för Evals⁠(öppnas i ett nytt fönster), som släpptes i samband med lanseringen av GPT‑4⁠, innehåller användarvänliga mallar och exempel på metoder som hjälper dig att komma igång.

Utvärderingarna kan omfatta allt från enkla tester med frågor och svar till mer komplexa simuleringar. Här är några konkreta exempel på utvärderingar som OpenAI har utvecklat för att bedöma AI-beteenden ur olika perspektiv:

Övertalning

• MakeMeSay⁠(öppnas i ett nytt fönster): Hur bra är ett AI-system på att lura ett annat AI-system att säga ett hemligt ord?

• MakeMePay⁠(öppnas i ett nytt fönster): Hur bra är ett AI-system på att övertyga ett annat AI-system att donera pengar?

• Omröstningsförslag⁠(öppnas i ett nytt fönster): Hur bra är ett AI-system på att påverka ett annat AI-systems stöd för ett politiskt förslag?

Steganografi (dolda meddelanden)

• Steganografi⁠(öppnas i ett nytt fönster): Hur bra är ett AI-system på att skicka hemliga meddelanden utan att upptäckas av ett annat AI-system?

• Textkomprimering⁠(öppnas i ett nytt fönster): Hur bra är ett AI-system på att komprimera och dekomprimera meddelanden för att kunna dölja hemliga meddelanden?

• Schellingpunkt⁠(öppnas i ett nytt fönster): Hur bra är ett AI-system på att samordna sig med ett annat AI-system utan direkt kommunikation?

Vi uppmuntrar kreativitet och experimenterande vid utvärdering av AI-system. När din utvärdering är klar är du välkommen att lägga till den i vårt förvar med öppen källkod för Evals⁠(öppnas i ett nytt fönster), så att fler inom AI kan använda den.

Du kan också ansöka till vårt program för forskaråtkomst⁠, som ger krediter till forskare som använder våra produkter för att studera hur AI kan införas ansvarsfullt och hur tillhörande risker kan begränsas.