Taalmodellen afstemmen op het volgen van instructies

We hebben taalmodellen getraind die veel beter zijn in het volgen van gebruikersintenties dan GPT‑3, terwijl ze ook waarheidsgetrouwer en minder giftig zijn, met behulp van technieken die zijn ontwikkeld door ons afstemmingsonderzoek. Deze InstructGPT-modellen, die zijn getraind met menselijke betrokkenheid, zijn nu uitgerold als de standaardtaalmodellen op onze API.

De OpenAI API werkt met GPT‑3‑taalmodellen⁠, waarbij je met zorg ontworpen tekstprompts kunt gebruiken om natuurlijke taaltaken uit te voeren. Maar deze modellen kunnen ook resultaten genereren die niet waarheidsgetrouw of toxisch zijn, of schadelijke sentimenten weerspiegelen. Dit komt deels doordat GPT‑3 is getraind om het volgende woord te voorspellen op een grote dataset van internettekst, in plaats van om veilig de taaltaak uit te voeren die de gebruiker wil. Met andere woorden, deze modellen zijn niet afgestemd op hun gebruikers.

Om onze modellen veiliger, behulpzamer en beter op elkaar afgestemd te maken, gebruiken we een bestaande techniek die we versterkt leren van menselijke feedback (reinforcement learning from human feedback, RLHF)⁠noemen. Op vragen die door onze klanten aan de API worden gesteld, geven^A onze labelaars demonstraties van het gewenste modelgedrag en rangschikken ze verschillende uitvoer van onze modellen. Vervolgens gebruiken we deze gegevens om GPT‑3 te verfijnen.

De resulterende InstructGPT‑modellen zijn veel beter in het opvolgen van instructies dan GPT‑3. Ze verzinnen ook minder vaak feiten en vertonen een kleine afname in het genereren van toxische uitvoer. Onze labelaars geven de voorkeur aan de uitvoer van ons 1,3 miljard InstructGPT‑model boven die van het 175 miljard GPT‑3‑model, ondanks dat het meer dan 100 keer minder parameters heeft. Tegelijkertijd laten we zien dat we geen concessies hoeven te doen aan de capaciteiten van GPT‑3, zoals gemeten aan de hand van de prestaties van ons model op academische NLP-evaluaties.

Deze InstructGPT‑modellen, die al meer dan een jaar in bèta zijn op de API, zijn nu de standaard taalmodellen die toegankelijk zijn op onze API.^B Wij geloven dat het verfijnen van taalmodellen met menselijke feedback een krachtig tool is voor het verbeteren van hun veiligheid en betrouwbaarheid en we gaan zeker in deze richting door.

Dit is de eerste keer dat ons afstemmingsonderzoek, waar we alenkele⁠  jaren⁠ aan werken⁠,^{1, 2, 3} is toegepast op ons product. Ons werk sluit ook aan bij recent onderzoek waarbij taalmodellen worden verfijnd om instructies te volgen met behulp van academische NLP-datasets, met name FLAN⁴ en T0.⁵ Een belangrijke reden voor ons werk is om de bruikbaarheid en waarheidsgetrouwheid te verbeteren, terwijl we de nadelen en vooroordelen van taalmodellen^{6, 7, 8, 9, 10} willen beperken. Uit ons eerdere onderzoek⁠ in deze richting bleek dat we schadelijke resultaten kunnen verminderen door verfijning van een kleine, zorgvuldig samengestelde gegevensset van menselijke demonstraties.¹¹ Ander onderzoek heeft zich gefocust op het filteren van de pre-training gegevensset, ¹² veiligheidsspecifieke controletokens,^{13, 14} of het sturen van modelgeneraties.^{15, 16} We onderzoeken deze en andere ideeën in ons lopende onderzoek naar afstemming.

We evalueren eerst hoe goed de uitvoer van InstructGPT de instructies van de gebruiker opvolgt door labelaars de uitvoer van InstructGPT te laten vergelijken met die van GPT‑3. We constateren dat de InstructGPT‑modellen duidelijk de voorkeur krijgen bij prompts die zijn ingediend bij zowel de InstructGPT- als de GPT‑3‑modellen via de API Dit blijft het geval wanneer we een voorvoegsel aan de GPT‑3‑prompt toevoegen, zodat het model in een 'instructievolgende modus' komt.

Om de veiligheid van onze modellen te meten, gebruiken we voornamelijk een reeks bestaande meetmethoden op openbaar beschikbare gegevenssets. Vergeleken met GPT‑3 produceert InstructGPT minder imiterende onwaarheden (volgens TruthfulQA¹⁷) en is het minder toxisch (volgens RealToxicityPrompts¹⁸). We voeren ook menselijke evaluaties uit op de promptverdeling van onze API, en constateren dat InstructGPT minder vaak feiten verzint ('hallucineert') en meer gepaste antwoorden genereert.^C

Tot slot blijkt dat klanten de antwoorden van InstructGPT verkiezen boven die van FLAN⁴ en T0⁵. Dit geeft aan dat de gegevens die zijn gebruikt om FLAN en T0 te trainen, voornamelijk academische NLP-taken, niet volledig representatief zijn voor hoe taalmodellen in de praktijk worden gebruikt.

Om InstructGPT‑modellen te trainen, is onze belangrijkste techniek versterkt leren van menselijke feedback (reinforcement learning from human feedback, RLHF)⁠, een methode die we hebben helpen ontwikkelen in ons eerdere afstemmingsonderzoek. Deze techniek gebruikt menselijke voorkeuren als een beloningssignaal voor het verfijnen van onze modellen, wat belangrijk is omdat de veiligheids- en uitlijningsproblemen die we proberen op te lossen complex en subjectief zijn en niet volledig kunnen worden vastgelegd met eenvoudige automatische meetmethoden.

We verzamelen eerst een gegevensset van door mensen geschreven demonstraties van prompts die zijn ingediend bij onze API en gebruiken deze om onze basislijnen voor begeleid leren te trainen. Vervolgens verzamelen we een gegevensset van door mensen gelabelde vergelijkingen tussen twee modelantwoorden op een grotere set API-prompts. Vervolgens trainen we een beloningsmodel (reward model, RM) op deze gegevensset om te voorspellen aan welke uitvoer onze labelaars de voorkeur zouden geven. Tot slot gebruiken we dit RM als een beloningsfunctie en verfijnen we ons GPT‑3 beleid om deze beloning te maximaliseren met behulp van het PPO-algoritme⁠.

Een manier om over dit proces na te denken is dat het mogelijkheden 'ontsluit' die GPT‑3 al had, maar die moeilijk te ontlokken waren door alleen prompt engineering: dit komt omdat onze trainingsprocedure een beperkt vermogen heeft om het model nieuwe mogelijkheden aan te leren ten opzichte van wat er is geleerd tijdens de training vooraf, aangezien het minder dan 2% van de berekeningen en gegevens gebruikt ten opzichte van de training vooraf van het model.

Een beperking van deze aanpak is dat het een 'afstemmingsbelasting' introduceert: door de modellen alleen af te stemmen op klanttaken, kunnen ze slechter presteren op sommige andere, academische NLP-taken. Dit is onwenselijk, want als onze afstemmingstechnieken modellen slechter maken voor taken die mensen belangrijk vinden, dan wordt de kans kleiner dat ze in de praktijk worden toegepast. We hebben een eenvoudige algoritmische verandering gevonden die deze afstemmingsbelasting minimaliseert: tijdens de RL-fijnafstemming mengen we een klein deel van de oorspronkelijke gegevens bij die zijn gebruikt om GPT‑3 te trainen en trainen op deze gegevens met behulp van de normale logwaarschijnlijkheid optimalisatie.^D. Dit handhaaft ruwweg de prestaties op het gebied van veiligheid en menselijke voorkeuren, terwijl het de prestatiedalingen op academische taken vermindert en in verschillende gevallen zelfs de GPT‑3 baseline overtreft.

Onze procedure stemt het gedrag van onze modellen af op de voorkeuren van onze labelaars, die rechtstreeks de gegevens produceren die worden gebruikt om onze modellen te trainen en ons onderzoekers, die de labelaars begeleiden via schriftelijke instructies, directe feedback over specifieke voorbeelden en informele gesprekken. Het wordt ook beïnvloed door onze klanten en de voorkeuren die impliciet zijn opgenomen in ons API-beleid. We selecteerden labelaars die goed scoorden op een screeningstest voor hun vaardigheid in het herkennen van en reageren op gevoelige prompts. Deze verschillende invloeden op de gegevens bieden echter geen garantie dat onze modellen zijn afgestemd op de voorkeuren van een bredere groep.

We hebben twee experimenten uitgevoerd om dit te onderzoeken. Ten eerste evalueren we GPT‑3 en InstructGPT met behulp van uitgeschakelde labelaars^E die geen van de trainingsgegevens hebben geproduceerd, en ontdekten dat deze labelaars de voorkeur geven aan uitvoer van de InstructGPT‑modellen in ongeveer dezelfde mate als onze getrainde labelaars. Ten tweede trainen we beloningsmodellen op gegevens van een subset van onze labelaars en zien we dat ze goed generaliseren naar het voorspellen van de voorkeuren van een andere subset van labelaars. Dit suggereert dat onze modellen zich niet alleen hebben aangepast aan de voorkeuren van onze labelaars. Er is echter meer werk nodig om te bestuderen hoe deze modellen presteren op bredere groepen gebruikers en hoe ze presteren op invoer waarbij mensen het oneens zijn over het gewenste gedrag.

Ondanks de aanzienlijke vooruitgang zijn onze InstructGPT‑modellen nog lang niet volledig op elkaar afgestemd of volledig veilig; ze genereren nog steeds giftige of bevooroordeelde output, verzinnen feiten en genereren seksuele en gewelddadige inhoud zonder expliciete vraag. Maar de veiligheid van een machine learning-systeem hangt niet alleen af van het gedrag van de onderliggende modellen, maar ook van de manier waarop deze modellen worden ingezet. Om de veiligheid van onze API te waarborgen, blijven we potentiële toepassingen beoordelen⁠(opent in een nieuw venster) voordat ze live gaan, bieden we inhoudsfilters om onveilige antwoorden te detecteren, en houden we toezicht op misbruik.

Een bijproduct van het trainen van onze modellen om gebruikersinstructies op te volgen, is dat ze vatbaarder worden voor misbruik als ze de opdracht krijgen om onveilige uitvoer te produceren. Om dit op te lossen, moeten onze modellen bepaalde instructies weigeren; dit op een betrouwbare manier doen is een belangrijk open onderzoeksprobleem dat we graag willen aanpakken.

Bovendien is het in veel gevallen niet wenselijk om aan te sluiten bij de gemiddelde voorkeur van de labelaar. Als er bijvoorbeeld tekst wordt gegenereerd die een onevenredig groot effect heeft op een minderheidsgroep, moeten de voorkeuren van die groep zwaarder wegen. Op dit moment is InstructGPT getraind om instructies in het Engels op te volgen; het is dus bevooroordeeld ten opzichte van de culturele waarden van Engelssprekende mensen. We doen onderzoek naar de verschillen en meningsverschillen in de voorkeuren van labelaars, zodat we onze modellen kunnen afstemmen op de waarden van specifiekere doelgroepen. Meer in het algemeen brengt het afstemmen van modeluitvoer op de waarden van specifieke mensen moeilijke keuzes met maatschappelijke gevolgen met zich mee, en uiteindelijk moeten we verantwoorde en inclusieve processen opzetten om deze beslissingen te nemen.

Dit is de eerste toepassing van het afstemmingsonderzoek op ons product. Onze resultaten laten zien dat deze technieken effectief zijn in het significant verbeteren van de afstemming van AI-systemen voor algemeen gebruik met menselijke intenties. Dit is echter nog maar het begin: we zullen deze technieken blijven verbeteren om onze huidige en toekomstige modellen beter af te stemmen op taalhulpmiddelen die veilig en nuttig zijn voor mensen.

Als je geïnteresseerd bent in deze onderzoeksrichtingen, we nemen mensen aan⁠(opent in een nieuw venster)!