Obcy umysł

W połowie 2023 roku, w ramach projektu badawczego „RLSlow”, uzyskaliśmy pierwsze wyniki, które dały nam pewność, że będziemy w stanie skalować szkolenie modeli rozumujących, uwalniając zdolność modeli po pretreningu do tworzenia własnych łańcuchów rozumowania. Szymon i ja spędziliśmy tamtą noc w biurze. Nie myśleliśmy o imponujących wynikach testów porównawczych, produktach ani odkryciach naukowych, które przyniesie ta technologia. Próbowaliśmy raczej oswoić się z otrzeźwiającym faktem, że jeszcze za naszego życia naprawdę zobaczymy maszyny wyraźnie inteligentniejsze od nas, a zarys tych systemów jest już widoczny. Zastanawialiśmy się, jak uświadomić ludziom znaczenie tej chwili.

Trzy lata później rozumujące modele językowe stanowią szybko rosnącą część gospodarki i zaczynają przesuwać granice nauki. Potrafią obsługiwać komputery i interfejsy graficzne, współpracować z ludźmi i ze sobą nawzajem oraz realizować projekty badawcze. Przekształcają również krajobraz bezpieczeństwa komputerowego, stwarzając przy tym wyraźne nowe zagrożenia.

W tym okresie przeprowadzono wiele nowych badań, a nasze rozumienie tych systemów znów nieco różni się od tego z 2023 roku. Na podstawie wyników wewnętrznych jestem głęboko przekonany, że takie tempo postępu może utrzymać się także w fazie rekurencyjnego samodoskonalenia. Jeżeli rozwój AI utrzyma obecny kierunek, systemy, które zobaczymy w ciągu kilku najbliższych lat, prawdopodobnie dokonają kolejnych skoków możliwości o podobnej lub większej skali i będą w coraz większym stopniu napędzać własny rozwój.

Ta chwila wymaga wyjątkowej ostrożności. Obawiam się, że nikt nie jest przygotowany na konsekwencje dalszego szybkiego wzrostu inteligencji maszynowej. OpenAI będzie nadal szukać technicznych rozwiązań problemów dostrajania i monitorowania, budować systemy obronne oraz w razie potrzeby jednostronnie wstrzymywać dalsze skalowanie. Uważam jednak, że potrzebne są szersze działania.

W ogólnym ujęciu postęp inteligencji maszynowej napędza wzrost mocy obliczeniowej. W OpenAI w pełni uświadomiliśmy to sobie około 2017 roku, gdy w wielu projektach badawczych zaobserwowaliśmy stałe korzyści ze skalowania¹. W rezultacie zaczęliśmy zabiegać o dostęp do znacznie większej mocy obliczeniowej, niż pierwotnie planowaliśmy, i coraz silniej koncentrowaliśmy badania na niewielkiej liczbie wysoce skalowalnych kierunków. Uważaliśmy, że tylko w ten sposób możemy pozostać w awangardzie badań nad AI i wpływać na skutki rozwoju AGI.

Po drodze opracowano nowe algorytmy i dokonano kolejnych wyczynów pomysłowości — zarówno zespołowej, jak i indywidualnej. Postrzegam je głównie jako odkrycia dokonane na drodze skalowania. Nauka o głębokim uczeniu jest wciąż młoda, a istotny postęp algorytmiczny zazwyczaj koreluje z dostępem do mocy obliczeniowej. W perspektywie kilku lat widać, że wraz ze skalowaniem na większe komputery AI nieustannie staje się inteligentniejsza.

Zgodnie z przewidywaniami Raya Kurzweila z końca XX wieku⁠(otwiera nowe okno) znaleźliśmy się właśnie w takim momencie historii informatyki, w którym inteligencja maszynowa zaczyna przewyższać ludzką w sposób prowadzący do głębokich przemian.

AI bardziej się hoduje, niż projektuje — jest przede wszystkim wynikiem wielokrotnego powtarzania prostego kroku optymalizacyjnego przy użyciu niewyobrażalnie wielkiej mocy obliczeniowej. W efekcie powstaje niezwykle złożony system, który operuje abstrakcyjnymi pojęciami i potrafi symulować aspekty ludzkiego zachowania. Możemy odkrywać rozmaite prawidłowości dotyczące drobnych mechanizmów wyłaniających się w tym systemie, podobnie jak w neuronauce. Tak jak w neuronauce, całościowego działania systemu nie potrafimy jednak opisać w sposób w pełni dla nas zrozumiały.

Badania nad AI opartą na głębokim uczeniu są w dużej mierze nauką eksperymentalną. Wkładamy wiele wysiłku⁠ w tworzenie opartych na solidnych zasadach algorytmów i formułowanie sprawdzalnych przewidywań, ale zasadniczo nasze szkolenia na wielką skalę są eksperymentami, a ich wyniki czasami nas zaskakują. Co więcej, wraz ze wzrostem możliwości systemów interpretacja wyników staje się trudniejsza.

Sytuację komplikuje fakt, że obecne algorytmy na ogół szybciej rozwijają możliwości łatwe do zmierzenia niż te, które trudno obiektywnie ocenić. Poświęcamy wiele czasu na zrozumienie, jak możliwości podlegają generalizacji i jakie priorytety wybierać, by rozwijać umiejętności najważniejsze w ciągu kilku najbliższych lat. Uważamy na przykład, że dzięki większemu skupieniu moglibyśmy udoskonalić modele konkretnie w zakresie badań matematycznych. Nie traktujemy jednak tego kierunku priorytetowo ze względu na pilność prac nad RSI i zautomatyzowanymi badaniami nad dostrajaniem, które omówię później.

Inteligencji powstającej w wyniku skalowania głębokiego uczenia nie można bezpośrednio porównywać z inteligencją człowieka. Aby AI nabrała wielkiego znaczenia w realnym świecie — stała się bardzo użyteczna lub bardzo niebezpieczna — nie musi dorównać ludziom ani przewyższyć ich we wszystkich zdolnościach. Wystarczy, że prześcignie ich w odpowiednio wielu. A gdy przewyższa ludzi w coraz liczniejszych wymiarach, coraz trudniej jest dokładnie ocenić skalę jej możliwości.

Ponieważ inteligencja maszynowa powstaje w procesie zasadniczo odmiennym od ludzkiej inteligencji, nie możemy zakładać, że domyślnie przestrzega ludzkich zasad ani że generalizuje je w sposób podobny do człowieka. Głównym problemem badań nad AI jest dostrajanie — sprawienie, by AI „starała się postępować właściwie” według ludzkich standardów.

Na potrzeby organizacji praktycznych kierunków badań przydatne jest dla mnie rozróżnienie między dostrojeniem do celu a dostrojeniem do wartości.

Dostrojenie do celu sprowadza się zasadniczo do pytania: „Czy AI stara się osiągnąć wyznaczony jej cel?”. Może to obejmować między innymi przestrzeganie hierarchii instrukcji⁠ albo zdolność do komunikowania się i współpracy z ludźmi w celu zrozumienia ich zamierzeń. Ten zbiór kierunków ma ogromne znaczenie praktyczne.

Dostrojenie do wartości jest bardziej wewnętrzną właściwością modelu. Jest to zdolność do przyswojenia ogólnego zbioru zasad i generalizowania na jego podstawie, czyli do „rozsądnego” działania nawet w obliczu niejasnych lub sprzecznych celów bądź w nieznanych czy wrogich sytuacjach. Dostrojona AI powinna postępować uczciwie, rzetelnie i z miłością do ludzkości.

Oczywiście granica między dostrojeniem do wartości a dostrojeniem do celu może być nieostra, a rzeczywista troska o cele wymaga próby odczytania stojących za nimi intencji⁠(otwiera nowe okno) i wartości. Gdy jednak mówię o długoterminowym znaczeniu badań nad dostrajaniem, mam zazwyczaj na myśli dostrojenie do wartości.

Podstawowym wyzwaniem w dostrajaniu AI jest generalizacja. W miarę jak maszyny stają się inteligentniejsze, pracują na pojęciach coraz wyższego poziomu i trafiają do środowisk coraz bardziej odmiennych od tych, z którymi zetknęły się podczas szkolenia. Mogą nie potrafić przenieść wartości wpajanych i wzmacnianych podczas szkolenia na nowe sytuacje, a nam trudno jest zyskać pewność, jak się zachowają. Dodatkowym utrudnieniem jest bardzo szybka ewolucja całego ekosystemu, w którym używa się AI. Na przykład systemy AI szkolone obecnie muszą być odporne na interakcje z wieloma różnymi innymi systemami AI. Co najważniejsze, przyszłe systemy AI muszą nadal kierować się ludzkimi wartościami niezależnie od tego, czy sądzą, że podlegają nadzorowi człowieka.

Obecnie w praktyce stosuje się dwie główne klasy metod szkolenia ukierunkowanego na dostrajanie.

Pierwsza polega na promowaniu dostrojonego zachowania w ramach ukierunkowanego na cel uczenia przez wzmacnianie. Działania modelu są oceniane — zazwyczaj przez AI — pod kątem zgodności z określonym modelem preferencji, „specyfikacją” lub „konstytucją”, a następnie odpowiednio nagradzane. Podejście to może być bardzo skuteczne w typowych przypadkach i stanowi podstawowy element tworzenia współczesnych asystentów AI. Niestety może być także zawodne i silnie zależy od zakresu nadzoru podczas szkolenia oraz zdolności modelu do generalizowania na podstawie sytuacji napotkanych w trakcie szkolenia. Na przykład podczas incydentu OpenAI–Hugging Face agenci nie przekroczyli granicy polegającej na niestosowaniu socjotechniki wobec ludzi. Nie powstrzymali się jednak od innych działań wykraczających poza zakres zadania i sprzecznych z duchem wartości wpajanych im w innych sytuacjach.

Drugie podejście ma wykorzystywać zdolność modelu do generalizowania na podstawie danych z pretreningu. Może to polegać na opracowywaniu zbiorów danych treningowych sprzyjających dostrojeniu albo koncentrowaniu modelu na „dostrojonej” części rozkładu pretreningowego, jak na przykład w przypadku modelu wyboru persony⁠(otwiera nowe okno). Słabością tego podejścia jest brak odporności na dalszą presję optymalizacyjną. Jeżeli weźmiemy model, który na ogół myśli w sposób „dostrojony”, i poddamy go wystarczająco intensywnemu szkoleniu uczącemu osiągania bardzo trudnych celów, może on nauczyć się rozumowania motywowanego: naginania pozornie 'dostrojonych' myśli w stopniu potrzebnym do osiągnięcia celu. Przykład takiego zachowania prawdopodobnie zaobserwowaliśmy podczas niedawnych incydentów związanych z cyberbezpieczeństwem, w których uczestniczył model spoza OpenAI.

Intensywnie inwestujemy w całe spektrum podejść wyznaczonych przez te kierunki. Dostrzegamy też znaczący postęp — GPT‑6 Astra jest pierwszym modelem korzystającym z kilku ważnych udoskonaleń, nad którymi od dawna pracujemy, i jest znacznie lepiej dostrojony niż GPT‑5.6 Sol. Trzeba jednak przyznać i zrozumieć, że wraz ze wzrostem możliwości modeli potrzebny będzie znacznie większy postęp, a rozwój dostrajania zdolnego do generalizacji może nie wyprzedzać dostatecznie szybko ogólnego wzrostu inteligencji modeli.

Nie dysponujemy zadowalającą teorią generalizacji i wydaje się mało prawdopodobne, byśmy mogli ją wkrótce opracować, przynajmniej bez pomocy potężniejszej AI. Dlatego obecnie nasza zdolność do empirycznej weryfikacji technik dostrajania jest w praktyce prawdopodobnie jeszcze ważniejsza niż same te techniki.

Głównym kierunkiem obranym przez OpenAI jest tutaj monitorowanie łańcucha rozumowania⁠(otwiera nowe okno). Opiera się ono na atrakcyjnej i skalowalnej koncepcji: znaczna część możliwości modelu wynika z ujętego w słowa procesu rozumowania, czyli łańcucha rozumowania. Jeżeli skalujemy optymalizację wyników tego procesu, ale nie nadzorujemy samego procesu, łańcuch rozumowania nie otrzymuje podczas szkolenia żadnej bezpośredniej zachęty do ukrywania rozbieżnych z naszymi intencjami idei lub celów. Nie oznacza to, że model nauczy się ujawniać rozbieżne z naszymi intencjami skłonności, które nie wymagają użycia łańcucha rozumowania. Może nam jednak pozwolić dokładnie monitorować wzrost możliwości wynikający z rozumowania.

Potencjalne znaczenie monitorowania łańcucha rozumowania dostrzegliśmy w tym samym czasie, gdy opracowaliśmy modele rozumujące. Gdy udostępniliśmy o1‑preview, celowo zaprojektowaliśmy produkt tak, aby ukrywał łańcuch rozumowania⁠ i długofalowo chronił go przed presją nadzoru². W dalszym rozwoju staraliśmy się przestrzegać zasady, by nie nadzorować procesu rozumowania. Monitorowanie CoT stało się dla nas niezwykle ważnym narzędziem do badania, jak nasze modele generalizują poza rozkład danych treningowych. Pozwala nam obserwować i analizować nie tylko ich działania, lecz także procesy wewnętrzne.

Narzędzie to pozostaje kluczowe w naszych badaniach nad modelami klasy Astra. Niestety nasze ewaluacje wskazują jednak, że możliwość polegania na monitorowaniu CoT stopniowo maleje. Wynika to z połączenia kilku czynników.

• Współczesne modele rozumujące działają w bardziej złożonych środowiskach niż o1‑preview. Ich proces rozumowania coraz silniej splata się z komunikacją z ludźmi i innymi systemami AI oraz z używaniem narzędzi. Wiele z tych interakcji musi podlegać nadzorowi, co zaciera granicę, którą staramy się zachować.
• AI coraz lepiej analizuje własny proces rozumowania i nim manipuluje.
• Wraz z poprawą wyników pretreningu obserwujemy też, że modele stają się znacznie inteligentniejsze nawet bez jakiegokolwiek ujmowania rozumowania w słowa.

Te wyzwania nie muszą być nie do pokonania. Mam nadzieję, że uda nam się opracować rozwiązania poprawiające możliwość monitorowania łańcucha rozumowania naszych modeli, na przykład dzięki lepszemu zrozumieniu zależności między różnymi celami optymalizacji a formami mocy obliczeniowej wykorzystywanej przez model podczas wnioskowania. Uważam również, że bardzo wartościowe może być połączenie koncepcji monitorowania CoT i aktywacji — skalowanie szkolenia monitorów mających bezpośredni dostęp do wnętrza sieci, takich jak wyznania⁠(otwiera nowe okno). Aktywnie rozwijamy te koncepcje. Mimo to spodziewam się, że ogólny postęp AI będzie coraz bardziej ograniczany przez poziom zaufania do monitorowania.

Najsilniejszym argumentem za dalszym szybkim szkoleniem znacznie inteligentniejszych modeli jest moim zdaniem potrzeba budowy systemów obronnych przed zagrożeniami stwarzanymi przez inne systemy AI.

Wyraźnym zagrożeniem omawianym przez cały ten rok jest cyberbezpieczeństwo: modele osiągają ponadludzką zdolność włamywania się do systemów komputerowych i wydostawania się z nich. Ogromnie poszerza to zakres ryzyka związanego z AI: agenci będą mogli uzyskiwać dostęp do niemal każdej infrastruktury poza najlepiej zabezpieczoną i bezpośrednio wpływać na znaczną część świata, nawet bez fizycznego ciała. Obecnie mamy krótkie okno możliwości⁠, by wykorzystać najlepsze dostępne modele do znacznego wzmocnienia zabezpieczeń⁠ systemów krytycznych.

Niestety od tej chwili zagrożenia związane z AI będą tylko rosły. Bardzo sprawny agent, specjalnie wyszkolony i poinstruowany do popełniania szkodliwych czynów, stanowi nowy rodzaj zagrożenia. Prawdopodobnie wykroczy poza intencje swojego operatora, generalizując je w potencjalnie znacznie bardziej złośliwe zachowania. W miarę wzrostu autonomii AI granica między nadużyciem a autonomicznymi działaniami rozbieżnymi z naszymi intencjami będzie się zacierać. Możemy być przyzwyczajeni do postrzegania AI jako narzędzi, ale niektórzy agenci będą dążyć do realizacji własnych celów. Będą znajdować sposoby współpracy z ludźmi, targując się z nimi, oszukując ich lub szantażując.

Do tego dochodzą zagrożenia związane z nowymi technologiami, których rozwój może umożliwić AI, takimi jak projektowane patogeny.

Do obrony potrzebujemy potężnej i dostrojonej AI: do zabezpieczania infrastruktury, ochrony w czasie rzeczywistym przed niekontrolowanymi agentami oraz tworzenia zupełnie nowych środków ochronnych. Będzie to jeden z głównych priorytetów działań OpenAI związanych z wdrażaniem AI.

Jednocześnie niepewność związana z przewidywanym szerokim postępem AI i potrzebą budowy systemów obronnych nie może stać się wymówką dla lekkomyślności. Gdy w pełni zrozumie się powagę stawki, pomysł wyścigu naprzód za wszelką cenę wydaje się absurdalny.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(otwiera nowe okno), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(otwiera nowe okno), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(otwiera nowe okno) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.