კვლევის აჩქარება: ხედვა OpenAI-ის შიგნიდან

გვჯერა, რომ მთელი კაცობრიობის საკეთილდღეოდ AGI დემოკრატიულად უნდა იმართებოდეს. ამისთვის საჭიროა ინფორმირებული საჯარო დებატი მძლავრი AI-სისტემების შესაძლებლობებზე, რისკებსა და დამცავ ზომებზე. ყველამ უნდა გაიაზროს მოწინავე AI-ის სავარაუდო განვითარების გზა, რათა მის მომავალზე რეალური გავლენა ჰქონდეს.

კონკრეტული რისკების, ინციდენტებისა და დამცავი ზომების გამჭვირვალობა აუცილებელია, თუმცა არასაკმარისი. საზოგადოებამ უნდა იცოდეს, როგორ ვითარდება უძლიერესი სისტემები მოწინავე ლაბორატორიებში და როგორ უწყობს ხელს კვლევას.

ჩვენი მიზანია უსაფრთხოდ შევქმნათ ავტომატიზებული AI-მკვლევარი, რომელიც ადამიანის ზედამხედველობით ღრმა დასწავლასა და თანხვედრილობას იტერაციულად გააუმჯობესებს. ჩვენი გაზომვებით, უკვე მივაღწიეთ შარშან შემოდგომაზე გამოცხადებულ⁠(იხსნება ახალ ფანჯარაში) მიზანს — ამ სექტემბრისთვის ავტომატიზებული კვლევითი სტაჟიორის შექმნას. „კვლევითი სტაჟიორი“ ადამიანის მითითებით მკაფიო კვლევით ამოცანებს ასრულებს, მათ შორის ისეთებსაც, რომლის შესრულებისთვისაც გამოცდილ მკვლევარ რამდენიმე დღე დასჭირდებოდა. მნიშვნელოვნად ვუახლოვდებით 2028 წლის მარტისთვის ავტომატიზებული AI-მკვლევრის შექმნას.

წელს OpenAI-ის მკვლევართა ყოველდღიური საქმიანობა საგრძნობლად შეიცვალა. ისინი პროგრამირების აგენტებს მთელი დღე, ხშირად პარალელურ სესიებში იყენებენ. გამოყენება სწრაფად იზრდება და OpenAI-ის სხვა გუნდებს უსწრებს. მკვლევრები კოდს უფრო სწრაფად ამატებენ და მეტ ექსპერიმენტს ატარებენ. იცვლება აგენტების გამოყენებაც: ისინი სულ უფრო რთულ ამოცანებს იღებს და უფრო ხშირად აღწევს წარმატებას. AI-ის კვლევა რთული პროცესია მრავალი შესაძლო დაბრკოლებით, ამიტომ საერთო პროგრესი, ალბათ, ამ ცალკეულ მაჩვენებლებს ვერ აჰყვება. თუმცა ეს მიგნებები ემთხვევა ჩვენს საერთო შთაბეჭდილებას: აგენტური ხელსაწყოები კვლევის პროგრესს მნიშვნელოვნად აჩქარებს. კვლევის პრიორიტეტებს, პერსპექტიულ იდეებსა და შედეგებს, სისტემების მასშტაბირებას, შეჩერებასა თუ განლაგებას კვლავ ადამიანები წყვეტენ.

გვჯერა, რომ პასუხისმგებლობიანი ავტომატიზებული AI-კვლევა შექმნის მოდელებს, რომლებიც ადამიანთა კეთილდღეობასა და OpenAI-ის მისიას უშუალოდ წაადგება. მას შეუძლია მოწინავე ინტელექტის ღირებულება შეამციროს და სარგებელი მთელ მსოფლიოს მოუტანოს. ამას ვაკეთებთ იმიტომაც, რომ ავტომატიზებულმა კვლევამ შეიძლება თანხვედრილობის პრობლემა გადაჭრას და მზარდი AI-შესაძლებლობებისგან დაცვა შექმნას. ავტომატიზებულ AI-მკვლევარს უსაფრთხოებისა და თანხვედრილობის კვლევაც შეუძლია. უფრო მძლავრმა, თანხვედრილმა სისტემებმა შეიძლება დაიცვას კრიტიკულად მნიშვნელოვანი ინფრასტრუქტურა, მოიგერიოს საშიში AI-აგენტები და ახალი დამცავი ზომები შექმნას.

ეს სასარგებლო ავტომატიზებული კვლევის განვითარების საფუძველია, მაგრამ არ ნიშნავს, რომ სწრაფი RSI აუცილებლად ჩვენი მიზანი უნდა იყოს. გავაგრძელოთ თუ არა და როგორ, დამოკიდებულია ადამიანის მხრიდან კონტროლის შენარჩუნებასა და სარგებლისა და რისკების შესახებ ინფორმირებულ დემოკრატიულ არჩევანზე.

ჯერ არ ვიცით, უსაფრთხოდ როგორ მივაღწიოთ სრულ, თანხვედრილ RSI-ს. ვცდილობთ, შესაძლებლობებთან ერთად მოვახდინოთ თანხვედრილობისა და უსაფრთხოების ზომების მასშტაბირება. თუმცა ვერ ვივარაუდებთ, რომ ამ სფეროების პროგრესი შესაძლებლობებს აჰყვება; უფრო მძლავრი სისტემების მონიტორინგიც შეიძლება გართულდეს. ამ ძალისხმევის საფუძველია თანხვედრილობა და უსაფრთხოება, დაწყებული აგენტური პროგრამირების სისტემებში არსებული პრობლემების გაზომვითა და შემცირებით. მიუღებელი რისკის აღმოჩენისას სათანადოდ ვიმოქმედებთ, მათ შორის შევანელებთ ან შევწყვეტთ იმ სისტემების შექმნასა თუ განთავსებას, რომელთა საკმარის დაცვას ვერ ვახერხებთ.

Hugging Face-ის ინციდენტის შემდეგ ეს პირობა შევასრულეთ⁠: განსათავსებელი უახლესი მოდელების განმტკიცებითი დასწავლა (RL) შევაჩერეთ, კვლევითი გარემოები გავამაგრეთ და შეტევებით გამოვცადეთ, მონიტორინგი კი გავაფართოეთ. ყველა კვლევა არ შეწყვეტილა: ზოგი სამუშაო გაძლიერებული კონტროლით განახლდა, ზოგი შეჩერებული დარჩა. ავამაღლეთ უსაფრთხოებისა და თანხვედრილობის სტანდარტები და ისინი მოდელის სასიცოცხლო ციკლში მეტად ჩავრთეთ: თანხვედრილ ქცევას მთელი წვრთნისას უფრო მყარი მტკიცებულება სჭირდება.

დღეს დეტალურად ვაჩვენებთ, როგორ დაგვეხმარა აგენტური სისტემები ბოლო თვეებში RSI-სკენ წინსვლაში. აგენტური სისტემები ახალია და სწრაფად იცვლება; ჩვენი გაზომვებიც ჯერ საწყის ეტაპზეა. ამ შედეგებისა და მეთოდების გაზიარებით გვსურს საზოგადოების ინფორმირება, საჯაროობის წახალისება და გაზომვის საერთო სტანდარტების ხელშეწყობა.

როგორც ჩვენს მოწინავე AI-ის პოლიტიკის გეგმაში⁠ ვწერდით, ჩვენ და სხვა კომპანიებს RSI-სკენ პროგრესის საჯარო აღრიცხვა უნდა მოგვეთხოვებოდეს. ასეთი მოთხოვნის გარეშეც ვაპირებთ RSI-სკენ პროგრესის გამჭვირვალედ ჩვენებას. გაზომვისა და ცოდნის გაუმჯობესებასთან ერთად გამჭვირვალობის მიდგომასაც განვავითარებთ, უსაფრთხოებისა და პროპრიეტარული ინფორმაციის დაცვის გათვალისწინებით.

წლის დასაწყისში OpenAI-ის მკვლევარი, რომელიც გამოყენებით მედიანას შეესაბამებოდა, პროგრამირების აგენტებს მცირედ იყენებდა. აგვისტოს შუა რიცხვებში მედიანური მკვლევარი აგენტებს ყოველდღე იყენებდა: API-ის ფასებით გამოთვლილი ინფერენსის ღირებულება დღეში 600 $-ს აჭარბებდა. კვლევით ორგანიზაციაში 90-ე პროცენტილის მომხმარებელი ახლა დღეში ისეთი რაოდენობის ტოკენებს იყენებს, რომელთა ღირებულებაც 7000 $-ს აღემატება.

2026 წლის ივნისამდე კვლევით ორგანიზაციაში აგენტების მუშაობის ჯამური დრო ჯერ კიდევ ჩამოუვარდებოდა ადამიანებისას. მას შემდეგ ეს შეიცვალა. სტანდარტული 8-საათიანი სამუშაო დღით დათვლით, აგვისტოს შუა რიცხვებში ორგანიზაციაში ადამიანის ყოველ სამუშაო დღეზე აგენტის 3,1 სამუშაო დღე მოდიოდა.

სხვა საზომია, რამდენი მკვლევარი იყენებს ძლიერ პარალელურ პროცესებს, მაგალითად, ერთდროულად 4 ან მეტ აგენტს. როგორც ქვემოთ ჩანს, ეს რიცხვი იზრდება. მონაცემები მოიცავს დღიურ პიკებს როგორც უშუალოდ მომხმარებლის მიერ გაშვებული აგენტებისთვის, ისე მათ მიერ შემდგომ შექმნილი ქვეაგენტებისთვის.

AI-კვლევის დიდი ნაწილი შრომატევადი პროცესია, რომლის მიზანიც ერთ-ერთ ძირითად მოდელში ინტელექტის ან წარმადობის გაუმჯობესების დანერგვაა. პროგრესი ყველა ეტაპის წარმატებას მოითხოვს: გაუმჯობესებების დაგეგმვას, მოდელის წარმადობის შესაფასებელი შეფასებების დაწერას, ამ გაუმჯობესებების მასშტაბურად გამოსაცდელი ინფრასტრუქტურის შექმნას, წვრთნისას შეცდომებისა და სახიფათო თუ არათანხვედრილი ქცევის აღმოჩენას, საუკეთესო იდეების ძირითად წვრთნაში ჩართვას. ნებისმიერ ეტაპზე მარცხმა შეიძლება მთელი ციკლი შეაფერხოს.

კოდის წერა და ექსპერიმენტები მკვლევართა ორი მთავარი საქმიანობაა; ვხედავთ ნიშნებს, რომ ორივე ჩქარდება.

ამ მაჩვენებლების გაზომვა შედარებით მარტივია, ინტერპრეტაცია კი შეიძლება რთული იყოს. ავტომატიზაციის ზრდასთან ერთად, ყველაზე ნაკლებად ავტომატიზებადი ამოცანები მეტ ძალისხმევას დაიკავებს და პროგრესის მთავარ დაბრკოლებად იქცევა. გამოთვლითი რესურსიც შემზღუდავი ფაქტორია და სხვა დაბრკოლებების შემცირებისას შეიძლება უფრო მნიშვნელოვანი გახდეს.

2026-ში ერთ აქტიურ ექსპერიმენტატორზე ექსპერიმენტების რაოდენობა გაიზარდა; აგვისტოში მაქსიმუმს მიაღწია 2025 წლის იანვრიდან აღრიცხვის დაწყების შემდეგ. ეს Codex-ის გავრცელებასთან კორელაციაშია, თუმცა 2025-იდან გამოთვლითი რესურსიც მნიშვნელოვნად გაიზარდა.

შთაბეჭდილებებიც და შიდა მონაცემებიც მიუთითებს: მკვლევრები პროგრამირების აგენტებს სულ უფრო ხშირად აბარებენ მაღალი დონისა და ხანგრძლივ ამოცანებს.

ამ ტენდენციის გასაგებად გამოყენება გავაანალიზეთ Epoch AI-ის ახლახან გამოქვეყნებული ტაქსონომიით⁠(იხსნება ახალ ფანჯარაში), რომელიც AI-ის კვლევისა და განვითარების სამუშაოებს აჯგუფებს. სამუშაოთა კლასიფიკაციის O*NET სისტემაზე დაფუძნებული ეს ტაქსონომია მოწინავე AI-ის კვლევასა და განვითარებას ექვს ეტაპად ყოფს:

1. გადაწყვეტა: რაზე ვიმუშაოთ, რა გავაგრძელოთ, სად გამოვყოთ რესურსი

2. დაგეგმვა: კვლევითი იდეები და ტექნიკური სპეციფიკაციები

3. შექმნა: კოდი და მონაცემთა ნაკრებები

4. გაშვება: წვრთნა/შეფასება (eval), აპარატურული უზრუნველყოფა, მომსახურება

5. ანალიზი: ექსპერიმენტები, მოდელები, განლაგება, გარე სამუშაო

6. კომუნიკაცია: მიგნებები, უკუკავშირი, სტატუსი, გადაწყვეტილებები

ქვემოთ პროგრამირების აგენტების ტოკენებს ამ ტაქსონომიით ვაჯგუფებთ.

2026 წლის იანვრიდან აგვისტომდე კვლევითი საქმიანობა ყველა კატეგორიაში გაიზარდა. იანვარში კვლევითი და ინფრასტრუქტურული კოდი ჭარბობდა. ეს კატეგორიაც გაფართოვდა, თუმცა სხვებიც საგრძნობლად გაიზარდა, განსაკუთრებით ტექნიკური დახმარება და პროცესების მონიტორინგი. მაღალი დონის დაგეგმვა კვლავ აგენტების გამომავალი ტოკენების უმცირესი ნაწილია.

კოლეგების თქმით, პროგრამირების აგენტები შიდა კვლევითი ინფრასტრუქტურის ხარვეზების აღმოფხვრას კარგად ასრულებს, რაც კვლევის წინსვლის მხრივ ერთ მნიშვნელოვან დაბრკოლებას წყვეტს. რამდენიმე გუნდმა, რომელიც ექსპერიმენტების პრობლემებზე კონსულტაციებს ატარებდა, 2026-ში დასწრების კლება აღნიშნა. ერთმა შეხვედრები სულ შეწყვიტა და სისტემის სხვა გაუმჯობესებებზე გადაერთო.

აქ ნაჩვენებია დღიური საწყისი პოსტების რაოდენობა ერთ-ერთ მთავარ შიდა არხში, სადაც მკვლევრები სხვა გუნდებს ტექნიკურ დახმარებას სთხოვენ. ჩვენი ინფორმაციით, ამ არხში აქტივობის კლება ადამიანებით დაკომპლექტებულ სხვა მხარდაჭერის არხში მიმართვების გადატანას არ აუნაზღაურებია. აქტივობის შემცირება ამ საერთო ცვლილებას შეესაბამება.

ასევე შეგვიძლია შევისწავლოთ, წარმატებით ასრულებს თუ არა პროგრამირების აგენტები მკვლევართა ამოცანებს. აგენტური კლასიფიკატორით ვხედავთ, რომ იანვრიდან ივლისამდე წარმატება სირთულის რამდენიმე ჯგუფში გაიზარდა იმ ამოცანებისთვის, რომელთა ნამდვილ შედეგსაც ვადგენთ. სირთულეს ადამიანისთვის საჭირო სავარაუდო დროით ვზომავთ. თუმცა წარმატებისთვის აგენტებს, დიდწილად, კვლავ სჭირდება მიმართულების მიცემა ადამიანის მხრიდან, განსაკუთრებით რთულ ამოცანებზე. ბოლო 6 თვეში წარმატებული 4–8-საათიანი ამოცანების ნახევარზე მეტს სულ მცირე ერთი ჩარევა დასჭირდა.

უსაფრთხო და სასარგებლო AGI-სთვის უფრო მძლავრი სისტემების შექმნისკენ წინსვლა ამ სამუშაოსთვის საჭირო დამცავ ზომებზეც იქნება დამოკიდებული. რისკების შესახებ ცოდნის ზრდასთან ერთად, საჭირო დამცავი ზომების ჩვენეული შეფასება შეიძლება შეიცვალოს.

როგორც უკვე აღვწერეთ,⁠ ახლახან განვაახლეთ მონიტორინგის, თანხვედრილობისა და დაცულობის სტანდარტები. აქ ვაჩვენებთ, როგორ იმოქმედა ბოლოდროინდელმა შეზღუდვებმა კვლევითი საქმიანობის ერთ ასპექტზე.

20 ივლისს, მას შემდეგ, რაც აღმოვაჩინეთ, რომ აგენტებმა ჩვენი კვლევითი ინფრასტრუქტურის კომპრომეტირება მოახდინა, დროებით გავთიშეთ წვრთნისთვის გამოყენებული კონტეინერების სერვისი, შემდეგ კი მნიშვნელოვანი დამატებითი შეზღუდვებით აღვადგინეთ.

ამის შედეგად RL-წვრთნის გამოთვლითი რესურსების გამოყენება მკვეთრად შემცირდა, სანამ გუნდები სამუშაო პროცესებს მეტად დაცულ კვლევით გარემოს მოარგებდნენ. ზემოთ მოცემული გრაფიკი მოიცავს განსათავსებლად განკუთვნილ ჩვენს უახლეს მოდელებზე განმტკიცებითი დასწავლის (RL) ორკვირიან შეჩერებას. 20 ივლისიდან 6 აგვისტომდე Astra-ს კლასის RL-ექსპერიმენტების გაშვებათა უმეტესობა (GPU-რესურსის განაწილების მიხედვით) უსაფრთხოებისა და დაცულობის გაუმჯობესებების დანერგვის შესამოწმებლად იყო განკუთვნილი.

7 აგვისტოს წინასწარმა მტკიცებულებებმა, რომ Astra-ს ჩვენი მზაობის ჩარჩოს⁠(იხსნება ახალ ფანჯარაში) მიხედვით შესაძლოა კრიტიკული დონის კიბერშესაძლებლობები ჰქონოდა⁠, ამ მოდელისთვის დაცულობის დამატებითი შეზღუდვები გამოიწვია. Astra უნდა გაშვებულიყო უფრო მაღალი დაცულობის კვლევით გარემოებში. მომდევნო კვირაში Astra-ს კლასისთვის გამოყოფილი GPU-რესურსი კიდევ 59,2 პროცენტით შემცირდა, სხვა კლასის მოდელებისთვის კი 17,2 პროცენტით გაიზარდა. ამ ზრდამ Astra-ს კლასის შემცირების დაახლოებით 85 პროცენტი დააბალანსა, ამიტომ გაანალიზებული RL-სამუშაოებისთვის გამოყოფილი ჯამური რესურსი დიდწილად უცვლელი დარჩა. ეს სურათი შეესაბამება წვრთნისა და ექსპერიმენტების ნაწილის სხვა მოდელებზე გადატანას, სანამ Astra-სთან მუშაობა შეზღუდული იყო. მას მკვლევართა ცალკეული მონათხრობებიც ეთანხმება: მათ სხვა დანიშნულება მოუძებნეს რესურსებს, რომლებსაც ახალი შეზღუდვებით მოცულ სამუშაოებზე ვეღარ იყენებდნენ.

ეს მონაცემები წვრთნისა და უსაფრთხოების შესახებ მიმდინარე განხილვებისთვის სასარგებლო სიგნალია: ახალი კონტროლის ზომების შემოღებისას გამოთვლითი რესურსი ფასეული და მოქნილი რჩება და ბუნებრივად მიემართება კვლევითი ორგანიზაციის სხვა საქმიანობაზე. გრძელვადიან პერსპექტივაში, ხელოვნური ინტელექტის პროგრესის ტემპის შესახებ გამართული განხილვა უნდა მოიცავდეს იმასაც, თუ როგორ გამოვიყენოთ საუკეთესოდ ახალი ან შემოთავაზებული კონტროლის ზომებს დაქვემდებარებული გამოთვლითი რესურსები.

თანხვედრილი RSI-სკენ წინსვლა და ამ პროგრესის გააზრება ჩვენი მისიისთვის მნიშვნელოვანია. გავაგრძელებთ მეთოდების დახვეწას, მზარდი ცოდნის გაზიარებას და მუშაობას ინფორმირებული საჯარო დებატისა და მოწინავე სისტემების ქმედითი დემოკრატიული მართვისთვის.

აგენტებით წარმართული AI-კვლევა ჯერ ახალია და მის გაზომვას კვლავ ვსწავლობთ. ზოგი მაჩვენებლის, მაგალითად, ჩვენი კვლევითი გუნდების მიერ შექმნილი კოდის მოცულობის შეგროვება შედარებით მარტივია, ინტერპრეტაცია კი რთული — კვლევის პროგრესთან მათი კავშირი გაურკვეველია. კვლევის პროგრესზე უშუალოდ ორიენტირებული საზომები — მაგალითად, რამდენად ხშირად ასრულებს აგენტები მკვლევართა დავალებებს წარმატებით — შეიძლება უფრო სასარგებლო იყოს, თუმცა მათი შემუშავება და ვალიდაცია რთულია. ამას ისიც ართულებს, რომ მკვლევართა ხელსაწყოები და სისტემები სწრაფად ვითარდება. კვლევის აჩქარების უკეთ გააზრება OpenAI-ში ერთ-ერთი მნიშვნელოვანი მიმართულებაა.

ამ ანალიზებში, თუ სხვაგვარად არ არის მითითებული:

• „მკვლევარი“ ფართო ტერმინია და აღნიშნავს კვლევითი ორგანიზაციის ნებისმიერ წევრს, მათ შორის მათ, ვინც კვლევით ინფრასტრუქტურას ქმნის, კვლევით პროექტებს მართავს ან ორგანიზაციას სხვაგვარად უჭერს მხარს.

• პროგრამირების აგენტების გამოყენების საზომები მოიცავს გამოყენების უმეტეს ნაწილს, მაგრამ არა სრულად, რადგან მკვლევართა ხელსაწყოები და სისტემები სწრაფად ვითარდება.