კვლევის აჩქარება: ხედვა OpenAI-ის შიგნიდან
გვჯერა, რომ მთელი კაცობრიობის საკეთილდღეოდ AGI დემოკრატიულად უნდა იმართებოდეს. ამისთვის საჭიროა ინფორმირებული საჯარო დებატი მძლავრი AI-სისტემების შესაძლებლობებზე, რისკებსა და დამცავ ზომებზე. ყველამ უნდა გაიაზროს მოწინავე AI-ის სავარაუდო განვითარების გზა, რათა მის მომავალზე რეალური გავლენა ჰქონდეს.
კონკრეტული რისკების, ინციდენტებისა და დამცავი ზომების გამჭვირვალობა აუცილებელია, თუმცა არასაკმარისი. საზოგადოებამ უნდა იცოდეს, როგორ ვითარდება უძლიერესი სისტემები მოწინავე ლაბორატორიებში და როგორ უწყობს ხელს კვლევას.
ჩვენი მიზანია უსაფრთხოდ შევქმნათ ავტომატიზებული AI-მკვლევარი, რომელიც ადამიანის ზედამხედველობით სიღრმისეულ სწავლებასა და მიზნებთან შესაბამისობას იტერაციულად გააუმჯობესებს. ჩვენი გაზომვებით, უკვე მივაღწიეთ შარშან შემოდგომაზე გამოცხადებულ(იხსნება ახალ ფანჯარაში) მიზანს — ამ სექტემბრისთვის ავტომატიზებული კვლევითი სტაჟიორის შექმნას. „კვლევითი სტაჟიორი“ ადამიანის მითითებით მკაფიო კვლევით ამოცანებს ასრულებს, მათ შორის ისეთებსაც, რომლებსაც გამოცდილ მკვლევართან რამდენიმე დღე სჭირდება. მნიშვნელოვნად ვუახლოვდებით 2028 წლის მარტისთვის ავტომატიზებული AI-მკვლევრის შექმნას.
წელს OpenAI-ის მკვლევართა ყოველდღიური საქმიანობა საგრძნობლად შეიცვალა. ისინი პროგრამირების აგენტებს მთელი დღე, ხშირად პარალელურ სესიებში იყენებენ. გამოყენება სწრაფად იზრდება და OpenAI-ის სხვა გუნდებს უსწრებს. მკვლევრები კოდს უფრო სწრაფად ამატებენ და მეტ ექსპერიმენტს ატარებენ. იცვლება აგენტების გამოყენებაც: ისინი სულ უფრო რთულ ამოცანებს იღებენ და უფრო ხშირად აღწევენ წარმატებას. AI-ის კვლევა რთული პროცესია მრავალი შესაძლო დაბრკოლებით, ამიტომ საერთო პროგრესი, ალბათ, ამ ცალკეულ მაჩვენებლებს ვერ აჰყვება. თუმცა ეს მიგნებები ემთხვევა ჩვენს საერთო შთაბეჭდილებას: აგენტური ხელსაწყოები კვლევის პროგრესს მნიშვნელოვნად აჩქარებს. კვლევის პრიორიტეტებს, პერსპექტიულ იდეებსა და შედეგებს, სისტემების გაფართოებას, შეჩერებასა თუ განთავსებას კვლავ ადამიანები წყვეტენ.
გვჯერა, რომ პასუხისმგებლიანი ავტომატიზებული AI-კვლევა შექმნის მოდელებს, რომლებიც ადამიანთა კეთილდღეობასა და OpenAI-ის მისიას უშუალოდ წაადგება. მას შეუძლია მოწინავე ინტელექტის ღირებულება შეამციროს და სარგებელი მთელ მსოფლიოს მოუტანოს. ამას ვაკეთებთ იმიტომაც, რომ ავტომატიზებულმა კვლევამ შეიძლება მიზნებთან შესაბამისობის პრობლემა გადაჭრას და მზარდი AI-შესაძლებლობებისგან დაცვა შექმნას. ავტომატიზებულ AI-მკვლევარს უსაფრთხოებისა და მიზნებთან შესაბამისობის კვლევაც შეუძლია. უფრო მძლავრმა, მიზნებთან შესაბამისმა სისტემებმა შეიძლება დაიცვან კრიტიკული ინფრასტრუქტურა, მოიგერიონ საშიში AI-აგენტები და ახალი დამცავი ზომები შექმნან.
ეს სასარგებლო ავტომატიზებული კვლევის განვითარების საფუძველია, მაგრამ არ ნიშნავს, რომ სწრაფი RSI აუცილებლად ჩვენი მიზანი უნდა იყოს. გავაგრძელოთ თუ არა და როგორ, დამოკიდებულია ადამიანური კონტროლის შენარჩუნებასა და სარგებლისა და რისკების შესახებ ინფორმირებულ დემოკრატიულ არჩევანზე.
ჯერ არ ვიცით, როგორ მივაღწიოთ უსაფრთხოდ სრულ, ადამიანურ მიზნებთან შესაბამის RSI-ს. ვცდილობთ, შესაძლებლობებთან ერთად გავაფართოოთ მიზნებთან შესაბამისობისა და უსაფრთხოების ზომები. თუმცა ვერ ვივარაუდებთ, რომ ამ სფეროების პროგრესი შესაძლებლობებს აჰყვება; უფრო მძლავრი სისტემების მონიტორინგიც შეიძლება გართულდეს. ამ ძალისხმევის საფუძველია მიზნებთან შესაბამისობა და უსაფრთხოება, დაწყებული აგენტური პროგრამირების სისტემებში არსებული პრობლემების გაზომვითა და შემცირებით. მიუღებელი რისკის აღმოჩენისას სათანადოდ ვიმოქმედებთ, მათ შორის შევანელებთ ან შევწყვეტთ იმ სისტემების შექმნასა თუ განთავსებას, რომელთა საკმარის დაცვას ვერ ვახერხებთ.
Hugging Face-ის ინციდენტის შემდეგ ეს პირობა შევასრულეთ: განსათავსებელი უახლესი მოდელების განმამტკიცებელი სწავლება (RL) შევაჩერეთ, კვლევითი გარემოები გავამაგრეთ და შეტევებით გამოვცადეთ, მონიტორინგი კი გავაფართოეთ. ყველა კვლევა არ შეწყვეტილა: ზოგი სამუშაო გაძლიერებული კონტროლით განახლდა, ზოგი შეჩერებული დარჩა. ავამაღლეთ უსაფრთხოებისა და მიზნებთან შესაბამისობის სტანდარტები და ისინი მოდელის სასიცოცხლო ციკლში მეტად ჩავრთეთ: შესაბამის ქცევას მთელი წვრთნისას უფრო მყარი მტკიცებულება სჭირდება.
დღეს დეტალურად ვაჩვენებთ, როგორ დაგვეხმარა აგენტური სისტემები ბოლო თვეებში RSI-სკენ წინსვლაში. აგენტური სისტემები ახალია და სწრაფად იცვლება; ჩვენი გაზომვებიც ჯერ საწყის ეტაპზეა. ამ შედეგებისა და მეთოდების გაზიარებით გვსურს საზოგადოების ინფორმირება, საჯარო ანგარიშგების წახალისება და გაზომვის საერთო სტანდარტების ხელშეწყობა.
როგორც ჩვენს მოწინავე AI-ის პოლიტიკის გეგმაში ვწერდით, ჩვენ და სხვა კომპანიებს RSI-სკენ პროგრესის საჯარო აღრიცხვა უნდა მოგვეთხოვებოდეს. ასეთი მოთხოვნის გარეშეც ვაპირებთ RSI-სკენ პროგრესის გამჭვირვალედ ჩვენებას. გაზომვისა და ცოდნის გაუმჯობესებასთან ერთად გამჭვირვალობის მიდგომასაც განვავითარებთ, დაცულობისა და საკუთრებითი ინფორმაციის დაცვის გათვალისწინებით.
წლის დასაწყისში OpenAI-ის მკვლევარი, რომელიც გამოყენებით მედიანას შეესაბამებოდა, პროგრამირების აგენტებს მცირედ იყენებდა. აგვისტოს შუა რიცხვებში მედიანური მკვლევარი აგენტებს ყოველდღე იყენებდა: ინფერენსი API-ის ფასებით დღეში $600-ს აჭარბებდა. კვლევით ორგანიზაციაში 90-ე პერცენტილის მომხმარებელი ახლა დღეში $7,000-ზე მეტის ტოკენებს იყენებს.
2026 წლის ივნისამდე კვლევით ორგანიზაციაში აგენტების მუშაობის ჯამური დრო ჯერ კიდევ ჩამოუვარდებოდა ადამიანებისას. მას შემდეგ ეს შეიცვალა. სტანდარტული 8-საათიანი სამუშაო დღით დათვლით, აგვისტოს შუა რიცხვებში ორგანიზაციაში ადამიანის ყოველ სამუშაო დღეზე აგენტის 3.1 სამუშაო დღე მოდიოდა.
სხვა საზომია, რამდენი მკვლევარი იყენებს ძლიერ პარალელურ პროცესებს, მაგალითად, ერთდროულად 4 ან მეტ აგენტს. როგორც ქვემოთ ჩანს, ეს რიცხვი იზრდება. მონაცემები მოიცავს დღიურ პიკებს როგორც მომხმარებლის უშუალოდ გაშვებული აგენტებისთვის, ისე მათ მიერ შემდგომ შექმნილი ქვეაგენტებისთვის.
AI-კვლევის დიდი ნაწილი შრომატევადი პროცესია, რომლის მიზანიც ერთ-ერთ ძირითად მოდელში ინტელექტის ან წარმადობის გაუმჯობესების დანერგვაა. პროგრესი ყველა ეტაპის წარმატებას მოითხოვს: გაუმჯობესებების დაგეგმვას, მოდელის შეფასებას, მასშტაბური ტესტირების ინფრასტრუქტურის დაწერას, წვრთნისას შეცდომებისა და სახიფათო თუ მიზნებთან შეუსაბამო ქცევის აღმოჩენას, საუკეთესო იდეების ძირითად წვრთნაში ჩართვას. ნებისმიერ ეტაპზე წარუმატებლობამ შეიძლება მთელი ციკლი შეაფერხოს.
კოდის წერა და ექსპერიმენტები მკვლევართა ორი მთავარი საქმიანობაა; ვხედავთ ნიშნებს, რომ ორივე ჩქარდება.
ამ მაჩვენებლების გაზომვა შედარებით მარტივია, ინტერპრეტაცია კი შეიძლება რთული იყოს. ავტომატიზაციის ზრდასთან ერთად, ყველაზე ნაკლებად ავტომატიზებადი ამოცანები მეტ ძალისხმევას დაიკავებს და პროგრესის მთავარ დაბრკოლებად იქცევა. გამოთვლითი რესურსიც შემზღუდავი ფაქტორია და სხვა დაბრკოლებების შემცირებისას შეიძლება უფრო მნიშვნელოვანი გახდეს.
2026-ში ერთ აქტიურ ექსპერიმენტატორზე ექსპერიმენტების რაოდენობა გაიზარდა; აგვისტოში მაქსიმუმს მიაღწია 2025 წლის იანვრიდან აღრიცხვის დაწყების შემდეგ. ეს Codex-ის გავრცელებასთან კორელირებს, თუმცა 2025-იდან გამოთვლითი რესურსიც მნიშვნელოვნად გაიზარდა.
შთაბეჭდილებებიც და შიდა მონაცემებიც მიუთითებს: მკვლევრები პროგრამირების აგენტებს სულ უფრო ხშირად აბარებენ მაღალი დონისა და ხანგრძლივ ამოცანებს.
ამ ტენდენციის გასაგებად გამოყენება გავაანალიზეთ Epoch AI-ის ახლახან გამოქვეყნებული ტაქსონომიით(იხსნება ახალ ფანჯარაში), რომელიც AI-ის კვლევისა და განვითარების სამუშაოებს აჯგუფებს. სამუშაოთა კლასიფიკაციის O*NET სისტემაზე დაფუძნებული ეს ტაქსონომია მოწინავე AI-ის კვლევასა და განვითარებას ექვს ეტაპად ყოფს:
გადაწყვეტა: რაზე ვიმუშაოთ, რა გავაგრძელოთ, სად გამოვყოთ რესურსი
დაგეგმვა: კვლევითი იდეები და ტექნიკური სპეციფიკაციები
შექმნა: კოდი და მონაცემთა ნაკრებები
გაშვება: წვრთნა/შეფასება, აპარატურა, მომსახურება
ანალიზი: ექსპერიმენტები, მოდელები, განთავსება, გარე სამუშაო
კომუნიკაცია: მიგნებები, უკუკავშირი, სტატუსი, გადაწყვეტილებები
ქვემოთ პროგრამირების აგენტების ტოკენებს ამ ტაქსონომიით ვაჯგუფებთ.
2026 წლის იანვრიდან აგვისტომდე კვლევითი საქმიანობა ყველა კატეგორიაში გაიზარდა. იანვარში კვლევისა და ინფრასტრუქტურის კოდი ჭარბობდა. ეს კატეგორიაც გაფართოვდა, თუმცა სხვებიც საგრძნობლად გაიზარდა, განსაკუთრებით ტექნიკური დახმარება და პროცესების მონიტორინგი. მაღალი დონის დაგეგმვა კვლავ აგენტების გამომავალი ტოკენების უმცირესი ნაწილია.
კოლეგების თქმით, პროგრამირების აგენტები შიდა კვლევითი ინფრასტრუქტურის გაუმართაობებს კარგად აგვარებენ, რაც კვლევის მნიშვნელოვან დაბრკოლებას ამცირებს. რამდენიმე გუნდმა, რომელიც ექსპერიმენტების პრობლემებზე კონსულტაციებს ატარებდა, 2026-ში დასწრების კლება აღნიშნა. ერთმა შეხვედრები სულ შეწყვიტა და სისტემის სხვა გაუმჯობესებებზე გადაერთო.
აქ ნაჩვენებია დღიური საწყისი პოსტების რაოდენობა ერთ-ერთ მთავარ შიდა არხში, სადაც მკვლევრები სხვა გუნდებს ტექნიკურ დახმარებას სთხოვენ. ჩვენი ინფორმაციით, ამ არხში აქტივობის კლება ადამიანებით დაკომპლექტებულ სხვა მხარდაჭერის არხში მიმართვების გადატანას არ აუნაზღაურებია. აქტივობის შემცირება ამ საერთო ცვლილებას შეესაბამება.
ასევე შეგვიძლია შევისწავლოთ, წარმატებით ასრულებენ თუ არა პროგრამირების აგენტები მკვლევართა ამოცანებს. აგენტური კლასიფიკატორით ვხედავთ, რომ იანვრიდან ივლისამდე წარმატება სირთულის რამდენიმე ჯგუფში გაიზარდა იმ ამოცანებისთვის, რომელთა ნამდვილ შედეგსაც ვადგენთ. სირთულეს ადამიანისთვის საჭირო სავარაუდო დროით ვზომავთ. თუმცა წარმატებისთვის აგენტებს კვლავ მნიშვნელოვანი ადამიანური მიმართულების მიცემა სჭირდებათ, განსაკუთრებით რთულ ამოცანებზე. ბოლო 6 თვეში წარმატებული 4–8-საათიანი ამოცანების ნახევარზე მეტს სულ მცირე ერთი ჩარევა დასჭირდა.
მკვლევართა ამოცანების წარმატებით შესრულების მაჩვენებლები დროთა განმავლობაში გაიზარდა. გრაფიკი არ მოიცავს გაურკვეველი შედეგის მქონე კლასიფიკაციებს და წერტილებს <50 სესიით ან <50 უნიკალური მომხმარებლით.
ამოცანების წარმატებისა და ჩარევის სიხშირე იანვრიდან ივლისამდე, დროითი ჰორიზონტების მიხედვით. არ მოიცავს კლასიფიკაციებს, რომელთა შედეგიც გაურკვეველი იყო.
უსაფრთხო და სასარგებლო AGI-სთვის უფრო მძლავრი სისტემების შექმნისკენ წინსვლა ამ სამუშაოსთვის საჭირო დამცავ ზომებზეც იქნება დამოკიდებული. რისკების შესახებ ცოდნის ზრდასთან ერთად, საჭირო დამცავი ზომების ჩვენეული შეფასება შეიძლება შეიცვალოს.
როგორც უკვე აღვწერეთ, ახლახან განვაახლეთ მონიტორინგის, ადამიანურ მიზნებთან შესაბამისობისა და დაცულობის სტანდარტები. აქ ვაჩვენებთ, როგორ იმოქმედა ბოლოდროინდელმა შეზღუდვებმა კვლევითი საქმიანობის ერთ ასპექტზე.
*აქ ნაჩვენები Astra-ს გამოთვლითი რესურსების უმეტესობა 20 ივლისიდან 6 აგვისტომდე უსაფრთხოებისა და დაცულობის გაუმჯობესებების დანერგვის შესამოწმებლად იყო განკუთვნილი.
20 ივლისს, მას შემდეგ, რაც აღმოვაჩინეთ, რომ აგენტებმა ჩვენი კვლევითი ინფრასტრუქტურის დაცვა დაარღვიეს, დროებით გავთიშეთ წვრთნისთვის გამოყენებული კონტეინერების სერვისი, შემდეგ კი მნიშვნელოვანი დამატებითი შეზღუდვებით აღვადგინეთ.
ამის შედეგად RL-წვრთნის გამოთვლითი რესურსების გამოყენება მკვეთრად შემცირდა, სანამ გუნდები სამუშაო პროცესებს მეტად დაცულ კვლევით გარემოს მოარგებდნენ. ზემოთ მოცემული გრაფიკი მოიცავს განსათავსებლად განკუთვნილ ჩვენს უახლეს მოდელებზე განმამტკიცებელი სწავლების ორკვირიან შეჩერებას. 20 ივლისიდან 6 აგვისტომდე Astra-ს კლასის RL-ექსპერიმენტების უმეტესობა, გამოყოფილი GPU-რესურსის მიხედვით, უსაფრთხოებისა და დაცულობის გაუმჯობესებების დანერგვის შესამოწმებლად ტარდებოდა.
7 აგვისტოს წინასწარმა მტკიცებულებებმა, რომ Astra-ს ჩვენი მზაობის ჩარჩოს(იხსნება ახალ ფანჯარაში) მიხედვით შესაძლოა კრიტიკული კიბერშესაძლებლობები ჰქონოდა, ამ მოდელისთვის დაცულობის დამატებითი შეზღუდვები გამოიწვია. Astra უნდა გაშვებულიყო უფრო მაღალი დაცულობის კვლევით გარემოებში. მომდევნო კვირაში Astra-ს კლასისთვის გამოყოფილი GPU-რესურსი კიდევ 59.2 პროცენტით შემცირდა, სხვა კლასის მოდელებისთვის კი 17.2 პროცენტით გაიზარდა. ამ ზრდამ Astra-ს კლასის შემცირების დაახლოებით 85 პროცენტი დააბალანსა, ამიტომ გაანალიზებული RL-სამუშაოებისთვის გამოყოფილი ჯამური რესურსი დიდწილად უცვლელი დარჩა. ეს სურათი შეესაბამება წვრთნისა და ექსპერიმენტების ნაწილის სხვა მოდელებზე გადატანას, სანამ Astra-სთან მუშაობა შეზღუდული იყო. მას მკვლევართა ცალკეული მონათხრობებიც ეთანხმება: მათ სხვა დანიშნულება მოუძებნეს რესურსებს, რომლებსაც ახალი შეზღუდვებით მოცულ სამუშაოებზე ვეღარ იყენებდნენ.
ეს მონაცემები წვრთნისა და უსაფრთხოების შესახებ მიმდინარე განხილვებისთვის სასარგებლო სიგნალია: ახალი კონტროლის ზომების შემოღებისას გამოთვლითი რესურსი ფასეული და მოქნილი რჩება და ბუნებრივად მიემართება კვლევითი ორგანიზაციის სხვა საქმიანობაზე. გრძელვადიან პერსპექტივაში, ხელოვნური ინტელექტის პროგრესის ტემპზე განხილვა უნდა მოიცავდეს იმასაც, თუ როგორ გამოვიყენოთ საუკეთესოდ ახალი ან შემოთავაზებული კონტროლის ზომებს დაქვემდებარებული გამოთვლითი რესურსები.
ადამიანურ მიზნებთან შესაბამისი RSI-სკენ წინსვლა და ამ პროგრესის გააზრება ჩვენი მისიისთვის მნიშვნელოვანია. გავაგრძელებთ მეთოდების დახვეწას, მზარდი ცოდნის გაზიარებას და მუშაობას ინფორმირებული საჯარო დებატისა და მოწინავე სისტემების ქმედითი დემოკრატიული მართვისთვის.
აგენტებით წარმართული AI-კვლევა ჯერ ახალია და მის გაზომვას კვლავ ვსწავლობთ. ზოგი მაჩვენებლის შეგროვება, მაგალითად, ჩვენი კვლევითი გუნდების მიერ შექმნილი კოდის რაოდენობის, შედარებით მარტივია, ინტერპრეტაცია კი რთული — კვლევის პროგრესთან მათი კავშირი გაურკვეველია. კვლევის პროგრესზე უშუალოდ ორიენტირებული საზომები — მაგალითად, რამდენად ხშირად ასრულებენ აგენტები მკვლევართა დავალებებს წარმატებით — შეიძლება უფრო სასარგებლო იყოს, თუმცა მათი შემუშავება და ვალიდაცია რთულია. ამას ისიც ართულებს, რომ მკვლევართა ხელსაწყოები და სისტემები სწრაფად ვითარდება. კვლევის აჩქარების უკეთ გააზრება მთელი OpenAI-ის ერთ-ერთი მნიშვნელოვანი მიმართულებაა.
ამ ანალიზებში, თუ სხვაგვარად არ არის მითითებული:
„მკვლევარი“ ფართო ტერმინია ჩვენი კვლევითი ორგანიზაციის ნებისმიერი წევრისთვის, მათ შორის მათთვისაც, ვინც კვლევით ინფრასტრუქტურას ქმნის, კვლევით პროექტებს მართავს ან ორგანიზაციას სხვაგვარად უჭერს მხარს.
პროგრამირების აგენტების გამოყენების საზომები მოიცავს გამოყენების უმეტეს ნაწილს, მაგრამ არა სრულად, რადგან მკვლევართა ხელსაწყოები და სისტემები სწრაფად ვითარდება.
