უწყვეტი სწავლის ძალა

ზოგადი ხელოვნური ინტელექტი (AGI) ადამიანებს უნდა აჭარბებდეს ეკონომიკურად ღირებული სამუშაოების უმეტესობაში. მოუთმენლად ველი, რომ AGI ადამიანურ საზოგადოებას ასე დაეხმაროს:

1. სრულად ავტომატიზება გაუკეთოს ან მნიშვნელოვნად შეამციროს ადამიანური ძალისხმევა იმ ამოცანებში, რომლებიც განმეორებადი და არაინოვაციურია. სხვა სიტყვებით რომ ვთქვათ, AGI-მ ადამიანური პროდუქტიულობა მკვეთრად უნდა გაზარდოს.
2. მნიშვნელოვნად დააჩქაროს ახალი სამეცნიერო გარღვევების აღმოჩენა, მათ შორის, მაგრამ არა მხოლოდ, ადამიანური გადაწყვეტილების მიღების პროცესის ხელშეწყობით დამატებითი ანალიზისა და ინფორმაციის მიწოდების გზით.
3. ეფექტიანად, შედეგიანად და უსაფრთხოდ გაიგოს და იურთიერთოს ფიზიკურ სამყაროსთან.

OpenAI-ში ჩემი პირველი 2.5 წლის განმავლობაში Robotics გუნდში ვმუშაობდი ერთ ამბიციურ იდეაზე: გვინდოდა ერთი, ადამიანისმაგვარი რობოტული ხელისთვის გვესწავლებინა Rubik’s cube-ის აწყობა. ეს იყო წარმოუდგენლად ამაღელვებელი, რთული და ემოციური გამოცდილება. ჩვენ ეს გამოწვევა გადავჭერით⁠ სიღრმისეული განმამტკიცებელი სწავლებით (RL), დომენის რანდომიზაციის უზარმაზარი მასშტაბებით და რეალური სამყაროს სასწავლო მონაცემების გარეშე. უფრო მნიშვნელოვანი კი ის იყო, რომ ეს გამოწვევა გუნდურად დავძლიეთ.

სიმულაციიდან და RL-ის გაწვრთნიდან ვიზუალურ აღქმასა და აპარატურულ ფერმვერამდე, ჩვენ ძალიან მჭიდროდ და შეთანხმებულად ვთანამშრომლობდით. ეს საოცარი ექსპერიმენტი იყო და იმ პერიოდში ხშირად მახსენდებოდა Steve Jobs-ის reality distortion field⁠(იხსნება ახალ ფანჯარაში): როცა რაღაცის ასე ძლიერად გჯერა და ასე შეუპოვრად აგრძელებ მისკენ სვლას, somehow შეუძლებელს შესაძლებლად აქცევ.

2021 წლის დასაწყისიდან Applied AI Research გუნდის ხელმძღვანელობა დავიწყე. გუნდის მართვა გამოწვევების სხვა ნაკრებს მოაქვს და მუშაობის სტილის ცვლილებებსაც მოითხოვს. ყველაზე მეტად Applied AI-ის ფარგლებში ენობრივი მოდელის უსაფრთხოებასთან დაკავშირებული რამდენიმე პროექტით ვამაყობ:

1. ჩვენ შევიმუშავეთ და ავაგეთ შეფასების მონაცემებისა და ამოცანების ნაკრები იმის შესაფასებლად, რამდენად აქვთ წინასწარ გაწვრთნილ ენობრივ მოდელებს სიძულვილის, სექსუალური ან ძალადობრივი შინაარსის გენერირების ტენდენცია.
2. შევქმენით დეტალური ტაქსონომია და ავაგეთ ძლიერი კლასიფიკატორი, რათა აღმოვაჩინოთ არასასურველი შინაარსი⁠, ასევე ის მიზეზი, თუ რატომ არის ეს შინაარსი შეუსაბამო.
3. ვმუშაობთ სხვადასხვა ტექნიკაზე, რათა მოდელს ნაკლებად ჰქონდეს არასაიმედო შედეგების გენერირების ალბათობა.

რადგან Applied AI გუნდი პრაქტიკაში ცდის მოწინავე AI ტექნიკების დანერგვის საუკეთესო გზებს, როგორიცაა დიდი წინასწარ გაწვრთნილი ენობრივი მოდელები, ვხედავთ, რამდენად ძლიერები და სასარგებლოები არიან ისინი რეალური ამოცანებისთვის. ამავე დროს, ვიცით ამ ტექნიკების უსაფრთხოდ დანერგვის მნიშვნელობაც, როგორც ხაზგასმულია ჩვენს წესდებაში⁠.

ამჟამინდელი სიღრმისეული სწავლების მოდელები სრულყოფილი არ არის. ისინი იწვრთნება ადამიანების მიერ შექმნილი უზარმაზარი რაოდენობის მონაცემებით (მაგ., ინტერნეტიდან, კურირებული წყაროებიდან და ლიტერატურიდან) და გარდაუვლად ითვისებს მრავალ იმ ხარვეზსა და მიკერძოებას, რომლებიც ჩვენს საზოგადოებაში დიდი ხანია არსებობს. მაგალითად, როცა DALL·E-ს მედდის გამოსახვა სთხოვეს, ის მხოლოდ ქალ პერსონაჟებს გენერირებდა, ხოლო პროფესორისთვის — მხოლოდ თეთრკანიან ადამიანებს. მოდელი იჭერს მიკერძოებებს რეალური სამყაროს სტატისტიკაში ან ჩვენს სასწავლო მონაცემებში.

მოტივირებული ვიყავი შემემუშავებინა მეთოდი ამ ტიპის სოციალური მიკერძოების შესამცირებლად და შემეფასებინა, რამდენად ეფექტიანია ეს მეთოდი. გუნდთან ერთად შევიმუშავეთ პროცესი ასეთი მიკერძოების შესამცირებლად, ასევე სამუშაო ნაკადი ადამიანების ჩართულობით შეფასების ჩასატარებლად. სოციალური მიკერძოების შემცირება მარტივი პრობლემა არ არის, რადგან ის ჩვენი ცხოვრების მრავალ ასპექტში ჩნდება და ზოგჯერ მისი შემჩნევა რთულია. მაგრამ მიხარია, რომ DALL·E-ის გუნდი ამ პრობლემას სერიოზულად ეკიდება და ძალიან ადრეულ ეტაპზევე მოქმედებს. ის, რაც ახლა გვაქვს, მხოლოდ დასაწყისია და პროგრესს გავაგრძელებთ. ვამაყობ, რომ ამ მიმართულებით ვმუშაობ, და მიხარია იმის ხილვა, თუ როგორ ვხდით თანამედროვე AI-ს ნაბიჯ-ნაბიჯ უფრო უსაფრთხოს და უკეთესს.

მე მჯერა სწავლის ძალის და სწავლა არასოდეს არის გვიანი. ჩემი პირადი ბლოგის შენარჩუნება კარგი გზაა, რომ ეს ცნობისმოყვარეობა შევინარჩუნო და სიღრმისეული სწავლების საზოგადოებაში ახალ პროგრესს რეგულარულად ვადევნო თვალი. ჩემს გუნდსაც მოვუწოდებ, განაგრძონ სწავლა, იქნება ეს მათ მიმდინარე პროექტებთან დაკავშირებული თუ არა. სხვადასხვა თემასა თუ სფეროში არსებული იდეები ხშირად ახალ იდეებს შთააგონებს და შესაძლო გადაწყვეტების სივრცეს აფართოებს.

ასევე ძალიან მჯერა გუნდური მუშაობის. თუ ყველა თავისი საუკეთესო ძლიერი მხარით ბრწყინავს, მივიღებთ 1+1 > 2-ს. ამავდროულად, ხშირად შეიძლება შეგვხვდეს „ბინძური“ სამუშაო და პირადად მე ძალიან მზად ვარ ასეთი ამოცანები ავიღო, რადგან თუ ეს ყველაზე დიდი შემაფერხებელია ან ამ ამოცანას პროექტში ყველაზე დიდი ღირებულების დამატება შეუძლია, მაშინ არაფერს უნდა ვუწოდოთ „ბინძური“ ან „ტრივიალური“. ჩემს გარშემო მყოფებსაც იმავეს ვურჩევ — იყვნენ გუნდური მოთამაშეები და ერთად იმუშაონ გუნდის პროდუქტიულობის დასაჩქარებლად.

ყველაფერი პირადი სასწავლო ჩანაწერების ნაკრებით დაიწყო. სიღრმისეული სწავლების სფეროში ძალიან ადრე არ მოვსულვარ და თავს ჯერ კიდევ „დამწყებად“ მივიჩნევდი. თავიდან, როცა ამდენ ნაშრომში დავიწყე ჩაღრმავება, გამაოცა იდეამ, რომ პრობლემის გადასაჭრელად ალგორითმს კი არ ქმნი, არამედ ავარჯიშებ მოდელს, რათა მან ისწავლოს პრობლემის გადასაჭრელი ალგორითმი. რაც უფრო მეტს ვკითხულობდი, მით უფრო ცნობისმოყვარე ვხდებოდი. პრაქტიკულად ძალიან გამიჭირდა ყველა წაკითხული ნაშრომისა და ახალი ნასწავლი კონცეფციის ორგანიზება. ამიტომ გადავწყვიტე ბლოგი დამეწყო, რათა დამედოკუმენტირებინა და დამელაგებინა ჩემი სასწავლო ჩანაწერები. ასევე მჯერა, რომ რაღაცის შესწავლის საუკეთესო გზა ისაა, დარწმუნდე, რომ ამ ცოდნას სხვებს სწორად და გასაგებად ასწავლი. წერაში ეს მეხმარება.

არ ველოდი, რომ ის ML საზოგადოების ფარგლებში პოპულარული გახდებოდა, მაგრამ როცა მადლობის წერილს ვიღებდი ან პირადად მეუბნებოდნენ, რომ ჩემი ბლოგის კითხვით ბევრი რამ ისწავლეს, თავს ძალიან დაფასებულად და მადლიერად ვგრძნობდი. თითქმის 6 წელი გავიდა მას შემდეგ, რაც ბლოგი 2017 წელს დავიწყე, და მის გაგრძელებას იმდენ ხანს ვაპირებ, რამდენ ხანსაც შევძლებ.

AI-ის საზოგადოებამ ბოლო წლებში ძალიან დიდ პროგრესს მიაღწია. აპარატურის, მოდელის არქიტექტურისა და მონაცემების განვითარება შესაძლებელს ხდის გიგანტური მოდელების გაწვრთნას და შედეგად სულ უფრო და უფრო დიდ შესაძლებლობებს ვხედავთ. მჯერა, რომ AGI-სკენ სწორ გზაზე ვართ, მაგრამ მასშტაბირება ერთადერთი რეცეპტი არ არის. ჩემი აზრით, ახლა ყველაზე გადაუდებელი გამოწვევები გასწორება და უსაფრთხოებაა. გარკვეულწილად, შესაძლოა, ეს ერთი და იგივე საკითხი იყოს — მართვადობა ან მიმართულებადობა.

პირველ რიგში, თუნდაც უკვე გვქონდეს ხელთ უკიდურესად ძლიერი AI სისტემა, თუ ვერ შევძლებთ ჩვენი მიზნების ეფექტიანად კომუნიკაციას და ვერ დავრწმუნდებით, რომ მოდელი შეესაბამება იმას, რაც გვინდა, ვერ შევქმნით იმდენ ღირებულებას, რამდენიც გვჭირდება. ამჟამინდელი ყველაზე ძლიერი მოდელი სწავლობს უზარმაზარი რაოდენობის მონაცემებიდან და მონაცემთა ნაკრები გარდაუვლად ასახავს რეალური სამყაროს არასრულყოფილ ხარვეზებსა და მიკერძოებებს. ამ თვალსაზრისით, შეუსაბამო მოდელებს უსაფრთხოების რისკები მოაქვს, რადგან მათ არ ესმით, რის თავიდან აცილებაა საჭირო.

ეს არ არის კონკრეტული რჩევა, რომელიც ვინმემ მომცა, არამედ ეფუძნება ჩემს დღემდე მიღებულ გამოცდილებას OpenAI-ში. კერძოდ, საჭიროა მასშტაბურად ფიქრი. ჩვენ რაღაც ახალს ვქმნით და ამბიციურები, გაბედულები უნდა ვიყოთ და ძალისხმევის გასაგრძელებლად საკმარისი შეუპოვრობაც გვქონდეს.

წიგნები. ჩვეულებრივ სიღრმისეული სწავლების სფეროს გარეთ ვკითხულობ წიგნებს და შთაგონებას მრავალფეროვანი სფეროებიდან ვიღებ; მაგალითად, რამდენად კრიტიკულად მნიშვნელოვანია მწერლისთვის 50 წლის განმავლობაში შეუპოვრობა, ქირურგისთვის — დეტალებზე სრულყოფილი ორიენტაცია, და მეწარმისთვის — „გიჟური იდეები“.

ჩემს გარშემო მყოფი ადამიანები. ჩემთვის პატივია OpenAI-ში უაღრესად ნიჭიერ კოლეგათა დიდ ჯგუფთან მუშაობა. ყველას აქვს რაღაც გამორჩეული, შთამაგონებელი ან პატივისცემის ღირსი და მათგან სწავლა ძალიან მსიამოვნებს.