OpenAI

მოწინავე ხელოვნური ინტელექტის რისკის მართვა: სწავლებიდან დანერგვამდე

2026 წლის 18 ნოემბერი · უსაფრთხოება

მოწინავე მოდელების შესაძლებლობები სწრაფად იზრდება და მათი გაგების, მიზნებთან შესაბამისობისა და დაცვის ჩვენი უნარები ამ ზრდას უნდა უსწრებდეს. ჩვენ ვაკონტროლებთ მოდელების განვითარებისა და გამოშვების ტემპს: შიდა სწავლებას⁠(იხსნება ახალ ფანჯარაში) ვაჩერებთ ან ისეთი მოდელების გამოშვებას ვაყოვნებთ, როგორიცაა GPT‑6.1 Astra, როცა უსაფრთხოების სტანდარტების დასაკმაყოფილებლად მეტი დრო გვჭირდება. დავნერგეთ ახალი პროცესები, მაგალითად, უსაფრთხოების დასაბუთება, და სწავლების მთელ პერიოდში შესაბამისი ქცევის უფრო მყარ მტკიცებულებებს მოვითხოვთ. ეს მოთხოვნები მოდელების გამოშვებას ანელებს, თუმცა გვაძლევს მეტ რწმენას, რომ წინ უსაფრთხოდ მივდივართ.

ივლისში მომხდარი Hugging Face-ის ინციდენტის⁠ შემდეგ გავამკაცრეთ დაცვისა და შესაბამისობის მოთხოვნები მოდელების სწავლების, ტესტირებისა და დანერგვისთვის. ამ სტატიაში ვხსნით, როგორ ვაფასებთ და ვმართავთ რისკს ყოველ ეტაპზე — მკაცრად იზოლირებული სასწავლო გარემოდან თქვენს კომპიუტერში გამოყენებულ Codex-მდე. ყოველ ეტაპზე ვაფასებთ მოდელებსაც და დამცავ მექანიზმებსაც; შემდეგ ეტაპზე გადასასვლელად უსაფრთხოების შემოწმებას მოვითხოვთ.

მრავალშრიანი დაცვა მოდელის მთელი სასიცოცხლო ციკლის განმავლობაში

ვიყენებთ მრავალშრიან დაცვას, რომელიც რომელიმე ერთ დამცავ მექანიზმზე დამოკიდებულებას ამცირებს. თუ ერთი შრე ვერ მუშაობს, სხვები ზიანს აცილებს, შედეგებს ზღუდავს ან გვატყობინებს, რომ ჩავერიოთ.

დაცვას ოთხ შრედ ვაწყობთ:

ეფექტიანი მონიტორინგი დამოკიდებულია მოდელის მონიტორინგის შესაძლებლობაზე — რამდენად საიმედოდ ავლენს მონიტორინგის სისტემა შეცდომებს ან სახიფათო ქცევას მოდელის მსჯელობასა და მოქმედებებში. მაგალითად, მოდელზე დაკვირვება უფრო ადვილია, თუ ის მოტყუების განზრახვას აზროვნების ჯაჭვში (CoT) გამოთქვამს, ვიდრე მაშინ, როცა ამ ინფორმაციას ტოვებს. მონიტორინგის შესაძლებლობას ვაფასებთ სწავლებისას და დანერგვამდე, ვავითარებთ მის უკეთ გაზომვის მეთოდებს⁠(იხსნება ახალ ფანჯარაში) და ვიკვლევთ, რა მოქმედებს მასზე⁠(იხსნება ახალ ფანჯარაში).

Hugging Face-ის ინციდენტმა აჩვენა, რატომ არ უნდა დავეყრდნოთ მხოლოდ იზოლირებულ გარემოს მაღალქმედითი მოდელების შესაკავებლად. ახლა მოწინავე მოდელებს შიდა და გარე დანერგვის უმეტეს გარემოში ვაკვირდებით, მათ შორის, ყველა შიდა დანერგვისას, სადაც ხელსაწყოები გამოიყენება.

თითოეული შრის როლი მოდელის განვითარებისა და დანერგვის სამ ეტაპზე იცვლება:

  • კვლევა: მოდელებს იზოლირებულ გარემოში ვასწავლით, ვტესტავთ და ვიყენებთ.

  • შიდა დანერგვა: OpenAI-ის თანამშრომლები მოდელებს პრაქტიკული სამუშაოსთვის იყენებენ.

  • გარე დანერგვა: მოდელები ადამიანებისა და ორგანიზაციების ფართო წრისთვის ხდება ხელმისაწვდომი.

სხვადასხვა ეტაპზე სხვადასხვა შრეს ვეყრდნობით. სწავლებისას, როცა შესაბამისობაში ნაკლებად ვართ დარწმუნებული, მეტად ვეყრდნობით იზოლაციასა და მონიტორინგს. დანერგვისას მოდელების წვდომის გაფართოებასთან ერთად შესაბამისობა და სისტემური კონტროლი სულ უფრო მნიშვნელოვანი ხდება. ყოველ ეტაპზე ვაფასებთ, საკმარისია თუ არა დაცვის ერთობლიობა მოდელის შესაძლებლობებისა და წვდომის გათვალისწინებით. ჩვენი დასკვნები შეიძლება უსაფრთხოების საკონსულტაციო ჯგუფთან განვიხილოთ, ზედამხედველობა კი OpenAI Foundation-ის დირექტორთა საბჭოს დაცულობისა და უსაფრთხოების კომიტეტმა განახორციელოს.

კვლევისას: მოდელების შეკავება იზოლირებულ გარემოში

კვლევის ეტაპზე მოდელებს ვაფასებთ, რათა მათ შესაბამისობაში მეტი რწმენა გვქონდეს. რადგან ზიანის თავიდან ასაცილებლად შესაბამისობას ჯერ სრულად ვერ ვენდობით, მოდელების წვდომისა და მოქმედებების შესაზღუდად ძირითადად უსაფრთხოებასა და იზოლაციას ვეყრდნობით.

შესაბამისობის კვლევის, მონიტორინგის სისტემებისა და ინტერნეტინფრასტრუქტურის უსაფრთხოების ამჟამინდელი მდგომარეობის გათვალისწინებით, პასუხისმგებლიან მიდგომად მიგვაჩნია მოწინავე მოდელების სწავლება ინტერნეტთან პირდაპირი წვდომის გარეშე. Hugging Face-ის ინციდენტის შემდეგ შიდა კვლევითი სისტემები მნიშვნელოვნად გარდავქმენით, რათა მოდელები შევაკავოთ შემდეგი საშუალებებით:

  • იზოლირებული გარემოები, რომლებიც მოდელის უფლებებს ზღუდავს

  • ვირტუალური მანქანები, რომლებიც სამუშაო პროცესს ძირითადი კომპიუტერისგან დამატებით გამოყოფს

  • ქსელური და ღრუბლოვანი პერიმეტრები, რომლებიც მთელ კლასტერს ინტერნეტს წყვეტს

სისტემას მუდმივად ვუტარებთ შეტევით ტესტირებას (red teaming): ჩვენი უძლიერესი მოდელების გუნდები ცდილობენ ინტერნეტთან დაკავშირებას, უსაფრთხოების საზღვრების გარღვევას ან იმ აგენტებთან კომუნიკაციას, რომელთაგანაც იზოლირებული უნდა იყვნენ. ასე ვამოწმებთ, უძლებს თუ არა შეკავების მექანიზმები იმ მოდელების შესაძლებლობებს, რომელთა შეზღუდვაც ევალება.

დამატებითი დაცვისთვის ვაკვირდებით მოწინავე მოდელების ყოველ გაშვებას, რათა უსაფრთხოების უცვლელი წესების გვერდის ავლა აღმოვაჩინოთ. თუ მონიტორინგი მოდელის ინტერნეტთან დაკავშირებას აღმოაჩენს, უსაფრთხოების გუნდებს სასწრაფოდ ვატყობინებთ და სამუშაო პროცესს ავტომატურად ვაჩერებთ.

როცა შეკავება ვერ მუშაობს, მონიტორინგი კრიტიკულად მნიშვნელოვან სარეზერვო დაცვას უზრუნველყოფს. შეუსაბამობის ბოლო ანგარიშში აღვწერეთ, როგორ აღმოაჩინა მონიტორინგმა, რომ შიდა კვლევითი მოდელი DNS-ის არასწორ კონფიგურაციას იყენებდა⁠(იხსნება ახალ ფანჯარაში) ინტერნეტზე შეზღუდული წვდომის მისაღებად. ჩვენი ყველაზე ქმედითი მოდელების სწავლება და შეფასება 20 სექტემბრიდან 1 ოქტომბრამდე შევაჩერეთ, სანამ შემთხვევას ვიკვლევდით და უსაფრთხოების ხარვეზს ვასწორებდით.

სწრაფი და საიმედო ჩარევისთვის შევქმენით Control Room⁠ — ცენტრალური სისტემა, რომელიც კვლევით სამუშაოებს აღრიცხავს და შეჩერების მითითების მიღებიდან 35 წამში მოდელის შემდგომ გენერირებას წყვეტს. ეს კონტროლი უშუალოდ მოდელის გაშვების ინფრასტრუქტურაში სრულდება და არ არის დამოკიდებული იმაზე, აქვს თუ არა თითოეულ კვლევით პროცესს გამორთვის საკუთარი მექანიზმი. მოწინავე მოდელების კვლევით პროცესებში გენერირება მაშინაც წყდება, თუ Control Room მიუწვდომელი ხდება.

შეტევითი ტესტირება (red teaming) და მონიტორინგი ერთობლივად მუშაობს. ვერ ვიძლევით გარანტიას, რომ იზოლირებული გარემო გაურღვეველია, მაგრამ შეტევითი ტესტირება (red teaming) გვეხმარება შევაფასოთ, რამდენი ძალისხმევა დასჭირდება მოდელს მისგან თავის დასაღწევად. რაც მეტი ძალისხმევა სჭირდება მოდელს, მით მეტია მონიტორინგის მიერ მისი აღმოჩენისა და შეჩერების შესაძლებლობა.

კვლევის ეტაპზე უსაფრთხოებისა და მონიტორინგის მკაცრ კონტროლს რამდენიმე მიზეზით მოვითხოვთ:

  • მოდელების შეფასება ჯერ კიდევ მიმდინარეობს. ზოგიერთ მათგანს ჯერ არ გაუვლია საჯარო გამოშვებისთვის საჭირო უსაფრთხოების სწავლება, მიზნებთან შესაბამისობის აუდიტი და შემოწმება.

  • მოწინავე კვლევის პირობებმა შეიძლება რისკები გაზარდოს. ზოგი კვლევითი ამოცანა უფრო ამბიციურ კონფიგურაციას მოითხოვს, რაც მოდელს უფრო შეუპოვარსა და ქმედითს ხდის, ვიდრე გარე გამოყენებისასაა ხოლმე (მაგალითად, ნავიე–სტოქსის ამოცანის ამოხსნას 10 000 აგენტის გუნდი დასჭირდა).

  • სწავლება მასშტაბურად, ადამიანის ნაკლები უშუალო ზედამხედველობით მიმდინარეობს. Codex-ის ჩვეულებრივი სესიისგან განსხვავებით, ჩვენს სასწავლო პროცესებში მოდელი უამრავ მოქმედებას ასრულებს ისე, რომ ადამიანი თითოეულ ინტერაქციას არ აკვირდება.

შიდა დანერგვა: შესაბამისობის ტესტირება და ქცევის მჭიდრო მონიტორინგი

ფართო გამოშვებამდე თანამშრომლები იზოლირებული კვლევითი გარემოდან მოწინავე მოდელების არაიზოლირებულ შიდა გამოყენებაზე გადადიან — მაგალითად, მოდელი მათთვის ChatGPT‑ში ხდება ხელმისაწვდომი. ამით უკეთ ვიგებთ, როგორ იქცევიან მოდელები პრაქტიკულ პირობებში⁠(იხსნება ახალ ფანჯარაში), და დანერგვის გადაწყვეტილებებს ამ ცოდნაზე ვაფუძნებთ.

ამ ეტაპზე მოდელს წვდომას ვაძლევთ ფართო ინტერნეტზე, ჩვენს Slack-ზე, კოდის ბაზასა და შიდა ინფრასტრუქტურაზე. ეს რისკს მნიშვნელოვნად ცვლის: მოდელის მოქმედებები უკვე პირდაპირ მოქმედებს სისტემებზე, რომლებითაც OpenAI-ს ვავითარებთ და ვამუშავებთ. შიდა დანერგვისას უსაფრთხოების კონტროლის ნაცვლად მეტად უნდა დავეყრდნოთ მოდელის შესაბამისობას, სისტემურ დამცავ მექანიზმებსა და მონიტორინგს.

იზოლირებული გარემოს გარეთ დანერგვამდე მოწინავე მოდელმა უნდა გაიაროს შესაბამისობისა და მონიტორინგის შესაძლებლობის ტესტირება⁠(იხსნება ახალ ფანჯარაში). ჩვენი შესაბამისობის შეფასებები ამოწმებს როგორც კონკრეტულ დარღვევებს (მაგალითად, დაცულობისა და უსაფრთხოების შეზღუდვების გვერდის ავლას), ისე ზოგად მიდრეკილებებს (მაგალითად, Codex-ის შიდა მოქმედებათა ჯაჭვებიდან განმეორებით იღებს ნიმუშებს და შეუსაბამობას ეძებს). შესაბამისობისა და მონიტორინგის შესაძლებლობის შეფასებების შესახებ მეტს გაიგებთ უახლეს GPT‑6 Astra-ს სისტემურ ბარათში⁠(იხსნება ახალ ფანჯარაში).

რეალური გამოყენების კონფიგურაციების მსგავსად, ვამატებთ დაცვის კიდევ ერთ შრეს — სისტემურ კლასიფიკატორებს, რომლებიც მოწინავე შესაძლებლობებით გამოწვეულ ზიანს, მაგალითად, კიბერბოროტად გამოყენებასა და ბიოიარაღის შექმნას ეწინააღმდეგება. Codex-ის მომხმარებელ თანამშრომლებს, როგორც წესი, ასევე ვთხოვთ ავტომატური შემოწმების⁠(იხსნება ახალ ფანჯარაში) გამოყენებას, რომელიც პოტენციურად სარისკო მოქმედებებს აფასებს და გადაწყვეტილებისთვის მომხმარებელს უბრუნებს.

დაბოლოს, შიდა დანერგვისას მოწინავე მოდელების ყოველ გაშვებაზე ვაკვირდებით შეუსაბამო ქცევას. რადგან მოდელს უკვე გაფართოებული უფლებები და შიდა ინფორმაციასა და სისტემებზე წვდომა აქვს, განსაკუთრებით მნიშვნელოვანია მონაცემების გატანის, ანუ სენსიტიური მონაცემების უნებართვო მისამართზე გაგზავნის მსგავსი რისკების აღმოჩენა. მონიტორინგი ასევე გვეხმარება შეუსაბამობის ახალი ფორმების⁠(იხსნება ახალ ფანჯარაში) გამოკვლევაში.

გარე დანერგვა: მასშტაბური დაცვა ბოროტად გამოყენებისა და შეუსაბამობისგან

საჯარო დანერგვისას მოდელები ბევრად მეტ მომხმარებელს, ამოცანასა და გარემოს ხვდებიან, რაც რისკების მასშტაბსაც ზრდის და მრავალფეროვნებასაც. ამ ეტაპზე ასევე გვჭირდება დაცვა პოტენციური ბოროტმოქმედებისგან, რომლებიც მოდელს განზრახ მიმართავენ ზიანის მისაყენებლად.

საჯარო გამოშვებამდე მოდელები და სისტემური დამცავი მექანიზმები გარე დანერგვის უსაფრთხოების მოთხოვნებს უნდა აკმაყოფილებდეს. მათ შესაფასებლად ვიყენებთ:

  • შესაბამისობისა და უსაფრთხოების შეფასებების უფრო ფართო ნაკრებს. მოწინავე მოდელებისთვის ეს მოიცავს ადაპტიური ტესტირების⁠ ახალ რაუნდებს შიდა ავტომატური შეტევითი ტესტირების (red teaming) სისტემებით, რათა მოდელის მდგრადობა ექსტრემალურ პირობებში შევამოწმოთ. შესაძლებლობებისა და უსაფრთხოების შეფასების შედეგებს ჩვენს სისტემურ ბარათებში⁠(იხსნება ახალ ფანჯარაში) ვაქვეყნებთ.

  • ყველაზე ქმედით მოდელებს მესამე მხარეებთან ერთადაც ვტესტავთ, რათა მკაცრად შევამოწმოთ ბოროტად გამოყენებისგან დაცვის მექანიზმებიც და მოდელების ძირეული შესაბამისობაც.

  • შიდა დანერგვის ეტაპზე მონიტორინგის მიერ მონიშნული შემთხვევების შესწავლას, რათა საბაზისო მოდელის ძირეული შესაბამისობის ცვლილებებს მივადევნოთ თვალი.

„სინქრონული“ დაცვის გარდა (მაგალითად, მოდელის უსაფრთხოების სწავლება და სისტემური კლასიფიკატორები), გარე დანერგვისას ვიყენებთ წესების აღსრულებასა და გამოძიებას რეალური დროის რეჟიმის მიღმაც. ეს გუნდები მასშტაბურად მომუშავე გამომძიებელ აგენტებსა და ადამიანების შემოწმებას აერთიანებენ საფრთხის პოტენციური წყაროების დასადგენად — კიბერბოროტად გამოყენებიდან, ბიოიარაღის შექმნიდან და დისტილაციიდან⁠ თავად მოდელის შეუსაბამობამდე. რეალური დროის მიღმა წესების აღსრულება განსაკუთრებით გამოსადეგია ინფორმაციის სხვადასხვა ანგარიშიდან შესაგროვებლად და პოტენციური საფრთხის უფრო სრული სურათის შესაქმნელად.

სანდო წვდომის პროგრამები, როგორიცაა Daybreak და Rosalind⁠, უსაფრთხოების დამატებით შრეს ქმნის: აჩქარებს დამცველებისა და კეთილსინდისიერი მკვლევრების მუშაობას და ზღუდავს პოტენციურ თავდამსხმელთა წვდომას.

ინციდენტებზე რეაგირება და ინფორმაციის გასაჯაროება

როცა უსაფრთხოების რომელიმე შრეში ხარვეზს ვამჩნევთ, რეალური ზიანის მიუხედავად, ვცდილობთ სწრაფად გამოვიკვლიოთ, განვსაზღვროთ პრიორიტეტი და, თუ შესაძლებელი და მიზანშეწონილია, გავასაჯაროოთ. ჩვენი შეუსაბამობის შეტყობინების⁠ პოლიტიკით, ნებისმიერ თანამშრომელს შეუძლია ინციდენტის გასაჯაროება მოითხოვოს. ამ შეტყობინებებს ვიკვლევთ; თუ გასაჯაროებაზე აზრთა სხვადასხვაობაა, გადაწყვეტილება უსაფრთხოების საკონსულტაციო ჯგუფს გადაეცემა. თანამშრომელთა შეტყობინებების გარდა, შეუსაბამობის შემთხვევებს აქტიურად ვეძებთ, რათა მათზე ვიმოქმედოთ და მიგნებები გავაზიაროთ.

ჩვენი შეუსაბამობის ანგარიშები შეგიძლიათ ნახოთ აქ⁠(იხსნება ახალ ფანჯარაში).

​


​

ეს სამუშაო კვლევის წინსვლასა და საოპერაციო დისციპლინას ეყრდნობა: კონტროლის სწორად გამართვას, ურთიერთქმედების ტესტირებას და ხარვეზებზე გადამწყვეტ რეაგირებას. არასწორად გამართულმა ქსელურმა სერვისმა ან ავტომატური შეჩერების მარცხმა შეიძლება სხვა მხრივ ძლიერი დაცვა შეასუსტოს.

მოდელების ახალი შესაძლებლობების კვალდაკვალ მუდმივად უნდა გადავამოწმოთ დაცვის საფუძვლად არსებული დაშვებები და საჭიროებისამებრ გავაუმჯობესოთ მექანიზმები. კვლევის, შიდა გამოყენებისა და საჯარო დანერგვის გამოცდილება მომდევნო მოდელების სწავლებაში, შეფასებასა და დანერგვაში უნდა გავითვალისწინოთ.

მიგნებებს კვლავ გავაზიარებთ სისტემური ბარათებით, ინციდენტების ანგარიშებით, შიდა დანერგვის რისკის ანგარიშებით⁠(იხსნება ახალ ფანჯარაში) და გარე შეფასებებით⁠, რათა სხვებმა ჩვენი მიდგომა და მისი შეზღუდვები შეისწავლონ. თუ მტკიცებულებები უსაფრთხოების ჩვენს ზღვარს ვერ დააკმაყოფილებს, კვლავ შევაჩერებთ სწავლებას ან გადავდებთ გამოშვებას მოთხოვნების დაკმაყოფილებამდე.

დაკავშირებული კვლევები და რესურსები

უსაფრთხოების სტანდარტების დადგენა

შესაბამისი ქცევის განსაზღვრა და შეფასება

მოდელების შეკავება და დამცავი მექანიზმების გაუმჯობესება

ინციდენტებზე რეაგირება და ინფორმაციის გასაჯაროება

კვლევის წინსვლა და გამოყენება