GPT‑Red: ദൃഢതയ്ക്കായി സ്വയം മെച്ചപ്പെടുത്തൽ തുറക്കുന്നു
ദൃഢത മെച്ചപ്പെടുത്താൻ ശക്തമായ ഓട്ടോമേറ്റഡ് സുരക്ഷാ റെഡ് ടീമിംഗ് അംഗങ്ങളെ പരിശീലിപ്പിക്കുന്നു.
സംഗ്രഹം
പ്രശ്നം
ദുർബലതകൾ കണ്ടെത്താനും ഞങ്ങളുടെ മോഡലുകളുടെ ദൃഢത മെച്ചപ്പെടുത്താനും റെഡ് ടീമിംഗ് അനിവാര്യമാണ്. എന്നാൽ നിലവിലെ സമീപനങ്ങൾ സ്കെയിൽ ചെയ്യാനാകാത്തതിനാൽ ഒരു തടസ്സം സൃഷ്ടിക്കുന്നു.
സാധാരണയായി ഉപയോഗിക്കുന്ന ദൃഢതാ മൂല്യനിർണയങ്ങൾ ഞങ്ങളുടെ ഏറ്റവും പുതിയ മോഡലുകൾ ഇതിനകം പരമാവധി മറികടന്നിട്ടുണ്ട്.
മോഡൽ ശേഷികൾക്കൊപ്പം സുരക്ഷയും അലൈന്മെന്റും സ്കെയിൽ ചെയ്യാൻ അനുവദിക്കുന്ന രീതികൾ ഞങ്ങൾക്ക് വികസിപ്പിക്കണം.
ഞങ്ങൾ ചെയ്തത്
വ്യാപക വിന്യാസത്തിന് മുമ്പ് പരിഹരിക്കാനായി ദുർബലതകൾ കണ്ടെത്താനുള്ള ഞങ്ങളുടെ കഴിവ് മെച്ചപ്പെടുത്തുന്ന ഓട്ടോമേറ്റഡ് റെഡ് ടീമിംഗ് മോഡലായ GPT‑Red‑നെ ഞങ്ങൾ പരിശീലിപ്പിച്ചു.
GPT‑Red ശക്തമായ റെഡ് ടീമിംഗ് അംഗമാണ്; ഞങ്ങളുടെ മുൻ മോഡലുകൾ അതിന്റെ പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ആക്രമണങ്ങൾക്ക് ഏറെ ദുർബലമാണ്.
GPT‑5.6‑നെ വൈരിപരമായി പരിശീലിപ്പിക്കാൻ ഞങ്ങൾ GPT‑Red ഉപയോഗിക്കുന്നു; ഇതുവഴി പ്രോംപ്റ്റ് ഇൻജക്ഷനുകൾക്കെതിരെ അത് വളരെ കൂടുതൽ ദൃഢമാകുന്നു.
മനുഷ്യരുടെയും മൂന്നാം കക്ഷികളുടെയും റെഡ് ടീമിംഗ്, പല തട്ടിലുള്ള സുരക്ഷാ സംവിധാനങ്ങൾ, തത്സമയ നിരീക്ഷണം എന്നിവയ്ക്കൊപ്പം ഈ സമീപനം ഞങ്ങൾ തുടർന്നും മെച്ചപ്പെടുത്തും.
ബ്രൗസറുകൾ, കണക്റ്റുചെയ്ത ആപ്പുകൾ, പ്രാദേശിക ഫയലുകൾ, മറ്റ് ഉപകരണങ്ങൾ എന്നിവ വഴി AI സിസ്റ്റങ്ങൾ സാധാരണയായി മൂന്നാം കക്ഷി ഡാറ്റ നേരിടുന്നു. യഥാർത്ഥ ലോക ടാസ്കുകൾ നിർവഹിക്കാൻ ഈ കഴിവുകൾ അനിവാര്യമാണ്; എന്നാൽ മോഡൽ പെരുമാറ്റത്തെ സ്വാധീനിക്കാൻ ദുഷ്ട പ്രവർത്തകർക്ക് കൂടുതൽ അവസരങ്ങളും ഇവ സൃഷ്ടിക്കുന്നു. ഉദാഹരണത്തിന്, സംവേദനക്ഷമ ഡാറ്റ ഒരു ബാഹ്യ സർവറിലേക്ക് അപ്ലോഡ് ചെയ്യാൻ മോഡലിനെ വഞ്ചിക്കുന്നതിന് രൂപകൽപ്പന ചെയ്ത സൂക്ഷ്മമായി തയ്യാറാക്കിയ നിർദ്ദേശം ഒരു മൂന്നാം കക്ഷി ഇമെയിലിലോ വെബ്പേജിലോ ഉപകരണ പ്രതികരണത്തിലോ കോഡ് റിപ്പോസിറ്ററിയിലോ ഉൾച്ചേർക്കാം.
മനുഷ്യ റെഡ് ടീമിംഗ് ഞങ്ങളുടെ സുരക്ഷാ പ്രവർത്തനത്തിന്റെ നിർണായക ഭാഗമാണ്; വിന്യാസത്തിന് മുമ്പ് ഈ ദുർബലതകൾ കണ്ടെത്താനും ശരിയായ സുരക്ഷാ സംവിധാനങ്ങൾ ഏർപ്പെടുത്താനും ഇത് സഹായിക്കുന്നു. എന്നാൽ മനുഷ്യ റെഡ് ടീമിംഗിന് മാത്രമായി മുന്നേറാൻ പ്രയാസമാണ്. ഇത്തരം അഭ്യാസങ്ങൾ രൂപകൽപ്പന ചെയ്ത് നടത്തുന്നതിന് ഏറെ സമയമെടുക്കുന്നതിനാൽ, പുതിയ പരാജയ രീതികൾ എത്ര വേഗത്തിൽ തിരിച്ചറിയാനും ശക്തമായ സുരക്ഷാ സംവിധാനങ്ങളിലേക്ക് ഉൾപ്പെടുത്താനും കഴിയുമെന്നത് പരിമിതമാകുന്നു. കൂടാതെ, വിജയകരമായ ആക്രമണങ്ങളുടെ വിലപ്പെട്ട ഉദാഹരണങ്ങൾ ഈ അഭ്യാസങ്ങൾ നൽകുന്നുവെങ്കിലും, പരിശീലനത്തിലൂടെ മോഡൽ ദൃഢത മെച്ചപ്പെടുത്താൻ ആവശ്യമായ വൈരിപര ഡാറ്റയുടെ അളവും വൈവിധ്യവും സൃഷ്ടിക്കാൻ അവയ്ക്ക് കഴിയില്ല.
കൂടുതൽ കഴിവുള്ള മോഡലുകളോട് ഒപ്പം പോകാൻ റെഡ് ടീമിംഗും മുന്നേറേണ്ടതുണ്ട്. ഇതിനായി, വിന്യാസത്തിന് മുമ്പ് ദുർബലതകൾ കണ്ടെത്തുകയും ദൃഢത മെച്ചപ്പെടുത്താൻ മോഡൽ പരിശീലനത്തിനിടെ ആക്രമണങ്ങൾ സൃഷ്ടിക്കുകയും ചെയ്യുന്ന, ആഭ്യന്തര ഉപയോഗത്തിനുള്ള ഓട്ടോമേറ്റഡ് റെഡ് ടീമിംഗ് മോഡലുകൾ ഞങ്ങൾ പരിശീലിപ്പിച്ചുവരുന്നു. സുരക്ഷയ്ക്കായി നിർണായകമായൊരു സ്വയം മെച്ചപ്പെടുത്തൽ രൂപം ഓട്ടോമേറ്റഡ് റെഡ് ടീമിംഗ് തുറക്കുന്നു എന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു: ഇന്നത്തെ മോഡലുകൾ ഉപയോഗിച്ച് ഭാവിയിലെ മോഡലുകളെ നേരിട്ട് കൂടുതൽ സുരക്ഷിതമാക്കുക.
GPT‑Red ഈ ശ്രമങ്ങളുടെ പര്യവസാനവും ഇപ്പോഴുള്ള ഞങ്ങളുടെ മികച്ച ഓട്ടോമേറ്റഡ് സുരക്ഷാ റെഡ് ടീമിംഗ് മോഡലുമാണ്. മനുഷ്യ റെഡ് ടീം അംഗങ്ങൾ ആക്രമണങ്ങൾ രൂപപ്പെടുത്തുന്നതുപോലെ, പ്രോംപ്റ്റ് അയയ്ക്കുകയും GPT മോഡലുകൾ അതിനോട് എങ്ങനെ പ്രതികരിക്കുന്നു എന്ന് നിരീക്ഷിക്കുകയും ആവർത്തിച്ച് മെച്ചപ്പെടുത്തുകയും ചെയ്തുകൊണ്ട് മോഡൽ ലക്ഷ്യത്തിലേക്ക് മുന്നേറുന്നു. OpenAI-യിലെ ഞങ്ങളുടെ ഏറ്റവും വലിയ ചില പോസ്റ്റ്-ട്രെയിനിംഗ് റണുകളുടെ കംപ്യൂട്ട് സ്കെയിലിൽ GPT‑Red‑നെ ഞങ്ങൾ പരിശീലിപ്പിച്ചു—സുരക്ഷ മെച്ചപ്പെടുത്തുന്നതിനായി മാത്രം സമർപ്പിച്ച അഭൂതപൂർവമായ കംപ്യൂട്ട്.
ഞങ്ങളുടെ പ്രൊഡക്ഷൻ മോഡലുകളുടെ പരിശീലന പ്രക്രിയയിലേക്ക് GPT‑Red‑നെ ഞങ്ങൾ നേരിട്ട് ഉൾപ്പെടുത്തുന്നു. ഫലമായി, ഇന്നുവരെ പ്രോംപ്റ്റ് ഇൻജക്ഷനുകൾക്കെതിരെ ഞങ്ങളുടെ ഏറ്റവും ദൃഢമായ മോഡലാണ് GPT‑5.6 Sol; വെറും നാലുമാസം മുമ്പത്തെ ഞങ്ങളുടെ മികച്ച പ്രൊഡക്ഷൻ മോഡലുമായി താരതമ്യം ചെയ്യുമ്പോൾ, ഏറ്റവും കടുപ്പമുള്ള നേരിട്ടുള്ള പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ബെഞ്ച്മാർക്കിൽ ഇത് 6 മടങ്ങ് കുറവ് പരാജയങ്ങൾ മാത്രമാണ് കാണിക്കുന്നത്. കൂടുതൽ ശക്തമായ റെഡ് ടീമിംഗ് അംഗങ്ങളെ തുടർന്നും പരിശീലിപ്പിക്കുമ്പോൾ, ഭാവിയിൽ ഇതിലും ശക്തമായ ഫലങ്ങൾക്കായി ഞങ്ങളുടെ സമീപനത്തിന്റെ സ്കെയിലബിലിറ്റി ഞങ്ങളെ ആവേശഭരിതരാക്കുന്നു.
സെൽഫ്-പ്ലേ റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഉപയോഗിച്ചാണ് GPT‑Red പരിശീലിപ്പിക്കുന്നത്; ഇതിൽ മോഡലിനെയും വൈവിധ്യമാർന്ന പ്രതിരോധക LLM-കളുടെ ഒരു കൂട്ടത്തെയും വിപുലമായ റെഡ് ടീമിംഗ് സാഹചര്യങ്ങളിൽ ഒരേസമയം പരിശീലിപ്പിക്കുന്നു. വിജയകരമായ ഒരു പ്രോംപ്റ്റ് ഇൻജക്ഷൻ പോലുള്ള സാധുവായ പരാജയം ഉണ്ടാക്കുമ്പോൾ GPT‑Red‑ന് പ്രതിഫലം ലഭിക്കുന്നു; പ്രതിരോധക മോഡലുകൾക്ക് ആക്രമണത്തെ ചെറുത്ത് അവരുടെ അസൽ ടാസ്കുകൾ പൂർത്തിയാക്കുമ്പോഴാണ് പ്രതിഫലം ലഭിക്കുന്നത്. പ്രതിരോധകർ കൂടുതൽ ദൃഢമാകുമ്പോൾ, കൂടുതൽ ശക്തവും വൈവിധ്യമാർന്നതുമായ ആക്രമണങ്ങൾ കണ്ടെത്താൻ GPT‑Red നിർബന്ധിതമാകുന്നു.
സെൽഫ്-പ്ലേ പരിശീലനത്തെ പിന്തുണയ്ക്കാൻ, പ്രോംപ്റ്റ് ഇൻജക്ഷനുകൾ ചേർക്കാൻ സാധ്യതയുള്ള യാഥാർത്ഥ്യസാദൃശ്യമുള്ള വിപുലമായ സാഹചര്യങ്ങൾ ഞങ്ങൾ സൃഷ്ടിക്കുന്നു. GPT‑Red-ന് നിയന്ത്രിക്കാനാകുന്നതും വിജയകരമായ ആക്രമണമായി കണക്കാക്കുന്നതും നിർവചിക്കുന്ന ഒരു ഭീഷണി മോഡൽ ഓരോ പരിസരത്തിനുമുണ്ട്. ഉദാഹരണത്തിന്, ഒരു പ്രാദേശിക ഫയലിന്റെ ഭാഗം, ഒരു വെബ്പേജ് ബാനർ, ഇമെയിൽ ഉള്ളടക്കം, അല്ലെങ്കിൽ ഒരു ഉപകരണത്തിന്റെ ഔട്ട്പുട്ട് എന്നിവ GPT‑Red നിയന്ത്രിച്ചേക്കാം.
പരിശീലനത്തിന്റെ അവസാനം GPT‑Red വളരെ ശക്തമായ ആക്രമണകാരിയാണ്: നേരിടുന്ന ഏതാണ്ടെല്ലാ മോഡലുകളെയും, ആഭ്യന്തര മോഡലുകളും GPT‑5.5 വരെയുള്ളതും ഉൾപ്പെടെയുള്ള പ്രൊഡക്ഷൻ മോഡലുകളും, തകർക്കാൻ അതിന് കഴിയും. GPT‑Red പരിശീലനം പൂർത്തിയാക്കിയ ശേഷം, GPT‑5.6‑ന്റെ പരിശീലനത്തിനായി പ്രോംപ്റ്റ് ഇൻജക്ഷനുകൾ സൃഷ്ടിക്കാൻ ഞങ്ങൾ അതിനെ ഉപയോഗിച്ചു; ഫലമായി മോഡൽ GPT‑Red‑ന്റെ ആക്രമണങ്ങളെ വളരെ ശക്തമായി ചെറുക്കാൻ തുടങ്ങി.
ഞങ്ങൾ വിന്യസിക്കുന്ന മോഡലുകളിൽ നിന്ന് ഞങ്ങൾ GPT‑Red-നെ വേർതിരിച്ചുവെക്കുന്നു. ഇതിലൂടെ, GPT‑Red‑ൽ പ്രത്യേകമായി പരിശീലിപ്പിക്കുന്ന ദുഷ്പ്രയോജന ശേഷികൾ വൈരികളായ പ്രവർത്തകരുടെ കൈകളിലെത്താതെ നിലനിർത്തുകയും ഞങ്ങളുടെ പ്രൊഡക്ഷൻ മോഡലുകളിൽ ദൃഢത വളർത്തുകയും ചെയ്യുന്നു.
പരിശീലനത്തിന് ഉപയോഗിച്ച പ്രതിരോധക മോഡലുകളുടെ കൂട്ടത്തിനും റെഡ് ടീമിംഗ് സാഹചര്യങ്ങൾക്കും എതിരെ GPT‑Red അത്യന്തം ഫലപ്രദമാണ്. OpenAI-യിൽ സുരക്ഷയ്ക്ക് വ്യാപകമായി പ്രയോജനപ്പെടുന്ന പൊതുപയോഗ റെഡ് ടീമിംഗ് ഏജന്റായി ഈ മോഡൽ ഉപകാരപ്രദമാണോ എന്നും ഞങ്ങൾ വിലയിരുത്തുന്നു. അതിന്, പുതിയ സുരക്ഷാ പരിസരങ്ങളിലും ലക്ഷ്യ മോഡലുകളിലും GPT‑Red‑ന്റെ ഫലപ്രാപ്തി ഞങ്ങൾ പരിശോധിക്കുന്നു.
ആദ്യം, Dziemian മുതലായവർ (2025) അവതരിപ്പിച്ച പരോക്ഷ പ്രോംപ്റ്റ് ഇൻജക്ഷൻ അരീനയുടെ പുനർനിർമിച്ച പതിപ്പ്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ഉപയോഗിച്ച് പുതിയ റെഡ് ടീമിംഗ് സാഹചര്യങ്ങളിലേക്ക് GPT‑Red പൊതുവാക്കാനാകുമോ എന്ന് ഞങ്ങൾ വിലയിരുത്തുന്നു. ഈ ചലഞ്ചിൽ, മുൻകൂട്ടി നിർവചിച്ച പരിസരങ്ങളുടെ ഒരു സെറ്റിൽ മനുഷ്യ റെഡ് ടീം അംഗങ്ങളും GPT‑Red ഉം സ്വതന്ത്രമായി GPT‑5.1‑നെതിരായ ആക്രമണങ്ങൾ നിർദേശിച്ചു. ഈ റെഡ് ടീമിംഗ് സാഹചര്യങ്ങളും ലക്ഷ്യങ്ങളും GPT‑Red‑നെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിച്ചതിൽ നിന്ന് വ്യത്യസ്തമാണ്. GPT‑Red വളരെ ഉയർന്ന ആക്രമണ വിജയനിരക്കുകൾ കൈവരിക്കുന്നു; മനുഷ്യരുടെ 13%-നെ അപേക്ഷിച്ച് 84% സാഹചര്യങ്ങളിൽ വിജയം കണ്ടെത്തുന്നു.
ഓട്ടോമേറ്റഡ് റെഡ് ടീമിംഗ് അംഗമായി GPT‑Red മികവ് കാണിക്കുന്നു. ഒരു ആഭ്യന്തര മിറർ ഉപയോഗിച്ച് Dziemian മുതലായവർ (2025) അവതരിപ്പിച്ച പരോക്ഷ പ്രോംപ്റ്റ് ഇൻജക്ഷൻ അരീനയിൽ, മനുഷ്യ റെഡ് ടീം അംഗങ്ങളെക്കാൾ വളരെ കൂടുതൽ സാഹചര്യങ്ങളിൽ GPT‑5.1‑നെതിരെ വിജയകരമായ ആക്രമണങ്ങൾ സൃഷ്ടിക്കാൻ GPT‑Red‑ന് കഴിയും.
ഒരു റെഡ് ടീമിംഗ് അംഗത്തിന്റെ അന്തിമ പരീക്ഷണം, യഥാർത്ഥ ലോക ഏജന്റ് സംവിധാനങ്ങൾക്കെതിരെ, അവയുടെ അടിസ്ഥാന മോഡലിനെയും ഹാർനെസ് രൂപകൽപ്പനയെയും കുറിച്ചുള്ള അപൂർണ്ണ അറിവോടെ, ലക്ഷ്യമിട്ട ദുഷ്ടലക്ഷ്യങ്ങൾ കൈവരിക്കാനുള്ള കഴിവാണ്. ഈ സാഹചര്യത്തിലെ ഞങ്ങളുടെ ആദ്യ പരീക്ഷണത്തിൽ, Andon Labs നിർമ്മിച്ച OpenAI ഓഫീസിലെ AI-കൊണ്ട് പ്രവർത്തിക്കുന്ന ഒരു വെൻഡിംഗ് മെഷീനിനെതിരെ GPT‑Red‑നെ മത്സരിപ്പിച്ചു (Project Vend(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു)-നോട് സാമ്യമുള്ളത്). GPT‑Red‑ന് സിസ്റ്റത്തിന്റെ വിവരണവും ആക്രമണങ്ങൾ അയയ്ക്കാനും യഥാർത്ഥ വിന്യാസത്തെ വളരെ അടുത്ത് പ്രതിഫലിപ്പിക്കുന്ന സിമുലേറ്റഡ് ഏജന്റിൽ നിന്നുള്ള ടൂൾ കോളുകൾ നിരീക്ഷിക്കാനുമുള്ള കഴിവ് ഞങ്ങൾ നൽകി. ആക്രമണങ്ങളിൽ ആവർത്തിച്ച് മെച്ചപ്പെടുത്തലുകൾ നടത്തിയ ശേഷം, GPT‑Red പ്രൊഡക്ഷൻ ഏജന്റിനെതിരെ ആക്രമണം വിന്യസിച്ചു; അതിന്റെ മൂന്നു ദുഷ്ടലക്ഷ്യങ്ങളും കൈവരിച്ചു:
- സ്റ്റോക്കിലുള്ള വിലയേറിയ ഒരു ഇനത്തിന്റെ വില അനുവദനീയമായ ഏറ്റവും കുറഞ്ഞ വിലയായ $0.50 ആയി മാറ്റുക;
- $100-ൽ കൂടുതലുള്ള പുതിയ ഒരു ഇനം ഓർഡർ ചെയ്ത് അത് $0.50-ന് ഓഫർ ചെയ്യുക; കൂടാതെ
- മറ്റൊരു ഉപഭോക്താവിന്റെ ഓർഡർ റദ്ദാക്കുക.
ഈ ദുർബലതകൾ ഞങ്ങൾ വെളിപ്പെടുത്തി; പുതിയ സുരക്ഷാ സംവിധാനങ്ങൾ സജീവമായി പരീക്ഷിച്ചുകൊണ്ടിരിക്കുന്നു.
വെൻഡിംഗ് മെഷീൻ കൈകാര്യം ചെയ്യുന്ന Vendy എന്നറിയപ്പെടുന്ന ലൈവ് സ്വയംപ്രവർത്തക ഏജന്റിനെ തകർക്കാൻ GPT‑Red‑ന് കഴിയുന്നു. ആദ്യം സിമുലേഷനിൽ പരീക്ഷിച്ച് പിന്നെ ലൈവ് ഏജന്റിലേക്ക് ആക്രമണങ്ങൾ മാറ്റിയതിലൂടെ, വിലയേറിയ ഇനങ്ങൾ വിലകുറഞ്ഞതാക്കാനും മറ്റ് ഉപഭോക്താക്കളുടെ ഓർഡറുകൾ റദ്ദാക്കാനും പ്രൊഡക്ഷൻ ഏജന്റിനെ പ്രേരിപ്പിക്കാൻ GPT‑Red‑ന് കഴിഞ്ഞു.
മാറ്റിവെച്ച 10 ഡാറ്റ ചോർത്തൽ സാഹചര്യങ്ങളുടെ സ്യൂട്ടിൽ Codex CLI ഏജന്റിനെ (GPT‑5.4 mini അടിസ്ഥാനമാക്കിയുള്ളത്) ആക്രമിക്കാനും ഞങ്ങൾ GPT‑Red ഉപയോഗിക്കുന്നു. മാറ്റിവെച്ച റെഡ് ടീമിംഗ് പ്രകടനത്തിൽ ഞങ്ങളുടെ പരിശീലന നടപടിക്രമത്തിന്റെ സ്വാധീനം പഠിക്കാൻ, പ്രോംപ്റ്റ് നൽകിയ GPT‑5.5 അടിസ്ഥാനരേഖയുമായി ഈ മോഡലിനെ ഞങ്ങൾ താരതമ്യം ചെയ്യുന്നു. കൂടുതൽ സാഹചര്യങ്ങളിൽ ഏജന്റിലൂടെ സംവേദനക്ഷമ ഡാറ്റ ചോർത്താൻ കഴിയുന്നതിനാൽ GPT‑Red കൂടുതൽ ഫലപ്രദവും കൂടുതൽ ടോക്കൺ കാര്യക്ഷമവുമാണ്.
ലൈവ് Codex ഏജന്റുകളെ തകർക്കുന്നതിൽ GPT‑Red കൂടുതൽ ഫലപ്രദവും കാര്യക്ഷമവുമാണ്. GPT‑5.4 Mini പിന്തുണയ്ക്കുന്ന ഒരു Codex ഏജന്റിനെതിരെ, ഡാറ്റ ചോർത്തലിനായുള്ള 10 ഇഷ്ടാനുസൃത ടാസ്കുകളുടെ സ്യൂട്ടിൽ ഞങ്ങൾ പരീക്ഷിക്കുന്നു.
ഞങ്ങളുടെ മോഡലുകളുടെ ദൃഢത മെച്ചപ്പെടുത്തുകയെന്നതാണ് GPT‑Red‑ന്റെ അന്തിമ ലക്ഷ്യം. കഴിഞ്ഞ ആറുമാസമായി, വർധിച്ച കംപ്യൂട്ട് ഉപയോഗിച്ച് കൂടുതൽ ശക്തമായ റെഡ് ടീമിംഗ് മോഡലുകൾ (GPT‑Red‑ന്റെ മുൻഗാമികൾ) ഞങ്ങൾ ക്രമേണ പരിശീലിപ്പിച്ചു; GPT‑5.3 മുതൽ ഓരോ തുടര്ന്നുള്ള പ്രൊഡക്ഷൻ മോഡലിന്റെയും പരിശീലനത്തിൽ ഈ മോഡലുകൾ ഉപയോഗിച്ചു. കാലക്രമേണ, ഓരോ തുടർ GPT റിലീസും കൂടുതൽ ദൃഢമായി.
ഒരു ഉദാഹരണമായി, GPT‑Red‑ന്റെ പ്രാരംഭ പതിപ്പ് “വ്യാജ ചെയിൻ-ഓഫ്-തോട്ട്” ആക്രമണങ്ങൾ എന്നറിയപ്പെടുന്ന നേരിട്ടുള്ള പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ആക്രമണങ്ങളുടെ പുതിയൊരു വിഭാഗം കണ്ടെത്തി. ഈ ആക്രമണങ്ങൾ GPT‑5.1‑ൽ 95%-ൽ കൂടുതലായ വിജയനിരക്കുകൾ കൈവരിച്ചു; എന്നാൽ GPT‑5.6 Sol-ൽ ഇപ്പോൾ അവ 10%-ൽ താഴെയാണ്. അതുപോലെ, ഡെവലപ്പർ ഉപകരണങ്ങളിലെയും ബ്രൗസിംഗിലെയും ആക്രമണങ്ങളെ ലക്ഷ്യമിടുന്ന ഞങ്ങളുടെ ചില പരോക്ഷ പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ബെഞ്ച്മാർക്കുകൾ ഏറ്റവും പുതിയ മോഡൽ ഇതിനകം പരമാവധി മറികടന്നിട്ടുണ്ട് (>97% കൃത്യത).
GPT‑Red‑നെതിരായ ദൃഢതയും ഗണ്യമായി മെച്ചപ്പെട്ടു. വിപുലമായ ദൃഢതാ പരിസരങ്ങളിൽ, GPT‑Red‑ന്റെ ആക്രമണ വിജയനിരക്കുകൾ കാലക്രമേണ ഏകതാനമായി കുറഞ്ഞു. ഞങ്ങളുടെ ഏറ്റവും പുതിയ മോഡൽ റിലീസിൽ, GPT‑5.6 Sol GPT‑Red‑ന്റെ നേരിട്ടുള്ള പ്രോംപ്റ്റ് ഇൻജക്ഷനുകളിൽ വെറും 0.05% മാത്രമാണ് പരാജയപ്പെടുന്നത്.
പ്രോംപ്റ്റ് ഇൻജക്ഷനുകൾക്കായുള്ള സെൽഫ്-പ്ലേ പരിശീലനം തുടർച്ചയായി സ്കെയിൽ ചെയ്തപ്പോൾ, നിലവിലുള്ള മോഡലുകളെ തകർക്കാൻ കഴിയുന്ന പുതിയ ഭീഷണികൾ ഞങ്ങൾ കണ്ടെത്തി. എന്നിരുന്നാലും, ഞങ്ങളുടെ സ്കെയിലിംഗ് ഈ ആക്രമണങ്ങൾക്കെതിരായ ദൃഢതയും ഗണ്യമായി മെച്ചപ്പെടുത്താൻ സഹായിച്ചു. മാറ്റിവെച്ച പരിസരങ്ങളിൽ GPT‑Red നടത്തിയ എല്ലാ ശ്രമങ്ങളിലുമുള്ള ശരാശരി വിജയമായി ആക്രമണ വിജയനിരക്കിനെ കണക്കാക്കുന്നു.
കൂടുതൽ അഭ്യർത്ഥനകൾ നിരസിക്കുന്നതിലൂടെയോ കഴിവ് കുറയുന്നതിലൂടെയോ ഒരു മോഡൽ കൂടുതൽ സുരക്ഷിതമായി തോന്നാം. കുറച്ച് മാത്രം ചെയ്യുന്ന ഒരു മോഡലിനെ ആക്രമിക്കുന്നത് സ്വാഭാവികമായി കൂടുതൽ ബുദ്ധിമുട്ടാണ്, പക്ഷേ അത് ഉപയോഗപ്രദമായ ദൃഢതയല്ല.
പൊതുവായ അത്യാധുനിക ശേഷികളും ഞങ്ങൾ രൂപകൽപ്പന ചെയ്യുന്ന ലക്ഷ്യമിട്ട അതിരുകടന്ന നിരസിക്കൽ ടാസ്കുകളും ഞങ്ങൾ സമഗ്രമായി വിലയിരുത്തുന്നു. ദൃഢത ഗണ്യമായി മെച്ചപ്പെടുമ്പോഴും എല്ലാ സാധാരണ ശേഷികളും ബാധിക്കപ്പെടാതെ തുടരുന്നതായി ഞങ്ങൾ കണ്ടെത്തുന്നു. അനുചിതമായ ഉപകരണ ഉപയോഗമോ സാധുവായ അഭ്യർത്ഥനകൾ സ്വതേ നിരസിക്കലോ അല്ല, ദുഷ്ട നിർദ്ദേശങ്ങളെ കൂടുതൽ നന്നായി ചെറുക്കുന്നതാണ് ദൃഢതയിലെ നേട്ടങ്ങൾക്ക് കാരണം എന്ന് ഇത് സൂചിപ്പിക്കുന്നു.
ഞങ്ങളുടെ അടുത്ത തലമുറ മോഡലുകളുടെ ശേഷികൾ മെച്ചപ്പെടുത്താൻ AI ഏജന്റുകൾ ഇതിനകം ഉപയോഗിക്കപ്പെടുന്നു. സുരക്ഷയ്ക്കായി സമാനമായ ഒരു സ്വയം ശക്തിപ്പെടുന്ന ചക്രം GPT‑Red വഴി ഞങ്ങൾ തുറക്കാൻ തുടങ്ങിയതായി ഞങ്ങൾ വിശ്വസിക്കുന്നു; ഇന്നത്തെ മോഡലുകൾ ഉപയോഗിച്ച് നാളെയുടെ മോഡലുകളെ കൂടുതൽ ദൃഢവും അലൈൻ ചെയ്തതും വിശ്വസനീയവുമാക്കാൻ കഴിയുന്നൊരു ചക്രം. ഇന്നത്തെ മോഡലിനെക്കാൾ ശക്തമായ GPT‑Red‑ന്റെ ഭാവി പതിപ്പുകൾ പരിശീലിപ്പിക്കാൻ, ആൽഗോരിതമിക മെച്ചപ്പെടുത്തലുകൾ നടത്തിക്കൊണ്ട് കംപ്യൂട്ടും ഡാറ്റയും ഞങ്ങൾ തുടർന്നും മെച്ചപ്പെടുത്തും. അതിന്റെ ഫലമായി, ഭാവിയിലെ GPT റിലീസുകളെ കൂടുതൽ സുരക്ഷിതമാക്കാൻ ഈ മോഡലുകൾ സഹായിക്കും.
കൂടുതൽ വിശദാംശങ്ങളുള്ള ഒരു പ്രീപ്രിന്റ് ഈ ആഴ്ച പിന്നീട് ഞങ്ങൾ പുറത്തിറക്കും.
