బాహ్య పరీక్షలతో మన భద్రతా పర్యావరణ వ్యవస్థను బలోపేతం చేయడం

OpenAIలో, సరిహద్దు AI యొక్క భద్రతా పర్యావరణ వ్యవస్థను బలోపేతం చేయడంలో స్వతంత్ర, విశ్వసనీయ థర్డ్ పార్టీ అంచనాలు కీలక పాత్ర పోషిస్తాయని మేము విశ్వసిస్తున్నాము. థర్డ్ పార్టీ అసెస్‌మెంట్‌లు అనేవి కీలకమైన భద్రతా సామర్థ్యాలు మరియు ఉపశమనాల గురించి వాదనలను నిర్ధారించడానికి లేదా అదనపు ఆధారాలను అందించడానికి సరిహద్దు నమూనాలపై నిర్వహించబడే మూల్యాంకనాలు. ఈ మూల్యాంకనాలు భద్రతా వాదనలను ధృవీకరించడానికి, బ్లైండ్ స్పాట్‌ల నుండి రక్షించడానికి మరియు సామర్థ్యాలు మరియు ప్రమాదాల చుట్టూ పారదర్శకతను పెంచడానికి సహాయపడతాయి. మా సరిహద్దు నమూనాలను పరీక్షించడానికి బాహ్య నిపుణులను ఆహ్వానించడం ద్వారా, మా సామర్థ్య మూల్యాంకనాలు మరియు రక్షణ చర్యల లోతుపై నమ్మకాన్ని పెంపొందించడం మరియు విస్తృత భద్రతా పర్యావరణ వ్యవస్థను మెరుగుపరచడంలో సహాయపడటం కూడా మేము లక్ష్యంగా పెట్టుకున్నాము.

GPT‑4 ప్రారంభించినప్పటి నుండి, మా నమూనాలను పరీక్షించడానికి మరియు అంచనా వేయడానికి OpenAI అనేక బాహ్య భాగస్వాములతో కలిసి పనిచేసింది. విస్తృతంగా, మా థర్డ్ పార్టీ సహకారాలు మూడు రూపాలను తీసుకుంటాయి:

• బయోసెక్యూరిటీ, సైబర్ సెక్యూరిటీ, AI స్వీయ-అభివృద్ధి మరియు స్కీమింగ్ వంటి కీలక సరిహద్దు సామర్థ్యం మరియు ప్రమాద ప్రాంతాల స్వతంత్ర మూల్యాంకనాలు
• మేము ప్రమాదాన్ని ఎలా అంచనా వేస్తాము మరియు అర్థం చేసుకుంటాము అనే విషయాన్ని అంచనా వేసే మెథడాలజీ సమీక్షలు
• సబ్జెక్ట్-మ్యాటర్ ఎక్స్‌పర్ట్ (SME) ప్రోబింగ్, ఇక్కడ నిపుణులు వాస్తవ ప్రపంచ SME పనులపై నేరుగా నమూనాను మూల్యాంకనం చేస్తారు మరియు దాని సామర్థ్యాలు మరియు అనుబంధ రక్షణ చర్యలపై మా అంచనాకు నిర్మాణాత్మక ఇన్‌పుట్‌ను అందిస్తారు¹

ఈ బ్లాగ్ బాహ్య అంచనా యొక్క ప్రతి రూపాలను మనం ఎలా ఉపయోగిస్తాము, అవి ఎందుకు ముఖ్యమైనవి, అవి విస్తరణ నిర్ణయాలను ఎలా రూపొందించాయి మరియు ఈ సహకారాలను రూపొందించడానికి మనం ఉపయోగించే సూత్రాలను వివరిస్తుంది. పారదర్శకత స్ఫూర్తితో, థర్డ్ పార్టీ పరీక్షకులతో మా సహకారాన్ని నియంత్రించే గోప్యత మరియు ప్రచురణ నిబంధనల గురించి మేము మరింత పంచుకుంటున్నాము. 

థర్డ్ పార్టీ అంచనాదారులు మా అంతర్గత పనితో పాటు స్వతంత్ర మూల్యాంకన పొరను జోడిస్తారు, కఠినతను బలోపేతం చేస్తారు మరియు స్వీయ-ధృవీకరణ నుండి అదనపు రక్షణలను అందిస్తారు. వారి ఇన్‌పుట్ మా స్వంత అంచనాలతో పాటు అదనపు ఆధారాలను అందిస్తుంది, శక్తివంతమైన వ్యవస్థల కోసం బాధ్యతాయుతమైన విస్తరణ నిర్ణయాలను తెలియజేయడంలో సహాయపడుతుంది.

స్థితిస్థాపక భద్రతా పర్యావరణ వ్యవస్థను నిర్మించడంలో⁠ భాగంగా మేము థర్డ్ పార్టీ అంచనాలను కూడా చూస్తాము. మా జట్టులు సామర్థ్యం మరియు ప్రమాద ప్రాంతాలలో విస్తృతమైన అంతర్గత పరీక్షలను నిర్వహిస్తాయి, కానీ స్వతంత్ర సంస్థలు అదనపు దృక్కోణాలు మరియు పద్దతి విధానాలను తీసుకువస్తాయి. మాతో పాటు ఫ్రాంటియర్ నమూనాలను క్రమం తప్పకుండా మూల్యాంకనం చేయగల అర్హత కలిగిన అసెస్సర్ సంస్థల విభిన్న సమూహానికి మద్దతు ఇవ్వడానికి మేము పని చేస్తాము.

చివరగా, ఈ ఇన్‌పుట్ మా భద్రతా ప్రక్రియను రూపొందించడంలో ఎలా సహాయపడుతుందనే దాని గురించి పారదర్శకంగా ఉండాలని మేము లక్ష్యంగా పెట్టుకున్నాము. మేము క్రమం తప్పకుండా థర్డ్ పార్టీం అసెస్‌మెంట్‌లను పబ్లిక్‌గా ఉంచుతాము - ఉదాహరణకు, సిస్టమ్ కార్డ్‌లలో ప్రీ-డిప్లోయ్‌మెంట్ మూల్యాంకనాల సారాంశాలను చేర్చడం ద్వారా మరియు గోప్యత మరియు ఖచ్చితత్వ సమీక్ష తర్వాత మరింత వివరణాత్మక పనిని ప్రచురించడంలో అసెస్సర్ సంస్థలకు మద్దతు ఇవ్వడం ద్వారా. ఈ పారదర్శకత బాహ్య ఇన్‌పుట్ మన సామర్థ్య మూల్యాంకనాలు మరియు రక్షణలను ఎలా రూపొందిస్తుందో చూపించడం ద్వారా నమ్మకాన్ని పెంచుతుంది. 

విశ్వసనీయ ప్రాప్యత, పారదర్శకత మరియు జ్ఞాన-భాగస్వామ్యంపై నిర్మించబడిన స్థిరమైన సంబంధాలు మొత్తం పర్యావరణ వ్యవస్థ ఉద్భవిస్తున్న ప్రమాదాల నుండి ముందుండటానికి మరియు బలమైన ప్రమాణాలకు మరియు సరిహద్దు AI వ్యవస్థలకు మరింత సమాచారంతో కూడిన పాలనకు అవసరమైన అనుకూలత, కార్యాచరణ అంచనాలను పెంపొందించడానికి సహాయపడతాయి.

GPT‑4⁠(కొత్త విండోలో తెరుచుకుంటుంది) ప్రారంభంతో ప్రారంభించి, విస్తరణకు ముందు ప్రారంభ నమూనా చెక్‌పాయింట్‌లపై స్వతంత్ర మూల్యాంకనాలకు మేము మద్దతు ఇచ్చాము. అప్పటి నుండి, కీలకమైన సరిహద్దు సామర్థ్యం మరియు ప్రమాద ప్రాంతాల మూల్యాంకనాలలో లోతైన నైపుణ్యం కలిగిన అనేక థర్డ్ పార్టీ సంస్థలతో మేము మా పనిని విస్తరించాము. మేము స్వతంత్ర ప్రయోగశాల పనిని ఓపెన్-ఎండ్ టెస్టింగ్‌గా పరిగణిస్తాము, ఇక్కడ బయటి జట్లు ఒక నిర్దిష్ట సరిహద్దు సామర్థ్యానికి సంబంధించిన క్లెయిమ్ లేదా అంచనాను రూపొందించడానికి వారి స్వంత పద్ధతులను వర్తింపజేస్తాయి. 

ఉదాహరణకు, GPT‑5⁠ కోసం, OpenAI లాంగ్ హోరిజోన్ స్వయంప్రతిపత్తి, స్కీమింగ్, మోసం మరియు పర్యవేక్షణ ఉపసంహరణ, వెట్ ల్యాబ్ ప్లానింగ్ సాధ్యాసాధ్యాలు మరియు ప్రమాదకర సైబర్ భద్రతా మూల్యాంకనాలు వంటి కీలక ప్రమాద ప్రాంతాలలో విస్తృత శ్రేణి బాహ్య సామర్థ్య అంచనాలను సమన్వయం చేసింది.  

ఈ స్వతంత్ర మూల్యాంకనాలు OpenAI యొక్క సన్నద్ధత ఫ్రేమ్‌వర్క్‌కు అనుగుణంగా నిర్వహించబడే మూల్యాంకనాలకు అనుబంధంగా ఉంటాయి మరియు METR యొక్క సమయ హోరిజోన్ మూల్యాంకనం⁠(కొత్త విండోలో తెరుచుకుంటుంది) లేదా SecureBio యొక్క వైరాలజీ సామర్థ్యాల ట్రబుల్షూటింగ్ (VCT)⁠(కొత్త విండోలో తెరుచుకుంటుంది) మూల్యాంకనం వంటి బెంచ్‌మార్క్‌లను కలిగి ఉంటాయి. 

ఈ మూల్యాంకనాలకు మద్దతు ఇవ్వడానికి, మేము ప్రారంభ నమూనా చెక్‌పాయింట్‌లకు సురక్షితమైన ప్రాప్యత‌ను అందించాము, మేము చూస్తున్న సామర్థ్య మెరుగుదలలను సంక్షిప్తీకరించడానికి మూల్యాంకన ఫలితాలను ఎంచుకుంటాము, అవసరమైన చోట సున్నా-డేటా నిలుపుదల మరియు తక్కువ తగ్గింపులతో కూడిన నమూనాలను అందించాము. ఉదాహరణకు, సైబర్ సెక్యూరిటీ మరియు బయోసేఫ్టీ డొమైన్‌లలో పరీక్షించే సంస్థలు అంతర్లీన సామర్థ్యాలను పరిశీలించడానికి భద్రతా తగ్గింపులతో మరియు లేకుండా నమూనాలను పరీక్షించాయి. నమూనా యొక్క తార్కిక జాడలను పరిశీలించడానికి వీలుగా అనేక ఇతర సంస్థలు ప్రత్యక్ష ఆలోచన గొలుసు ప్రాప్యతను పొందాయి. ఈ పెరిగిన పారదర్శకత దశ, ఇసుక బ్యాగింగ్² లేదా ఆలోచనల గొలుసును చదవడం ద్వారా మాత్రమే గుర్తించగలిగే కుట్రపూరిత ప్రవర్తన కేసులను గుర్తించడానికి మదింపుదారులను అనుమతించింది. ప్రాప్యతకు భద్రతా నియంత్రణలు అందించబడ్డాయి మరియు నమూనా సామర్థ్యాలు మరియు పరీక్ష అవసరాలు అభివృద్ధి చెందుతున్నప్పుడు మేము ఆ నియంత్రణలను నవీకరిస్తూనే ఉన్నాము.

కొన్ని సందర్భాలలో, బాహ్య మదింపుదారులు పద్దతి సమీక్షను అందించడానికి, ఫ్రేమ్‌వర్క్‌లకు అదనపు దృక్కోణాలను అందించడానికి మరియు ప్రమాదాన్ని అంచనా వేయడానికి సరిహద్దు ప్రయోగశాలలు ఆధారపడే ఆధారాలను అందించడానికి మంచి స్థానంలో ఉంటారు. ఉదాహరణకు, gpt-oss⁠ ప్రారంభించిన సమయంలో, ఓపెన్ వెయిట్ LLMల యొక్క చెత్త కేసు సరిహద్దు ప్రమాదాలను అంచనా వేయడంలో⁠ వివరించిన ఓపెన్ వెయిట్ నమూనాల కోసం చెత్త-కేస్ సామర్థ్యాలను అంచనా వేయడానికి మేము వ్యతిరేక ఫైన్-ట్యూనింగ్‌ను ఉపయోగించాము. మా సంసిద్ధత చట్రం కింద బయో లేదా సైబర్ వంటి రంగాలలో అధిక సామర్థ్యాన్ని చేరుకోవడానికి ఒక హానికరమైన నటుడు నమూనాను చక్కగా ట్యూన్ చేయగలడా అనేది ప్రధాన భద్రతా ప్రశ్న. దీనికి వనరు-ఇంటెన్సివ్ విరోధి ఫైన్-ట్యూనింగ్ అవసరం కాబట్టి, మేము థర్డ్ పార్టీ అంచనా వేసేవారిని మా అంతర్గత పద్ధతులు మరియు ఫలితాలపై సమీక్షించి సిఫార్సులు చేయడానికి ఆహ్వానించాము, అదే విధమైన పనిని పునరావృతం చేయడానికి బదులుగా.

దీని కోసం మూల్యాంకన రోల్‌అవుట్‌లను పంచుకోవడం, విరోధి ఫైన్ ట్యూనింగ్ కోసం విధానం గురించి వివరాలు మరియు చెత్త సరిహద్దు ప్రమాదాల కోసం పద్దతి మరియు మూల్యాంకనాలను మెరుగుపరచడం గురించి నిర్మాణాత్మక సిఫార్సులను సేకరించడం వంటి బహుళ వారాల ప్రక్రియ అవసరం. మదింపుదారుల నుండి వచ్చిన ఫీడ్ బ్యాక్ తుది వ్యతిరేక ఫైన్-ట్యూనింగ్ ప్రక్రియలో మార్పులకు దారితీసింది మరియు పద్దతి నిర్ధారణ విలువను ప్రదర్శించింది. మేము gpt-oss కోసం పేపర్ మరియు సిస్టమ్ కార్డ్‌లో ఏ అంశాలను స్వీకరించామో రికార్డ్ చేసాము మరియు మేము స్వీకరించని వాటికి హేతువులను అందించాము.

ఇక్కడ, స్వతంత్ర మూల్యాంకనాల కంటే మెథడాలజీ సమీక్ష సరిగ్గా సరిపోతుంది: మూల్యాంకనాలలో పెద్ద ఎత్తున, చెత్త ప్రయోగాలను నిర్వహించడం జరిగింది, దీనికి ప్రధాన AI ప్రయోగశాలల వెలుపల సాధారణంగా అందుబాటులో లేని మౌలిక సదుపాయాలు మరియు సాంకేతిక నైపుణ్యం అవసరం. దీని అర్థం స్వతంత్ర మూల్యాంకనాలు చెత్త పరిస్థితులపై నేరుగా అంతర్దృష్టులకు దారితీయకపోవచ్చు మరియు క్లెయిమ్‌ల నిర్ధారణపై బాహ్య మదింపుదారులను కేంద్రీకరించడం మరింత ఉత్పాదకత. బాహ్య మదింపుదారులు పద్ధతులు మరియు ఆధారాలను సమీక్షించారు⁠(కొత్త విండోలో తెరుచుకుంటుంది), సిఫార్సు ఫీడ్‌బ్యాక్ లూప్‌లో భాగంగా పరిష్కరించబడిన నిర్ణయం-సంబంధిత అంతరాలను హైలైట్ చేశారు. ఈ విధానం, ప్రాప్యత లేదా మౌలిక సదుపాయాల అవసరాలు థర్డ్ పార్టీం నేరుగా మూల్యాంకనాలను నిర్వహించడం అసాధ్యమని చేసే లేదా బాహ్య మూల్యాంకనాలు ఇంకా ఉనికిలో లేని ఇతర మార్గాలకు విస్తరించాలని మేము ఆశిస్తున్నాము. 

బాహ్య నిపుణులను నిమగ్నం చేయడానికి మరొక మార్గం సబ్జెక్ట్-మేటర్ ఎక్స్‌పర్ట్ (SME) ప్రోబింగ్, ఇక్కడ నిపుణులు నమూనాను నేరుగా మూల్యాంకనం చేస్తారు మరియు దాని సామర్థ్యాలను అంచనా వేయడానికి సర్వేల ద్వారా నిర్మాణాత్మక ఇన్‌పుట్‌ను అందిస్తారు. ఇది రెడ్ టీమింగ్⁠ నుండి భిన్నంగా ఉంటుంది, ఇది నిర్దిష్ట భద్రతా చర్యలను ఒత్తిడితో పరీక్షించడం లక్ష్యంగా పెట్టుకుంది. దీని వలన మేము సన్నద్ధత ఫ్రేమ్‌వర్క్ మూల్యాంకనాలను డొమైన్-నిర్దిష్ట అంతర్దృష్టులతో అనుబంధించగలుగుతాము, ఇవి నిపుణుల తీర్పును మరియు స్టాటిక్ మూల్యాంకనాలు మాత్రమే సంగ్రహించలేని వాస్తవ-ప్రపంచ సందర్భాన్ని ప్రతిబింబిస్తాయి. ఉదాహరణకు, ChatGPT ఏజెంట్ మరియు GPT‑5 కోసం వారి స్వంత ఎండ్-టు-ఎండ్ బయో దృశ్యాలను ప్రయత్నించడానికి ఒక ఉపయోగకరమైన-మాత్రమే నమూనాను³ ఉపయోగించమని మేము విషయ-నిపుణుల ప్యానెల్‌ను ఆహ్వానించాము. వారి సందర్భాలలో అందించిన మార్గదర్శకత్వం యొక్క ఉపయోగం ఆధారంగా, తక్కువ అనుభవం ఉన్న అనుభవం లేని వ్యక్తితో పోలిస్తే, తమలాంటి నిపుణుడిని ఈ నమూనా ఎంతగా ఉద్ధరిస్తుందో వారు స్కోర్ చేశారు.  ప్రేరణ పొందిన అనుభవం లేని వ్యక్తిని సమర్థవంతమైన అమలుకు దగ్గరగా ఎలా తీసుకెళ్లగలదో అదనపు ఇన్‌పుట్‌ను సేకరించడమే లక్ష్యం: SMEలు వారు ముందుకు వచ్చిన వాస్తవిక వర్క్‌ఫ్లోల కింద మా “అనుభవం లేని వ్యక్తి అప్‌లిఫ్ట్” క్లెయిమ్‌లను ఒత్తిడి-పరీక్షించాయి మరియు నమూనా మెటీరియల్, స్టెప్-లెవల్ సహాయం వెర్సస్ తక్కువ సహాయకరమైన సారాంశాలను ఎక్కడ అందించిందనే దానిపై వివరణాత్మక ఫీడ్ బ్యాక్‌ను అందించాయి. ఈ నమూనాల విస్తరణ కోసం మొత్తం అంచనాలో భాగంగా ఈ నిపుణుల పరిశోధనా వ్యాయామం చేర్చబడింది మరియు రెండు ప్రయోగాల కోసం సిస్టమ్ కార్డులలో భాగస్వామ్యం చేయబడింది. 

పారదర్శకత స్ఫూర్తితో, థర్డ్ పార్టీ అంచనాదారులు మాతో పనిచేసినప్పుడు అంగీకరించే వాటి గురించి మరియు మా సహకారాలకు మార్గనిర్దేశం చేసే సూత్రాల గురించి మేము మరింత పంచుకుంటున్నాము:

• జాగ్రత్తగా గోప్యతా పరిమితులతో పారదర్శకత: థర్డ్ పార్టీ మదింపుదారులు తమ అంచనాలకు మద్దతుగా గోప్యమైన, పబ్లిక్ కాని సమాచారాన్ని పంచుకోవడానికి వీలుగా బహిర్గతం కాని ఒప్పందాలపై సంతకం చేస్తారు. ఈ పోస్ట్ యొక్క అనుబంధంలో⁠, ప్రచురణ చుట్టూ ఉన్న హక్కులను మరియు సమీక్ష కోసం అంచనాలను వివరించే థర్డ్ పార్టీ అంచనాదారులతో ఒప్పందాల నుండి సంబంధిత సారాంశాలను మేము చేర్చాము. మేము పారదర్శకత సూత్రంతో పనిచేస్తాము మరియు గోప్యమైన సమాచారం లేదా మేధో సంపత్తికి హాని కలిగించకుండా భద్రత మరియు సంబంధిత మూల్యాంకనాలను అర్థం చేసుకునేలా ప్రచురణను ప్రారంభించడానికి ప్రయత్నిస్తాము. దీనిలో భాగంగా, గోప్యత మరియు వాస్తవ ఖచ్చితత్వాన్ని నిర్ధారించడానికి మేము థర్డ్ పార్టీ అంచనాల నుండి ప్రచురణలను సమీక్షించి ఆమోదిస్తాము. గత కొన్ని సంవత్సరాలుగా, అనేక మంది థర్డ్ పార్టీ మదింపుదారులు సిస్టమ్ కార్డులలో మా స్వంత అసెస్‌మెంట్ సారాంశాల ప్రచురణతో పాటు వారి పనిని ప్రచురించారు. గోప్యత మరియు ఖచ్చితత్వం కోసం మేము సమీక్షించిన తర్వాత ప్రచురించబడిన కొన్ని రచనల ఉదాహరణలు: [METR GPT‑5 నివేదిక⁠(కొత్త విండోలో తెరుచుకుంటుంది), OpenAI o1 పై అపోలో పరిశోధన నివేదిక⁠(కొత్త విండోలో తెరుచుకుంటుంది), క్రమరహిత GPT‑5 అంచనా⁠(కొత్త విండోలో తెరుచుకుంటుంది)] 
• ఆలోచనాత్మక సమాచార బహిర్గతం మరియు సురక్షితమైన, సున్నితమైన ప్రాప్యత: డిఫాల్ట్‌గా, మేము పబ్లిక్ లేదా ఉత్పత్తికి సిద్ధంగా ఉండటానికి ఉద్దేశించిన నమూనాలకు సమాచారం మరియు ప్రాప్యతను అందిస్తాము. మూల్యాంకనాలు అవసరమైనప్పుడు, మేము ఉపయోగకరమైన-మాత్రమే నమూనాలు లేదా పబ్లిక్ కాని సమాచారం వంటి లోతైన ప్రాప్యతను అందిస్తాము. థర్డ్ పార్టీ అంచనాదారులకు కీలకమైన భద్రతా ప్రశ్నలకు అవసరమైన చోట OpenAI ఈ రకమైన ప్రాప్యతను అందించింది. ముఖ్యంగా, ఈ రకమైన సున్నితమైన ప్రాప్యతకు కఠినమైన భద్రతా చర్యలు అవసరం మరియు నమూనా సామర్థ్యాలు మరియు పరీక్ష అవసరాలు అభివృద్ధి చెందుతున్నప్పుడు మేము ఆ నియంత్రణలను నవీకరిస్తూనే ఉంటాము.
• సమతుల్య ఆర్థిక ప్రోత్సాహకాలు: థర్డ్ పార్టీ అంచనా పర్యావరణ వ్యవస్థ బాగా నిధులు సమకూర్చబడి మరియు స్థిరంగా ఉండేలా చూసుకోవడం ముఖ్యమని మేము విశ్వసిస్తున్నాము. ఆ కారణంగా, మేము మా థర్డ్ పార్టీ అంచనాదారులందరికీ పరిహారాన్ని అందిస్తున్నాము మరియు కొందరు దీని చుట్టూ ఉన్న వారి సంస్థాగత తత్వాన్ని బట్టి తిరస్కరించడానికి ఎంచుకుంటారు. పరిహార రూపాల్లో పనికి ప్రత్యక్ష చెల్లింపు మరియు/లేదా API క్రెడిట్‌ల ద్వారా లేదా ఇతరత్రా నమూనా వినియోగ ఖర్చులకు సబ్సిడీ ఇవ్వడం వంటివి ఉంటాయి. థర్డ్ పార్టీ అంచనా ఫలితాలపై ఎటువంటి చెల్లింపు ఆధారపడి ఉండదు.

కలిపి, ఈ కారకాలు థర్డ్ పార్టీ అంచనాలు సున్నితమైన సమాచారాన్ని రక్షించడంలో మరియు AI భద్రతలో పారదర్శకతను పెంపొందించడంలో సహాయపడతాయి మరియు థర్డ్ పార్టీ అంచనా వేసేవారికి వారి సమయానికి పరిహారం పొందేందుకు మార్గాలను సృష్టిస్తాయి.

భవిష్యత్తులో, సరిహద్దు AI వ్యవస్థల యొక్క విశ్వసనీయమైన, నిర్ణయ-సంబంధిత అంచనాలను నిర్వహించగల సంస్థల పర్యావరణ వ్యవస్థను బలోపేతం చేయవలసిన అవసరాన్ని మేము చూస్తున్నాము. ప్రభావవంతమైన థర్డ్ పార్టీ మూల్యాంకనానికి ప్రత్యేక నైపుణ్యం, స్థిరమైన నిధులు మరియు పద్దతిపరమైన కఠినత్వం అవసరం. నమూనా సామర్థ్యాలలో పురోగతికి అనుగుణంగా అంచనాలు ఉండగలవని నిర్ధారించుకోవడానికి అర్హత కలిగిన అంచనా సంస్థలలో నిరంతర పెట్టుబడి, కొలత శాస్త్రం యొక్క పురోగతి మరియు సున్నితమైన ప్రాప్యత కోసం భద్రత చాలా అవసరం. 

మా భద్రతా పనిలో బాహ్య దృక్పథాన్ని తీసుకురావడానికి థర్డ్ పార్టీ అంచనాలు ఒక మార్గం, మరియు అవి ఇతర యంత్రాంగాలతో పాటు పనిచేస్తాయి. మానసిక ఆరోగ్యం మరియు వినియోగదారు శ్రేయస్సుపై మా పనిని మార్గనిర్దేశం చేయడంలో సహాయపడటానికి మేము స్ట్రక్చర్డ్ రెడ్ టీమింగ్ ప్రయత్నాలు, సామూహిక అమరిక ప్రాజెక్టులు⁠, US CAISI మరియు UK AISI⁠, మరియు మా గ్లోబల్ ఫిజిషియన్ నెట్‌వర్క్⁠ మరియు మా ఎక్స్‌పర్ట్ కౌన్సిల్ ఆన్ వెల్-బీయింగ్ మరియు AI⁠ వంటి సలహా సమూహాలతో కలిసి పని చేస్తాము. ఈ ప్రయత్నాలు వివిధ రకాల నైపుణ్యాలను అందిస్తాయి మరియు అధునాతన AI వ్యవస్థలను అంచనా వేయడానికి మరియు నిర్వహించడానికి విస్తృతమైన, మరింత నమ్మదగిన పునాదికి మద్దతు ఇస్తాయి.

ప్రీ-డిప్లోయ్‌మెంట్ అసెస్‌మెంట్‌లపై మాతో సహకరించే థర్డ్ పార్టీాలతో మా ఒప్పందాల నుండి ఈ క్రిందివి దృష్టాంత సారాంశాలు.