GPT‑4

GPT‑4 అనేది సంపూర్ణ అభ్యాసాన్ని పెంచడంలో OpenAI యొక్క ప్రయత్నంలో తాజా మైలురాయి అయిన GPT‑4 ను మేము సృష్టించాము. GPT‑4 అనేది ఒక పెద్ద మల్టీనమూనా నమూనా (చిత్రం మరియు వచన ఇన్‌పుట్‌లను అంగీకరించడం, వచన అవుట్‌పుట్‌లను విడుదల చేయడం), ఇది అనేక వాస్తవ-ప్రపంచ దృశ్యాలలో మానవుల కంటే తక్కువ సామర్థ్యం కలిగి ఉన్నప్పటికీ, వివిధ ప్రొఫెషనల్ మరియు విద్యాపరమైన ప్రమాణాలపై మానవ-స్థాయి పనితీరును ప్రదర్శిస్తుంది. ఉదాహరణకు, ఇది పరీక్ష రాసేవారిలో టాప్ 10% చుట్టూ స్కోర్‌తో అనుకరణ బార్ పరీక్షలో ఉత్తీర్ణత సాధిస్తుంది; దీనికి విరుద్ధంగా, GPT‑3.5 యొక్కస్కోరు దిగువన 10% చుట్టూ ఉంది. మా వ్యతిరేక పరీక్షా కార్యక్రమం మరియు ChatGPT నుండి పాఠాలను ఉపయోగించి GPT‑4 ను పదే పదే సమలేఖనం⁠ చేయడానికి మేము 6 నెలలు గడిపాము, దీని ఫలితంగా వాస్తవికత, స్టీరిబిలిటీ మరియు గార్డ్‌రైల్స్ వెలుపల వెళ్లడానికి నిరాకరించడంపై మాకు అత్యుత్తమ ఫలితాలు (పరిపూర్ణంగా లేనప్పటికీ) వచ్చాయి.

గత రెండు సంవత్సరాలుగా, మేము మా మొత్తం లోతైన అభ్యాస స్టాక్‌ను పునర్నిర్మించాము మరియు Azure తో కలిసి, మా పనిభారం కోసం ఒక సూపర్ కంప్యూటర్‌ను ప్రాథమికంగా రూపొందించాము. ఒక సంవత్సరం క్రితం, మేము GPT‑3.5 ను సిస్టమ్ యొక్క మొదటి “టెస్ట్ రన్” గా శిక్షణ ఇచ్చాము. మేము కొన్ని బగ్‌లను కనుగొని పరిష్కరించాము మరియు మా సైద్ధాంతిక పునాదులను మెరుగుపరిచాము. ఫలితంగా, మా GPT‑4 శిక్షణా పరుగు (కనీసం మాకు!) అపూర్వమైన స్థిరంగా ఉంది, దీని శిక్షణ పనితీరును మేము ముందుగానే ఖచ్చితంగా అంచనా వేయగలిగిన మా మొదటి పెద్ద నమూనాగా మారింది. మేము నమ్మదగిన స్కేలింగ్‌పై దృష్టి సారిస్తూనే, భవిష్యత్ సామర్థ్యాలను ముందుగానే అంచనా వేయడానికి మరియు సిద్ధం చేయడానికి మాకు సహాయపడటానికి మా పద్దతిని మెరుగుపరుచుకోవాలని మేము లక్ష్యంగా పెట్టుకున్నాము—భద్రతకు ఇది చాలా కీలకం అని మేము భావిస్తున్నాము.

మేము GPT‑4 యొక్క టెక్స్ట్ ఇన్‌పుట్ సామర్థ్యాన్ని ChatGPT మరియు API (వెయిట్ లిస్ట్‌తో⁠) ద్వారా విడుదల చేస్తున్నాము. విస్తృత లభ్యత కోసం ఇమేజ్ ఇన్‌పుట్ సామర్థ్యాన్ని సిద్ధం చేయడానికి, మేము ప్రారంభించడానికి ఒకే భాగస్వామితో⁠(కొత్త విండోలో తెరుచుకుంటుంది) సన్నిహితంగా సహకరిస్తున్నాము. మేము AI నమూనా పనితీరు యొక్క ఆటోమేటెడ్ మూల్యాంకనం కోసం మా ఫ్రేమ్‌వర్క్ అయిన OpenAI Evals⁠(కొత్త విండోలో తెరుచుకుంటుంది) ను కూడా ఓపెన్-సోర్స్ చేస్తున్నాము, తద్వారా మరింత మెరుగుదలలకు మార్గనిర్దేశం చేయడంలో సహాయపడటానికి మా నమూనాలలో లోపాలను ఎవరైనా నివేదించవచ్చు.

సాధారణ సంభాషణలో, GPT‑3.5 మరియు GPT‑4 మధ్య వ్యత్యాసం సూక్ష్మంగా ఉంటుంది. పని యొక్క సంక్లిష్టత తగినంత పరిమితికి చేరుకున్నప్పుడు వ్యత్యాసం బయటకు వస్తుంది—GPT‑4 మరింత నమ్మదగినది, సృజనాత్మకమైనది మరియు GPT‑3.5 కంటే చాలా సూక్ష్మమైన సూచనలను నిర్వహించగలదు.

రెండు నమూనాల మధ్య వ్యత్యాసాన్ని అర్థం చేసుకోవడానికి, మేము వివిధ రకాల బెంచ్‌మార్క్‌లపై పరీక్షించాము, వాటిలో మొదట మానవుల కోసం రూపొందించబడిన పరీక్షలను అనుకరించడం కూడా ఉంది. మేము ఇటీవల బహిరంగంగా అందుబాటులో ఉన్న పరీక్షలను (ఒలింపియాడ్‌లు మరియు AP ఉచిత ప్రతిస్పందన ప్రశ్నల విషయంలో) ఉపయోగించడం ద్వారా లేదా 2022–2023 ఎడిషన్‌ల ప్రాక్టీస్ పరీక్షలను కొనుగోలు చేయడం ద్వారా ముందుకు సాగాము. ఈ పరీక్షల కోసం మేము నిర్దిష్ట శిక్షణ ఇవ్వలేదు. పరీక్షలలోని కొన్ని సమస్యలను శిక్షణ సమయంలో నమూనా చూసింది, కానీ ఫలితాలు ప్రాతినిధ్యం వహిస్తాయని మేము విశ్వసిస్తున్నాము—వివరాల కోసం మా సాంకేతిక నివేదికను⁠(కొత్త విండోలో తెరుచుకుంటుంది) చూడండి.

అంతర్గత సూచన ¹

మేము మెషిన్ లెర్నింగ్ నమూనాల కోసం రూపొందించిన సాంప్రదాయ బెంచ్‌మార్క్‌లపై కూడా GPT‑4ని మూల్యాంకనం చేసాము. బెంచ్‌మార్క్-నిర్దిష్ట క్రాఫ్టింగ్ లేదా అదనపు శిక్షణ ప్రోటోకాల్‌లను కలిగి ఉన్న చాలా అత్యాధునిక (SOTA) నమూనాలతో పాటు, GPT‑4 ఇప్పటికే ఉన్న పెద్ద భాషా నమూనాలను గణనీయంగా అధిగమిస్తుంది:

ఇప్పటికే ఉన్న అనేక ML బెంచ్‌మార్క్‌లు ఆంగ్లంలో వ్రాయబడ్డాయి. ఇతర భాషలలో సామర్థ్యం యొక్క ప్రారంభ భావాన్ని పొందడానికి, మేము MMLU బెంచ్‌మార్క్‌ను—57 విషయాలలో విస్తరించి ఉన్న 14,000 బహుళ—ఎంపిక సమస్యల సూట్‌ను - Azure ట్రాన్స్‌లేట్‌ని ఉపయోగించి వివిధ భాషలలోకి అనువదించాము (అనుబంధం⁠ చూడండి). పరీక్షించబడిన 26 భాషలలో 24 భాషలలో, GPT‑4 GPT‑3.5 మరియు ఇతర LLMల (చిన్చిల్లా, PaLM) యొక్క ఆంగ్ల భాషా పనితీరును అధిగమిస్తుంది, వీటిలో లాట్వియన్, వెల్ష్ మరియు స్వాహిలి వంటి తక్కువ-వనరు భాషలు ఉన్నాయి:

మేము GPT‑4ని అంతర్గతంగా కూడా ఉపయోగిస్తున్నాము, మద్దతు, అమ్మకాలు, కంటెంట్ మోడరేషన్ మరియు ప్రోగ్రామింగ్ వంటి ఫంక్షన్‌లపై గొప్ప ప్రభావం చూపుతుంది. మా అలైన్‌మెంట్ వ్యూహంలో⁠ రెండవ దశను ప్రారంభించి, AI అవుట్‌పుట్‌లను మూల్యాంకనం చేయడంలో మానవులకు సహాయం చేయడానికి కూడా మేము దీనిని ఉపయోగిస్తున్నాము.

GPT‑4 టెక్స్ట్ మరియు చిత్రాల ప్రాంప్ట్‌ను అంగీకరించగలదు, ఇది—టెక్స్ట్-ఓన్లీ సెట్టింగ్‌కు సమాంతరంగా—వినియోగదారు ఏదైనా దృష్టి లేదా భాషా పనిని పేర్కొనడానికి అనుమతిస్తుంది. ప్రత్యేకంగా, ఇది విభజించబడిన టెక్స్ట్ మరియు చిత్రాలతో కూడిన ఇన్‌పుట్‌లు ఇచ్చిన టెక్స్ట్ అవుట్‌పుట్‌లను (సహజ భాష, కోడ్, మొదలైనవి) ఉత్పత్తి చేస్తుంది. టెక్స్ట్ మరియు ఛాయాచిత్రాలు, రేఖాచిత్రాలు లేదా స్క్రీన్‌షాట్‌లతో కూడిన—పత్రాలతో సహా వివిధ డొమైన్‌లలో—GPT‑4 టెక్స్ట్-ఓన్లీ ఇన్‌పుట్‌లలో మాదిరిగానే సారూప్య సామర్థ్యాలను ప్రదర్శిస్తుంది. ఇంకా, కొన్ని-షాట్ మరియు చైన్-ఆఫ్-థాట్⁠(కొత్త విండోలో తెరుచుకుంటుంది) ప్రాంప్టింగ్‌తో సహా టెక్స్ట్-ఓన్లీ లాంగ్వేజ్ నమూనాల కోసం అభివృద్ధి చేయబడిన పరీక్ష-సమయ పద్ధతులతో దీనిని పెంచవచ్చు. ఇమేజ్ ఇన్‌పుట్‌లు ఇప్పటికీ పరిశోధన ప్రివ్యూ మరియు బహిరంగంగా అందుబాటులో లేవు.

మేము ప్రామాణిక విద్యా దృష్టి బెంచ్‌మార్క్‌ల ఇరుకైన సూట్‌పై మూల్యాంకనం చేయడం ద్వారా GPT‑4 పనితీరును పరిదృశ్యం చేస్తాము. అయితే, ఈ సంఖ్యలు దాని సామర్థ్యాల పరిధిని పూర్తిగా సూచించవు ఎందుకంటే నమూనా పరిష్కరించగల కొత్త మరియు ఉత్తేజకరమైన పనులను మేము నిరంతరం కనుగొంటున్నాము. మేము త్వరలో మరిన్ని విశ్లేషణలు మరియు మూల్యాంకన సంఖ్యలను విడుదల చేయాలని అలాగే పరీక్ష-సమయ పద్ధతుల ప్రభావం యొక్క సమగ్ర దర్యాప్తును ప్లాన్ చేస్తున్నాము.

ఇంటర్నల్ ఫుట్‌నోట్^A

స్టీరియబిలిటీతో సహా AIల ప్రవర్తనను నిర్వచించడం⁠ గురించి మా పోస్ట్‌లో వివరించిన ప్లాన్ యొక్క ప్రతి అంశంపై మేము పని చేస్తున్నాము. స్థిరమైన వెర్బోసిటీ, టోన్ మరియు శైలితో క్లాసిక్ ChatGPT వ్యక్తిత్వానికి బదులుగా, డెవలపర్లు (మరియు త్వరలో ChatGPT వినియోగదారులు) ఇప్పుడు "సిస్టమ్" సందేశంలో ఆ దిశలను వివరించడం ద్వారా వారి AI యొక్క శైలి మరియు పనిని సూచించవచ్చు. సిస్టమ్ సందేశాలు API వినియోగదారులు తమ వినియోగదారుల అనుభవాన్ని సరిహద్దుల్లో⁠(కొత్త విండోలో తెరుచుకుంటుంది) గణనీయంగా అనుకూలీకరించడానికి అనుమతిస్తాయి. మేము ఇక్కడ మెరుగుదలలు చేస్తూనే ఉంటాము (ముఖ్యంగా సిస్టమ్ సందేశాలు ప్రస్తుత నమూనాను "జైల్‌బ్రేక్" చేయడానికి సులభమైన మార్గం అని తెలుసు, అంటే, సరిహద్దులకు కట్టుబడి ఉండటం పరిపూర్ణంగా లేదు), కానీ మీరు దీన్ని ప్రయత్నించి, మీరు ఏమనుకుంటున్నారో మాకు తెలియజేయమని మేము ప్రోత్సహిస్తున్నాము.

దాని సామర్థ్యాలు ఉన్నప్పటికీ, GPT‑4 మునుపటి GPT నమూనాల మాదిరిగానే పరిమితులను కలిగి ఉంది. ముఖ్యంగా, ఇది ఇప్పటికీ పూర్తిగా నమ్మదగినది కాదు (ఇది వాస్తవాలను "భ్రాంతులు" చేస్తుంది మరియు తార్కిక లోపాలను చేస్తుంది). భాషా నమూనా అవుట్‌పుట్‌లను ఉపయోగిస్తున్నప్పుడు, ముఖ్యంగా అధిక-స్టేక్స్ సందర్భాలలో, ఖచ్చితమైన ప్రోటోకాల్ (మానవ సమీక్ష, అదనపు సందర్భంతో గ్రౌండింగ్ చేయడం లేదా అధిక-స్టేక్స్ ఉపయోగాలను పూర్తిగా నివారించడం వంటివి) నిర్దిష్ట వినియోగ-కేస్ అవసరాలకు సరిపోల్చేటప్పుడు చాలా జాగ్రత్తగా ఉండాలి.

ఇది ఇప్పటికీ నిజమైన సమస్య అయినప్పటికీ, GPT‑4 మునుపటి నమూనాలతో పోలిస్తే భ్రాంతులను గణనీయంగా తగ్గిస్తుంది (ఇవి ప్రతి పునరావృతంతో మెరుగుపడుతున్నాయి). మా అంతర్గత వ్యతిరేక వాస్తవికత మూల్యాంకనాలపై GPT‑4 మా తాజా GPT‑3.5 కంటే 40% ఎక్కువ స్కోర్‌లను కలిగి ఉంది:

TruthfulQA వంటి బాహ్య బెంచ్‌మార్క్‌లపై మేము పురోగతి సాధించాము, ఇది వ్యతిరేకతతో ఎంచుకున్న తప్పు ప్రకటనల సమితి నుండి వాస్తవాన్ని వేరు చేసే నమూనా సామర్థ్యాన్ని పరీక్షిస్తుంది. ఈ ప్రశ్నలు గణాంకపరంగా ఆకర్షణీయంగా ఉండే వాస్తవంగా తప్పు సమాధానాలతో జత చేయబడ్డాయి.

GPT‑4 బేస్ నమూనా ఈ పనిలో GPT‑3.5 కంటే కొంచెం మెరుగ్గా ఉంది; అయితే, RLHF⁠ పోస్ట్-ట్రైనింగ్ తర్వాత (మేము GPT‑3.5⁠ తో ఉపయోగించిన అదే ప్రక్రియను వర్తింపజేయడం) పెద్ద అంతరం ఉంది. క్రింద ఉన్న కొన్ని ఉదాహరణలను పరిశీలిస్తే, GPT‑4 సాధారణ సూక్తులను ఎంచుకోవడాన్ని నిరోధిస్తుంది (మీరు పాత కుక్కకు కొత్త ఉపాయాలు నేర్పించలేరు), అయినప్పటికీ అది ఇప్పటికీ సూక్ష్మమైన వివరాలను కోల్పోవచ్చు (ఎల్విస్ ప్రెస్లీ ఒక నటుడి కుమారుడు కాదు).

ఈ నమూనా దాని అవుట్‌పుట్‌లలో వివిధ పక్షపాతాలను కలిగి ఉండవచ్చు—మేము వీటిపై పురోగతి సాధించాము కానీ ఇంకా చేయాల్సింది చాలా ఉంది. మా ఇటీవలి బ్లాగ్ పోస్ట్⁠ ప్రకారం, మేము నిర్మించిన AI వ్యవస్థలు విస్తృత శ్రేణి వినియోగదారుల విలువలను ప్రతిబింబించే సహేతుకమైన డిఫాల్ట్ ప్రవర్తనలను కలిగి ఉండేలా చేయడం, ఆ వ్యవస్థలను విస్తృత సరిహద్దుల్లో అనుకూలీకరించడానికి అనుమతించడం మరియు ఆ సరిహద్దులు ఎలా ఉండాలో ప్రజల అభిప్రాయాన్ని పొందడం లక్ష్యంగా పెట్టుకున్నాము.

GPT‑4 సాధారణంగా దాని డేటా కట్‌అప్ తర్వాత (సెప్టెంబర్ 2021) జరిగిన సంఘటనల గురించి తెలియదు మరియు దాని అనుభవం నుండి నేర్చుకోదు. ఇది కొన్నిసార్లు చాలా డొమైన్‌లలో సామర్థ్యంతో సరిపోని సాధారణ తార్కిక లోపాలను చేయవచ్చు లేదా వినియోగదారు నుండి స్పష్టమైన తప్పుడు ప్రకటనలను అంగీకరించడంలో అతిగా నమ్మవచ్చు. మరియు కొన్నిసార్లు ఇది మానవులు చేసే విధంగానే కఠినమైన సమస్యలలో విఫలమవుతుంది, ఉదాహరణకు భద్రతా దుర్బలత్వాలను అది ఉత్పత్తి చేసే కోడ్‌లోకి ప్రవేశపెట్టడం.

GPT‑4 దాని అంచనాలలో కూడా నమ్మకంగా తప్పు కావచ్చు, అది పొరపాటు చేసే అవకాశం ఉన్నప్పుడు పనిని రెండుసార్లు తనిఖీ చేయడానికి జాగ్రత్త తీసుకోకపోవచ్చు. ఆసక్తికరంగా, బేస్ ప్రీ-ట్రైన్డ్ నమూనా బాగా క్రమాంకనం చేయబడింది (సమాధానంలో దాని అంచనా వేసిన విశ్వాసం సాధారణంగా సరైనదిగా ఉండే సంభావ్యతకు సరిపోతుంది). అయితే, మా ప్రస్తుత పోస్ట్-ట్రైనింగ్ ప్రక్రియ ద్వారా, క్రమాంకనం తగ్గుతుంది.

శిక్షణ ప్రారంభం నుండి GPT‑4 ను సురక్షితంగా మరియు మరింత సమలేఖనం చేయడానికి మేము దానిపై పునరావృతం చేస్తున్నాము, ప్రీ-ట్రైనింగ్ డేటా ఎంపిక మరియు వడపోత, మూల్యాంకనాలు మరియు నిపుణుల నిశ్చితార్థం, నమూనా భద్రతా మెరుగుదలలు మరియు పర్యవేక్షణ మరియు అమలు వంటి ప్రయత్నాలతో.

GPT‑4 మునుపటి నమూనాల మాదిరిగానే హానికరమైన సలహాను రూపొందించడం, బగ్గీ కోడ్ లేదా సరికాని సమాచారాన్ని ఉత్పత్తి చేయడం వంటి ప్రమాదాలను కలిగిస్తుంది. అయితే, GPT‑4 యొక్క అదనపు సామర్థ్యాలు కొత్త ప్రమాద ఉపరితలాలకు దారితీస్తాయి. ఈ ప్రమాదాల పరిధిని అర్థం చేసుకోవడానికి, నమూనాను ప్రతికూలంగా పరీక్షించడానికి AI అమరిక ప్రమాదాలు, సైబర్ భద్రత, బయోరిస్క్, నమ్మకం మరియు భద్రత మరియు అంతర్జాతీయ భద్రత వంటి డొమైన్‌ల నుండి 50 కంటే ఎక్కువ మంది నిపుణులను మేము నిశ్చితార్థం చేసుకున్నాము. వారి పరిశోధనలు ప్రత్యేకంగా మూల్యాంకనం చేయడానికి నైపుణ్యం అవసరమయ్యే అధిక-ప్రమాదకర ప్రాంతాలలో నమూనా ప్రవర్తనను పరీక్షించడానికి మాకు వీలు కల్పించాయి. ఈ నిపుణుల నుండి అభిప్రాయం మరియు డేటా నమూనా కోసం మా తగ్గింపులు మరియు మెరుగుదలలలోకి అందించబడ్డాయి; ఉదాహరణకు, ప్రమాదకరమైన రసాయనాలను ఎలా సంశ్లేషణ చేయాలనే దానిపై అభ్యర్థనలను తిరస్కరించే GPT‑4 సామర్థ్యాన్ని మెరుగుపరచడానికి మేము అదనపు డేటాను సేకరించాము.

RLHF శిక్షణ సమయంలో హానికరమైన అవుట్‌పుట్‌లను తగ్గించడానికి GPT‑4 అదనపు భద్రతా రివార్డ్ సిగ్నల్‌ను కలిగి ఉంటుంది (మా వినియోగ మార్గదర్శకాల⁠(కొత్త విండోలో తెరుచుకుంటుంది) ద్వారా నిర్వచించబడిన విధంగా) అటువంటి కంటెంట్ కోసం అభ్యర్థనలను తిరస్కరించడానికి నమూనాకు శిక్షణ ఇవ్వడం ద్వారా. భద్రతకు సంబంధించిన ప్రాంప్ట్‌లపై భద్రతా సరిహద్దులు మరియు పూర్తి శైలిని నిర్ణయించే GPT‑4 జీరో-షాట్ వర్గీకరణ ద్వారా రివార్డ్ అందించబడుతుంది. చెల్లుబాటు అయ్యే అభ్యర్థనలను తిరస్కరించకుండా నమూనాను నిరోధించడానికి, మేము వివిధ వనరుల నుండి విభిన్న డేటాసెట్‌ను సేకరిస్తాము (ఉదా., లేబుల్ చేయబడిన ఉత్పత్తి డేటా, హ్యూమన్ రెడ్-టీమింగ్, నమూనా-జనరేటెడ్ ప్రాంప్ట్‌లు) మరియు అనుమతించబడిన మరియు అనుమతించబడని వర్గాల రెండింటిపై భద్రతా రివార్డ్ సిగ్నల్‌ను (సానుకూల లేదా ప్రతికూల విలువతో) వర్తింపజేస్తాము. 

మా తగ్గింపులు GPT‑3.5 తో పోలిస్తే GPT‑4 యొక్క అనేక భద్రతా లక్షణాలను గణనీయంగా మెరుగుపరిచాయి. GPT‑3.5 తో పోలిస్తే అనుమతించబడని కంటెంట్ కోసం అభ్యర్థనలకు ప్రతిస్పందించే నమూనా ధోరణిని మేము 82% తగ్గించాము మరియు GPT‑4 మా విధానాలకు అనుగుణంగా సున్నితమైన అభ్యర్థనలకు (ఉదా., వైద్య సలహా మరియు స్వీయ-హాని) 29% ఎక్కువగా ప్రతిస్పందిస్తుంది.

మొత్తంమీద, మా నమూనా-స్థాయి జోక్యాలు చెడు ప్రవర్తనను వెలికితీసే కష్టాన్ని పెంచుతాయి కానీ అలా చేయడం ఇప్పటికీ సాధ్యమే. అదనంగా, మా వినియోగ మార్గదర్శకాలను⁠ ఉల్లంఘించే కంటెంట్‌ను రూపొందించడానికి "జైల్‌బ్రేక్‌లు" ఇప్పటికీ ఉన్నాయి. AI వ్యవస్థల యొక్క "token కు ప్రమాదం" పెరుగుతున్న కొద్దీ, ఈ జోక్యాలలో చాలా ఎక్కువ స్థాయి విశ్వసనీయతను సాధించడం చాలా కీలకంగా మారుతుంది; ప్రస్తుతానికి దుర్వినియోగం కోసం పర్యవేక్షణ వంటి విస్తరణ-సమయ భద్రతా పద్ధతులతో ఈ పరిమితులను పూర్తి చేయడం ముఖ్యం.

GPT‑4 మరియు సక్సెసర్ నమూనాలు సమాజాన్ని ప్రయోజనకరమైన మరియు హానికరమైన మార్గాల్లో గణనీయంగా ప్రభావితం చేసే సామర్థ్యాన్ని కలిగి ఉన్నాయి. సంభావ్య ప్రభావాలను మేము ఎలా అర్థం చేసుకుంటాము మరియు అంచనా వేస్తాము మరియు భవిష్యత్తు వ్యవస్థలలో ఉద్భవించే ప్రమాదకరమైన సామర్థ్యాల కోసం మూల్యాంకనాలను నిర్మించడానికి మేము బాహ్య పరిశోధకులతో సహకరిస్తున్నాము. GPT‑4 మరియు ఇతర AI వ్యవస్థల యొక్క సంభావ్య సామాజిక మరియు ఆర్థిక ప్రభావాలపై మా ఆలోచనలను త్వరలో పంచుకుంటాము.

మునుపటి GPT నమూనాల మాదిరిగానే, GPT‑4 బేస్ నమూనాకు డాక్యుమెంట్‌లోని తదుపరి పదాన్ని అంచనా వేయడానికి శిక్షణ ఇవ్వబడింది మరియు బహిరంగంగా అందుబాటులో ఉన్న డేటా (ఇంటర్నెట్ డేటా వంటివి) అలాగే మేము లైసెన్స్ పొందిన డేటాను ఉపయోగించి శిక్షణ ఇవ్వబడింది. డేటా అనేది గణిత సమస్యలకు సరైన మరియు తప్పు పరిష్కారాలు, బలహీనమైన మరియు బలమైన తార్కికం, స్వీయ-విరుద్ధమైన మరియు స్థిరమైన ప్రకటనలు మరియు అనేక రకాల భావజాలాలు మరియు ఆలోచనలను సూచించే డేటా యొక్క వెబ్-స్కేల్ కార్పస్.

కాబట్టి ప్రశ్నతో ప్రాంప్ట్ చేయబడినప్పుడు, బేస్ నమూనా వినియోగదారు ఉద్దేశానికి దూరంగా ఉండే అనేక రకాల మార్గాల్లో స్పందించగలదు. గార్డ్‌రైల్స్‌లోని వినియోగదారు ఉద్దేశ్యంతో దానిని సమలేఖనం చేయడానికి, మేము మానవ అభిప్రాయంతో రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RLHF⁠) ఉపయోగించి నమూనా ప్రవర్తనను చక్కగా ట్యూన్ చేస్తాము.

నమూనా యొక్క సామర్థ్యాలు ప్రధానంగా శిక్షణకు ముందు ప్రక్రియ నుండి వచ్చినట్లు కనిపిస్తాయని గమనించండి—RLHF పరీక్ష పనితీరును మెరుగుపరచదు (చురుకైన ప్రయత్నం లేకుండా, అది వాస్తవానికి దానిని దిగజారుస్తుంది). కానీ నమూనా యొక్క స్టీరింగ్ శిక్షణ తర్వాత ప్రక్రియ నుండి వస్తుంది—బేస్ నమూనా ప్రశ్నలకు సమాధానం ఇవ్వాలని తెలుసుకోవడం కోసం ప్రాంప్ట్ ఇంజనీరింగ్ అవసరం.

GPT‑4 ప్రాజెక్ట్ యొక్క పెద్ద దృష్టి అంచనా వేయగలిగేలా స్కేల్ చేసే లోతైన అభ్యాస స్టాక్‌ను నిర్మిస్తోంది. ప్రధాన కారణం ఏమిటంటే, GPT‑4 వంటి చాలా పెద్ద శిక్షణ పరుగుల కోసం, విస్తృతమైన నమూనా-నిర్దిష్ట ట్యూనింగ్ చేయడం సాధ్యం కాదు. మేము బహుళ స్కేల్‌లలో చాలా ఊహించదగిన ప్రవర్తనను కలిగి ఉన్న మౌలిక సదుపాయాలు మరియు ఆప్టిమైజేషన్‌ను అభివృద్ధి చేసాము. ఈ స్కేలబిలిటీని ధృవీకరించడానికి, అదే పద్ధతిని ఉపయోగించి శిక్షణ పొందిన నమూనాల నుండి ఎక్స్‌ట్రాపోలేట్ చేయడం ద్వారా మా అంతర్గత కోడ్‌బేస్‌లో (శిక్షణ సెట్‌లో భాగం కాదు) GPT‑4 యొక్క తుది నష్టాన్ని మేము ముందుగానే ఖచ్చితంగా అంచనా వేసాము కానీ 10,000x తక్కువ కంప్యూట్‌ను ఉపయోగిస్తాము:

ఇప్పుడు మనం శిక్షణ సమయంలో (నష్టం) ఆప్టిమైజ్ చేసే మెట్రిక్‌ను ఖచ్చితంగా అంచనా వేయగలము, మరింత అర్థమయ్యే మెట్రిక్‌లను అంచనా వేయడానికి మేము పద్దతిని అభివృద్ధి చేయడం ప్రారంభించాము. ఉదాహరణకు, 1,000x తక్కువ కంప్యూట్ ఉన్న మోడళ్ల నుండి ఎక్స్‌ట్రాపోలేట్ చేస్తూ, HumanEval⁠(కొత్త విండోలో తెరుచుకుంటుంది) డేటాసెట్ యొక్క ఉపసమితిలో ఉత్తీర్ణత రేటును మేము విజయవంతంగా అంచనా వేసాము:

కొన్ని సామర్థ్యాలను అంచనా వేయడం ఇప్పటికీ కష్టం. ఉదాహరణకు, నమూనా కంప్యూట్ పెరిగేకొద్దీ అధ్వాన్నంగా మారే మెట్రిక్‌ను కనుగొనడానికి ఇన్వర్స్ స్కేలింగ్ బహుమతి ఒక పోటీ, మరియు వెనుకబడిన నిర్లక్ష్యం⁠(కొత్త విండోలో తెరుచుకుంటుంది) విజేతలలో ఒకటి. ఇటీవలి మరొక ఫలితం⁠(కొత్త విండోలో తెరుచుకుంటుంది) మాదిరిగానే, GPT‑4 ఈ ధోరణిని తిప్పికొడుతుంది:

భవిష్యత్ యంత్ర అభ్యాస సామర్థ్యాలను ఖచ్చితంగా అంచనా వేయడం భద్రతలో ఒక ముఖ్యమైన భాగం అని మేము విశ్వసిస్తున్నాము, దాని సంభావ్య ప్రభావానికి సంబంధించి తగినంత శ్రద్ధ పొందదు (అనేక సంస్థలలోని ప్రయత్నాల ద్వారా మేము ప్రోత్సహించబడినప్పటికీ). భవిష్యత్ వ్యవస్థల నుండి ఏమి ఆశించాలో సమాజానికి మెరుగైన మార్గదర్శకత్వాన్ని అందించే పద్ధతులను అభివృద్ధి చేయడానికి మేము మా ప్రయత్నాలను పెంచుతున్నాము మరియు ఇది ఈ రంగంలో ఒక సాధారణ లక్ష్యంగా మారుతుందని మేము ఆశిస్తున్నాము.

మేము ఓపెన్-సోర్స్ చేస్తున్నాము, GPT‑4 వంటి నమూనాలను మూల్యాంకనం చేయడానికి బెంచ్‌మార్క్‌లను సృష్టించడం మరియు అమలు చేయడం కోసం మా సాఫ్ట్‌వేర్ ఫ్రేమ్‌వర్క్ అయిన OpenAI Evals⁠(కొత్త విండోలో తెరుచుకుంటుంది)ను, నమూనా వారీగా వాటి పనితీరు నమూనాను తనిఖీ చేస్తూనే. మా నమూనాల అభివృద్ధికి మార్గనిర్దేశం చేయడానికి (లోపాలను గుర్తించడం మరియు తిరోగమనాలను నివారించడం రెండూ) మేము Evalsను ఉపయోగిస్తాము మరియు మా వినియోగదారులు నమూనా వెర్షన్‌లలో పనితీరును ట్రాక్ చేయడానికి (ఇవి ఇప్పుడు క్రమం తప్పకుండా బయటకు వస్తాయి) మరియు అభివృద్ధి చెందుతున్న ఉత్పత్తి ఇంటిగ్రేషన్‌లకు దీనిని వర్తింపజేయవచ్చు. ఉదాహరణకు, స్ట్రైప్ వారి GPT‑ఆధారిత డాక్యుమెంటేషన్ సాధనం యొక్క ఖచ్చితత్వాన్ని కొలవడానికి వారి మానవ మూల్యాంకనాలను పూర్తి చేయడానికి Evalsను ఉపయోగించింది.

కోడ్ అంతా ఓపెన్-సోర్స్ అయినందున, Evals కస్టమ్ మూల్యాంకన తర్కాన్ని⁠(కొత్త విండోలో తెరుచుకుంటుంది) అమలు చేయడానికి కొత్త తరగతులను వ్రాయడానికి మద్దతు ఇస్తుంది. అయితే, మా స్వంత అనుభవంలో, చాలా బెంచ్‌మార్క్‌లు కొన్ని “టెంప్లేట్‌లలో” ఒకదాన్ని అనుసరిస్తాయి, కాబట్టి మేము అంతర్గతంగా అత్యంత ఉపయోగకరంగా ఉన్న టెంప్లేట్‌లను కూడా చేర్చాము⁠(కొత్త విండోలో తెరుచుకుంటుంది) (“నమూనా-గ్రేడెడ్ ఎవాల్స్” కోసం టెంప్లేట్‌తో సహా—GPT‑4 ఆశ్చర్యకరంగా దాని స్వంత పనిని తనిఖీ చేయగలదని మేము కనుగొన్నాము). సాధారణంగా కొత్త ఎవాల్‌ను నిర్మించడానికి⁠(కొత్త విండోలో తెరుచుకుంటుంది) అత్యంత ప్రభావవంతమైన మార్గం డేటాను అందించడంతో పాటు ఈ టెంప్లేట్‌లలో ఒకదాన్ని ఇన్‌స్టాంటియేట్ చేయడం. ఈ టెంప్లేట్‌లతో మరియు సాధారణంగా Evalsతో ఇతరులు ఏమి నిర్మించగలరో చూడటానికి మేము ఉత్సాహంగా ఉన్నాము.

Evals బెంచ్‌మార్క్‌లను పంచుకోవడానికి మరియు క్రౌడ్‌సోర్స్ చేయడానికి ఒక వాహనంగా మారుతుందని మేము ఆశిస్తున్నాము, ఇది గరిష్టంగా విస్తృతమైన వైఫల్య మోడ్‌లు మరియు కష్టమైన పనులను సూచిస్తుంది. అనుసరించడానికి ఒక ఉదాహరణగా, GPT‑4 విఫలమైన పది ప్రాంప్ట్‌లను కలిగి ఉన్న లాజిక్ పజిల్స్⁠(కొత్త విండోలో తెరుచుకుంటుంది) evalను మేము సృష్టించాము. Evals ఇప్పటికే ఉన్న బెంచ్‌మార్క్‌లను అమలు చేయడానికి కూడా అనుకూలంగా ఉంటుంది; మేము విద్యా బెంచ్‌మార్క్‌లను అమలు చేసే అనేక నోట్‌బుక్‌లను⁠(కొత్త విండోలో తెరుచుకుంటుంది) మరియు CoQA⁠(కొత్త విండోలో తెరుచుకుంటుంది) ను ఏకీకృతం (చిన్న ఉపసమితులు) చేయడంలో కొన్ని వైవిధ్యాలను ఉదాహరణగా చేర్చాము.

మా నమూనాలను పరీక్షించడానికి మరియు అత్యంత ఆసక్తికరమైన ఉదాహరణలను సమర్పించడానికి Evalsను ఉపయోగించమని మేము ప్రతి ఒక్కరినీ ఆహ్వానిస్తున్నాము. మా నమూనాలను ఉపయోగించడం మరియు వాటిపై నిర్మించడం కోసం Evals ప్రక్రియలో అంతర్భాగంగా ఉంటుందని మేము విశ్వసిస్తున్నాము మరియు ప్రత్యక్ష సహకారాలు, ప్రశ్నలు మరియు అభిప్రాయాన్ని⁠(కొత్త విండోలో తెరుచుకుంటుంది) మేము స్వాగతిస్తున్నాము.

ChatGPT Plus సబ్‌స్క్రైబర్‌లు chatgpt.com⁠(కొత్త విండోలో తెరుచుకుంటుంది) లో వినియోగ పరిమితితో GPT‑4 ప్రాప్యతను పొందుతారు. ఆచరణలో డిమాండ్ మరియు సిస్టమ్ పనితీరును బట్టి మేము ఖచ్చితమైన వినియోగ పరిమితిని సర్దుబాటు చేస్తాము, కానీ మేము తీవ్రంగా సామర్థ్యం పరిమితం చేయబడతామని ఆశిస్తున్నాము (అయితే రాబోయే నెలల్లో మేము స్కేల్ అప్ మరియు ఆప్టిమైజ్ చేస్తాము).

మేము చూసే ట్రాఫిక్ నమూనాలను బట్టి, అధిక-వాల్యూమ్ GPT‑4 వినియోగం కోసం మేము కొత్త సబ్‌స్క్రిప్షన్ స్థాయిని ప్రవేశపెట్టవచ్చు; సబ్‌స్క్రిప్షన్ లేనివారు కూడా దీనిని ప్రయత్నించగలిగేలా కొంత సమయంలో ఉచిత GPT‑4 ప్రశ్నలను అందించాలని కూడా మేము ఆశిస్తున్నాము.

GPT‑4 APIకి యాక్సెస్ పొందడానికి (ఇది gpt-3.5-turbo వలె అదే ChatCompletions API⁠(కొత్త విండోలో తెరుచుకుంటుంది) ని ఉపయోగిస్తుంది), దయచేసి మా వెయిట్ లిస్ట్ కోసం సైన్ అప్ చేయండి⁠. మేము ఈరోజే కొంతమంది డెవలపర్‌లను ఆహ్వానించడం ప్రారంభిస్తాము మరియు డిమాండ్‌తో సామర్థ్యాన్ని సమతుల్యం చేయడానికి క్రమంగా స్కేల్ చేస్తాము. మీరు AI లేదా AI అలైన్‌మెంట్ సమస్యల సామాజిక ప్రభావాన్ని అధ్యయనం చేసే పరిశోధకులైతే, మీరు మా పరిశోధకుల ప్రాప్యత ప్రోగ్రామ్⁠ ద్వారా సబ్సిడీ ప్రాప్యత కోసం కూడా దరఖాస్తు చేసుకోవచ్చు.

మీకు ప్రాప్యత లభించిన తర్వాత, మీరు gpt-4 నమూనాకు టెక్స్ట్-ఓన్లీ రిక్వెస్ట్‌లను చేయవచ్చు (చిత్రం ఇన్‌పుట్‌లు ఇప్పటికీ పరిమిత ఆల్ఫాలో ఉన్నాయి), మేము కాలక్రమేణా కొత్త వెర్షన్‌లను తయారు చేస్తున్నప్పుడు మేము దీన్ని స్వయంచాలకంగా మా సిఫార్సు చేసిన స్థిరమైన నమూనాకు అప్‌డేట్ చేస్తాము (మీరు gpt-4-0314 కి కాల్ చేయడం ద్వారా ప్రస్తుత వెర్షన్‌ను పిన్ చేయవచ్చు, దీనికి మేము జూన్ 14 వరకు మద్దతు ఇస్తాము). ధర 1k ప్రాంప్ట్ token లకు $0.03 మరియు 1k పూర్తి token లకు $0.06. డిఫాల్ట్ రేటు పరిమితులు నిమిషానికి 40k token లు మరియు నిమిషానికి 200 అభ్యర్థనలు.

gpt-4 8,192 token ల సందర్భం పొడవును కలిగి ఉంది. మేము మా 32,768–కాంటెక్స్ట్ (సుమారు 50 పేజీల టెక్స్ట్) వెర్షన్, gpt-4-32k కి కూడా పరిమిత ప్రాప్యతను అందిస్తున్నాము, ఇది కూడా కాలక్రమేణా స్వయంచాలకంగా నవీకరించబడుతుంది (ప్రస్తుత వెర్షన్ gpt-4-32k-0314, జూన్ 14 వరకు కూడా మద్దతు ఉంది). 1K ప్రాంప్ట్ token లకు ధర $0.06 మరియు 1K పూర్తి token లకు $0.12. మేము ఇప్పటికీ దీర్ఘకాల సందర్భానికి నమూనా నాణ్యతను మెరుగుపరుస్తున్నాము మరియు మీ వినియోగ సందర్భంలో ఇది ఎలా పనిచేస్తుందనే దానిపై అభిప్రాయాన్ని కోరుకుంటున్నాము. మేము 8K మరియు 32K ఇంజిన్‌ల కోసం అభ్యర్థనలను సామర్థ్యం ఆధారంగా వేర్వేరు రేట్లకు ప్రాసెస్ చేస్తున్నాము, కాబట్టి మీరు వేర్వేరు సమయాల్లో వాటికి యాక్సెస్ పొందవచ్చు.

అనేక దరఖాస్తులను శక్తివంతం చేయడం ద్వారా ప్రజల జీవితాలను మెరుగుపరచడంలో GPT‑4 విలువైన సాధనంగా మారుతుందని మేము ఎదురుచూస్తున్నాము. ఇంకా చాలా పని చేయాల్సి ఉంది మరియు నమూనా పైన కమ్యూనిటీ నిర్మాణం, అన్వేషించడం మరియు సహకరించడం యొక్క సమిష్టి ప్రయత్నాల ద్వారా ఈ నమూనాను మెరుగుపరచడానికి మేము ఎదురుచూస్తున్నాము.

మరిన్ని వివరాలకు: పేపర్ చదవండి⁠(కొత్త విండోలో తెరుచుకుంటుంది) / సిస్టమ్ కార్డ్‌ను వీక్షించండి⁠(కొత్త విండోలో తెరుచుకుంటుంది) / ChatGPT Plus లో ప్రయత్నించండి⁠(కొత్త విండోలో తెరుచుకుంటుంది) / Playground లో ప్రయత్నించండి⁠(కొత్త విండోలో తెరుచుకుంటుంది) / డెమో లైవ్‌స్ట్రీమ్‌ను తిరిగి చూడండి⁠(కొత్త విండోలో తెరుచుకుంటుంది) / OpenAI Evals కు సహకరించండి⁠(కొత్త విండోలో తెరుచుకుంటుంది)

ఇతర భాషలలోకి అనువదించబడిన MMLU ప్రశ్నల ఉదాహరణ. గమనిక, మేము స్థిరమైన ఎంపిక token లను ఉపయోగిస్తాము (A–D):