Aqbeż għall-kontenut prinċipali
OpenAI

6 ta’ Awwissu 2024

Kumpanija

Nintroduċu Outputs strutturati fl-API

Qed nintroduċu Outputs strutturati fl-API—l-outputs tal-mudell issa jaderixxu b’mod affidabbli ma’ JSON Schemas ipprovduti mill-iżviluppaturi.

L-immaġni turi mudell astratt ta’ kwadri żgħar fi sfumaturi differenti ta’ blu, aħdar u isfar ċar. Il-kwadri huma mqiegħda f’formazzjoni bħal gradilja, u joħolqu effett ta’ mużajk b’paletta ta’ kuluri ratba u pastell.

Is-sena l-oħra f’DevDay, introduċejna l-modalità JSON—pedament utli għall-iżviluppaturi li qed ifittxu li jibnu applikazzjonijiet affidabbli bil-mudelli tagħna. Filwaqt li l-modalità JSON ittejjeb l-affidabbiltà tal-mudell biex jiġġenera outputs JSON validi, ma tiggarantixxix li t-tweġiba tal-mudell tikkonforma ma’ skema partikolari. Illum qed nintroduċu Outputs strutturati fl-API, funzjoni ġdida mfassla biex tiżgura li outputs iġġenerati mill-mudell jaqblu eżattament ma’ JSON Schemas ipprovduti mill-iżviluppaturi.

Il-ġenerazzjoni ta’ dejta strutturata minn inputs mhux strutturati hija waħda mill-każijiet ta’ użu ewlenin tal-IA fl-applikazzjonijiet tal-lum. L-iżviluppaturi jużaw l-API ta’ OpenAI biex jibnu assistants b’saħħithom li għandhom il-kapaċità li jġibu dejta u jwieġbu mistoqsijiet permezz ta’ sejħa għall-funzjoni⁠(jinfetaħ f’tieqa ġdida), jiġbdu dejta strutturata għad-dħul tad-dejta, u jibnu workflows aġentiċi b’diversi passi li jippermettu lil LLMs jieħdu azzjonijiet. L-iżviluppaturi ilhom jaħdmu madwar il-limitazzjonijiet tal-LLMs f’dan il-qasam permezz ta’ għodod open source, prompting, u billi jerġgħu jippruvaw it-talbiet repetutament biex jiżguraw li l-outputs tal-mudell jaqblu mal-formati meħtieġa biex jinteroperaw mas-sistemi tagħhom. Outputs strutturati jsolvu din il-problema billi jillimitaw il-mudelli ta’ OpenAI biex jaqblu mal-iskemi pprovduti mill-iżviluppaturi u billi jħarrġu l-mudelli tagħna biex jifhmu aħjar skemi kumplessi.

Fl-evals tagħna ta’ segwitu ta’ skemi JSON kumplessi, il-mudell il-ġdid tagħna gpt-4o-2024-08-06 b’Outputs strutturati jikseb 100% perfett. B’paragun, gpt-4-0613 jikseb inqas minn 40%.

Bl-Outputs strutturati, gpt-4o-2024-08-06 jikseb affidabbiltà ta’ 100% fl-evals tagħna, billi jaqbel perfettament mal-iskemi tal-output.

Kif tuża Outputs strutturati

Qed nintroduċu Outputs strutturati f’żewġ forom fl-API: 

1. Sejħa għall-funzjoni: Outputs strutturati permezz ta’ tools huma disponibbli billi tissettja strict: true fid-definizzjoni tal-funzjoni tiegħek. Din il-funzjoni taħdem mal-mudelli kollha li jappoġġjaw tools, inklużi l-mudelli kollha gpt-4-0613 u gpt-3.5-turbo-0613 u ta’ wara. Meta Outputs strutturati jkunu attivati, l-outputs tal-mudell jaqblu mad-definizzjoni tal-għodda pprovduta.

JSON

1
POST /v1/chat/completions
2
{
3
  "model": "gpt-4o-2024-08-06",
4
  "messages": [
5
    {
6
      "role": "system",
7
      "content": "You are a helpful assistant. The current date is August 6, 2024. You help users query for the data they are looking for by calling the query function."
8
    },
9
    {
10
      "role": "user",
11
      "content": "look up all my orders in may of last year that were fulfilled but not delivered on time"
12
    }
13
  ],
14
  "tools": [
15
    {
16
      "type": "function",
17
      "function": {
18
        "name": "query",
19
        "description": "Execute a query.",
20
        "strict": true,
21
        "parameters": {
22
          "type": "object",
23
          "properties": {
24
            "table_name": {
25
              "type": "string",
26
              "enum": ["orders"]
27
            },
28
            "columns": {
29
              "type": "array",
30
              "items": {
31
                "type": "string",
32
                "enum": [
33
                  "id",
34
                  "status",
35
                  "expected_delivery_date",
36
                  "delivered_at",
37
                  "shipped_at",
38
                  "ordered_at",
39
                  "canceled_at"
40
                ]
41
              }
42
            },
43
            "conditions": {
44
              "type": "array",
45
              "items": {
46
                "type": "object",
47
                "properties": {
48
                  "column": {
49
                    "type": "string"
50
                  },
51
                  "operator": {
52
                    "type": "string",
53
                    "enum": ["=", ">", "<", ">=", "<=", "!="]
54
                  },
55
                  "value": {
56
                    "anyOf": [
57
                      {
58
                        "type": "string"
59
                      },
60
                      {
61
                        "type": "number"
62
                      },
63
                      {
64
                        "type": "object",
65
                        "properties": {
66
                          "column_name": {
67
                            "type": "string"
68
                          }
69
                        },
70
                        "required": ["column_name"],
71
                        "additionalProperties": false
72
                      }
73
                    ]
74
                  }
75
                },
76
                "required": ["column", "operator", "value"],
77
                "additionalProperties": false
78
              }
79
            },
80
            "order_by": {
81
              "type": "string",
82
              "enum": ["asc", "desc"]
83
            }
84
          },
85
          "required": ["table_name", "columns", "conditions", "order_by"],
86
          "additionalProperties": false
87
        }
88
      }
89
    }
90
  ]
91
}

2. Għażla ġdida għall-parametru response_format: l-iżviluppaturi issa jistgħu jipprovdu JSON Schema permezz ta’ json_schema, għażla ġdida għall-parametru response_format. Dan huwa utli meta l-mudell ma jkunx qed isejjaħ għodda, iżda minflok ikun qed iwieġeb lill-utent b’mod strutturat. Din il-funzjoni taħdem mal-aktar mudelli ġodda GPT‑4o tagħna: gpt-4o-2024-08-06, rilaxxat illum, u gpt-4o-mini-2024-07-18. Meta response_format jiġi pprovdut b’strict: true, l-outputs tal-mudell jaqblu mal-iskemi pprovduta.

Talba

1
POST /v1/chat/completions
2
{
3
  "model": "gpt-4o-2024-08-06",
4
  "messages": [
5
    {
6
      "role": "system",
7
      "content": "You are a helpful math tutor."
8
    },
9
    {
10
      "role": "user",
11
      "content": "solve 8x + 31 = 2"
12
    }
13
  ],
14
  "response_format": {
15
    "type": "json_schema",
16
    "json_schema": {
17
      "name": "math_response",
18
      "strict": true,
19
      "schema": {
20
        "type": "object",
21
        "properties": {
22
          "steps": {
23
            "type": "array",
24
            "items": {
25
              "type": "object",
26
              "properties": {
27
                "explanation": {
28
                  "type": "string"
29
                },
30
                "output": {
31
                  "type": "string"
32
                }
33
              },
34
              "required": ["explanation", "output"],
35
              "additionalProperties": false
36
            }
37
          },
38
          "final_answer": {
39
            "type": "string"
40
          }
41
        },
42
        "required": ["steps", "final_answer"],
43
        "additionalProperties": false
44
      }
45
    }
46
  }
47
}

Outputs strutturati sikuri

Is-sikurezza hija prijorità ewlenija għal OpenAI—il-funzjonalità l-ġdida ta’ Outputs strutturati se taderixxi mal-politiki eżistenti tagħna tas-sikurezza u xorta tippermetti lill-mudell jirrifjuta talba mhux sikura. Biex l-iżvilupp isir aktar sempliċi, hemm valur string ġdid refusal fit-tweġibiet tal-API li jippermetti lill-iżviluppaturi jidentifikaw b’mod programmatiku jekk il-mudell iġġenerax rifjut minflok output li jaqbel mal-iskema. Meta t-tweġiba ma tinkludix rifjut u t-tweġiba tal-mudell ma tkunx ġiet interrotta qabel iż-żmien (kif indikat minn finish_reason), allura t-tweġiba tal-mudell tipproduċi b’mod affidabbli JSON validu li jaqbel mal-iskema pprovduta.

JSON

1
{
2
  "id": "chatcmpl-9nYAG9LPNonX8DAyrkwYfemr3C8HC",
3
  "object": "chat.completion",
4
  "created": 1721596428,
5
  "model": "gpt-4o-2024-08-06",
6
  "choices": [
7
    {
8
      "index": 0,
9
      "message": {
10
        "role": "assistant",
11
        "refusal": "I'm sorry, I cannot assist with that request."
12
      },
13
      "logprobs": null,
14
      "finish_reason": "stop"
15
    }
16
  ],
17
  "usage": {
18
    "prompt_tokens": 81,
19
    "completion_tokens": 11,
20
    "total_tokens": 92
21
  },
22
  "system_fingerprint": "fp_3407719c7f"
23
}

Appoġġ nattiv tal-SDK

L-SDKs tagħna ta’ Python u Node ġew aġġornati b’appoġġ nattiv għal Outputs strutturati. Li tipprovdi skema għal tools jew bħala format ta’ tweġiba huwa faċli daqs li tipprovdi oġġett Pydantic jew Zod, u l-SDKs tagħna jieħdu ħsieb jikkonvertu t-tip ta’ dejta f’JSON schema appoġġjat, jiddeserializzaw it-tweġiba JSON fl-istruttura ta’ dejta ttajpjata awtomatikament, u janalizzaw ir-rifjuti jekk jinqalgħu.

L-eżempji li ġejjin juru appoġġ nattiv għal Outputs strutturati b’sejħa għall-funzjoni.

Python

1
from enum import Enum
2
from typing import Union
3

4
from pydantic import BaseModel
5

6
import openai
7
from openai import OpenAI
8

9

10
class Table(str, Enum):
11
    orders = "orders"
12
    customers = "customers"
13
    products = "products"
14

15

16
class Column(str, Enum):
17
    id = "id"
18
    status = "status"
19
    expected_delivery_date = "expected_delivery_date"
20
    delivered_at = "delivered_at"
21
    shipped_at = "shipped_at"
22
    ordered_at = "ordered_at"
23
    canceled_at = "canceled_at"
24

25

26
class Operator(str, Enum):
27
    eq = "="
28
    gt = ">"
29
    lt = "<"
30
    le = "<="
31
    ge = ">="
32
    ne = "!="
33

34

35
class OrderBy(str, Enum):
36
    asc = "asc"
37
    desc = "desc"
38

39

40
class DynamicValue(BaseModel):
41
    column_name: str
42

43

44
class Condition(BaseModel):
45
    column: str
46
    operator: Operator
47
    value: Union[str, int, DynamicValue]
48

49

50
class Query(BaseModel):
51
    table_name: Table
52
    columns: list[Column]
53
    conditions: list[Condition]
54
    order_by: OrderBy
55

56

57
client = OpenAI()
58

59
completion = client.beta.chat.completions.parse(
60
    model="gpt-4o-2024-08-06",
61
    messages=[
62
        {
63
            "role": "system",
64
            "content": "You are a helpful assistant. The current date is August 6, 2024. You help users query for the data they are looking for by calling the query function.",
65
        },
66
        {
67
            "role": "user",
68
            "content": "look up all my orders in may of last year that were fulfilled but not delivered on time",
69
        },
70
    ],
71
    tools=[
72
        openai.pydantic_function_tool(Query),
73
    ],
74
)
75

76
print(completion.choices[0].message.tool_calls[0].function.parsed_arguments)

Appoġġ nattiv għal Outputs strutturati huwa disponibbli wkoll għal response_format.

Python

1
from pydantic import BaseModel
2

3
from openai import OpenAI
4

5

6
class Step(BaseModel):
7
    explanation: str
8
    output: str
9

10

11
class MathResponse(BaseModel):
12
    steps: list[Step]
13
    final_answer: str
14

15

16
client = OpenAI()
17

18
completion = client.beta.chat.completions.parse(
19
    model="gpt-4o-2024-08-06",
20
    messages=[
21
        {"role": "system", "content": "You are a helpful math tutor."},
22
        {"role": "user", "content": "solve 8x + 31 = 2"},
23
    ],
24
    response_format=MathResponse,
25
)
26

27
message = completion.choices[0].message
28
if message.parsed:
29
    print(message.parsed.steps)
30
    print(message.parsed.final_answer)
31
else:
32
    print(message.refusal)

Każijiet ta’ użu addizzjonali

L-iżviluppaturi jużaw ta’ spiss il-mudelli ta’ OpenAI biex jiġġeneraw dejta strutturata għal diversi każijiet ta’ użu. Xi eżempji oħra jinkludu:

Ġenerazzjoni dinamika ta’ interfaces tal-utent ibbażati fuq l-intenzjoni tal-utent

Pereżempju, l-iżviluppaturi jistgħu jużaw Outputs strutturati biex joħolqu applikazzjonijiet li jiġġeneraw kodiċi jew UI. L-eżempji kollha li ġejjin jużaw l-istess response_format, u jistgħu jintużaw biex jiġġeneraw UIs differenti skont l-input tal-utent.

Sistema
Int assistent tal-interfaċċa tal-utent. Xogħlok hu li tgħin lill-utenti jivviżwalizzaw l-ideat tagħhom għas-sit web u l-app.
Format tar-rispons
Assistent
1
{
2
  "type": "div",
3
  "label": "",
4
  "children": [
5
    {
6
      "type": "header",
7
      "label": "",
8
      "children": [
9
        {
10
          "type": "div",
11
          "label": "Green Thumb Gardening",
12
          "children": [],
13
          "attributes": [{ "name": "className", "value": "site-title" }]
14
        },
15
        {
16
          "type": "div",
17
          "label": "Bringing Life to Your Garden",
18
          "children": [],
19
          "attributes": [{ "name": "className", "value": "site-tagline" }]
20
        }
21
      ],
22
      "attributes": [{ "name": "className", "value": "header" }]
23
    },
24
    {
25
      "type": "section",
26
      "label": "",
27
      "children": [
28
        {
29
          "type": "div",
30
          "label": "",
31
          "children": [
32
            {
33
              "type": "div",
34
              "label": "About Us",
35
              "children": [
36
                {
37
                  "type": "div",
38
                  "label": "At Green Thumb Gardening, we specialize in transforming your outdoor spaces into beautiful, thriving gardens. Our team has decades of experience in horticulture and landscape design.",
39
                  "children": [],
40
                  "attributes": [
41
                    { "name": "className", "value": "about-description" }
42
                  ]
43
                }
44
              ],
45
              "attributes": [{ "name": "className", "value": "about-section" }]
46
            }
47
          ],
48
          "attributes": [{ "name": "className", "value": "content" }]
49
        }
50
      ],
51
      "attributes": [{ "name": "className", "value": "about-container" }]
52
    },
53
    {
54
      "type": "section",
55
      "label": "",
56
      "children": [
57
        {
58
          "type": "div",
59
          "label": "",
60
          "children": [
61
            {
62
              "type": "div",
63
              "label": "Our Services",
64
              "children": [
65
                {
66
                  "type": "div",
67
                  "label": "Garden Design",
68
                  "children": [],
69
                  "attributes": [
70
                    { "name": "className", "value": "service-item" }
71
                  ]
72
                },
73
                {
74
                  "type": "div",
75
                  "label": "Plant Care & Maintenance",
76
                  "children": [],
77
                  "attributes": [
78
                    { "name": "className", "value": "service-item" }
79
                  ]
80
                },
81
                {
82
                  "type": "div",
83
                  "label": "Seasonal Cleanup",
84
                  "children": [],
85
                  "attributes": [
86
                    { "name": "className", "value": "service-item" }
87
                  ]
88
                },
89
                {
90
                  "type": "div",
91
                  "label": "Custom Landscaping",
92
                  "children": [],
93
                  "attributes": [
94
                    { "name": "className", "value": "service-item" }
95
                  ]
96
                }
97
              ],
98
              "attributes": [{ "name": "className", "value": "services-list" }]
99
            }
100
          ],
101
          "attributes": [{ "name": "className", "value": "content" }]
102
        }
103
      ],
104
      "attributes": [{ "name": "className", "value": "services-container" }]
105
    }
106
  ],
107
  "attributes": [{ "name": "className", "value": "landing-page" }]
108
}
109

Welcome to Green Thumb Gardening
Bringing Life to Your Garden
At Green Thumb Gardening, we specialize in transforming your outdoor spaces into beautiful, thriving gardens. Our team has decades of experience in horticulture and landscape design.
Our services
Garden Design
Plant Care & Maintenance
Seasonal Cleanup
Custom Landscaping

Separazzjoni ta’ tweġiba finali mir-raġunament ta’ appoġġ jew kummentarju addizzjonali

Jista’ jkun utli li tagħti lill-mudell field separat għall-chain of thought biex ittejjeb il-kwalità finali tat-tweġiba.

JSON

1
{
2
  "model": "gpt-4o-2024-08-06",
3
  "messages": [
4
    {
5
      "role": "system",
6
      "content": "You are a helpful assistant"
7
    },
8
    {
9
      "role": "user",
10
      "content": "9.11 and 9.9 -- which is bigger?"
11
    }
12
  ],
13
  "response_format": {
14
    "type": "json_schema",
15
    "json_schema": {
16
      "name": "reasoning_schema",
17
      "strict": true,
18
      "schema": {
19
        "type": "object",
20
        "properties": {
21
          "reasoning_steps": {
22
            "type": "array",
23
            "items": {
24
              "type": "string"
25
            },
26
            "description": "The reasoning steps leading to the final conclusion."
27
          },
28
          "answer": {
29
            "type": "string",
30
            "description": "The final answer, taking into account the reasoning steps."
31
          }
32
        },
33
        "required": ["reasoning_steps", "answer"],
34
        "additionalProperties": false
35
      }
36
    }
37
  }
38
}

Ġbid ta’ dejta strutturata minn dejta mhux strutturata

Pereżempju, tagħti istruzzjoni lill-mudell biex jiġbed affarijiet bħal kompiti, dati ta’ skadenza u assenjazzjonijiet min-noti tal-laqgħa.

JSON

1
POST /v1/chat/completions
2
{
3
  "model": "gpt-4o-2024-08-06",
4
  "messages": [
5
    {
6
      "role": "system",
7
      "content": "Extract action items, due dates, and owners from meeting notes."
8
    },
9
    {
10
      "role": "user",
11
      "content": "...meeting notes go here..."
12
    }
13
  ],
14
  "response_format": {
15
    "type": "json_schema",
16
    "json_schema": {
17
      "name": "action_items",
18
      "strict": true,
19
      "schema": {
20
        "type": "object",
21
        "properties": {
22
          "action_items": {
23
            "type": "array",
24
            "items": {
25
              "type": "object",
26
              "properties": {
27
                "description": {
28
                  "type": "string",
29
                  "description": "Description of the action item."
30
                },
31
                "due_date": {
32
                  "type": ["string", "null"],
33
                  "description": "Due date for the action item, can be null if not specified."
34
                },
35
                "owner": {
36
                  "type": ["string", "null"],
37
                  "description": "Owner responsible for the action item, can be null if not specified."
38
                }
39
              },
40
              "required": ["description", "due_date", "owner"],
41
              "additionalProperties": false
42
            },
43
            "description": "List of action items from the meeting."
44
          }
45
        },
46
        "required": ["action_items"],
47
        "additionalProperties": false
48
      }
49
    }
50
  }
51
}

Kif jaħdem minn ġewwa

Adottajna approċċ f’żewġ partijiet biex intejbu l-affidabbiltà tal-outputs tal-mudell li jaqblu ma’ JSON Schema. L-ewwel, ħarriġna l-aktar mudell ġdid tagħna gpt-4o-2024-08-06 biex jifhem skemi kumplessi u kif l-aħjar jipproduċi outputs li jaqblu magħhom. Madankollu, l-imġiba tal-mudell hija intrinsikament mhux deterministika—minkejja t-titjib fil-prestazzjoni ta’ dan il-mudell (93% fil-benchmark tagħna), xorta ma laħaqx l-affidabbiltà li l-iżviluppaturi għandhom bżonn biex jibnu applikazzjonijiet robusti. Għalhekk ħadna wkoll approċċ deterministiku, ibbażat fuq l-inġinerija, biex nillimitaw l-outputs tal-mudell u niksbu affidabbiltà ta’ 100%.

Dekodifikazzjoni ristretta

L-approċċ tagħna huwa bbażat fuq teknika magħrufa bħala constrained sampling jew constrained decoding. B’mod awtomatiku, meta l-mudelli jiġu kkampjunati biex jipproduċu outputs, ikunu kompletament mingħajr restrizzjonijiet u jistgħu jagħżlu kwalunkwe token mill-vokabularju bħala l-output li jmiss. Din il-flessibbiltà hija li tippermetti lill-mudelli jagħmlu żbalji; pereżempju, ġeneralment ikunu liberi jikkampjunaw token ta’ parentesi mgħawġa fi kwalunkwe ħin, anke meta dan ma jipproduċix JSON validu. Sabiex inġiegħlu outputs validi, nillimitaw il-mudelli tagħna għal tokens biss li jkunu validi skont l-iskema pprovduta, minflok it-tokens kollha disponibbli.

Jista’ jkun diffiċli li din ir-restrizzjoni tiġi implimentata fil-prattika, peress li t-tokens validi jvarjaw tul l-output tal-mudell. Ngħidu li għandna l-iskema li ġejja:

JSON

1
{
2
  "type": "object",
3
  "properties": {
4
    "value": { "type": "number" }
5
  },
6
  "required": ["value"],
7
  "additionalProperties": false
8
}

It-tokens li huma validi fil-bidu tal-output jinkludu affarijiet bħal {, {“, {
, eċċ. Madankollu, ladarba l-mudell ikun diġà kkampjona {“val, allura { ma jibqax token validu. Għalhekk għandna bżonn nimplimentaw dekodifikazzjoni ristretta dinamika, u niddeterminaw liema tokens huma validi wara li jiġi ġġenerat kull token, aktar milli minn qabel fil-bidu tat-tweġiba.

Biex nagħmlu dan, nikkonvertu l-JSON Schema pprovduta fi grammatika mingħajr kuntest (CFG). Grammatika hija sett ta’ regoli li jiddefinixxi lingwa, u grammatika mingħajr kuntest hija grammatika li tikkonforma ma’ regoli speċifiċi. Tista’ taħseb f’JSON u JSON Schema bħala lingwi partikolari b’regoli biex jiddefinixxu x’inhu validu fil-lingwa. Eżatt kif bl-Ingliż ma tkunx valida sentenza mingħajr verb, f’JSON ma tkunx valida virgola żejda fl-aħħar.

Għalhekk, għal kull JSON Schema, nikkalkolaw grammatika li tirrappreżenta dik l-iskema, u nipproċessaw minn qabel il-komponenti tagħha biex inkunu nistgħu naċċessawhom faċilment waqt il-kampjunar tal-mudell. Huwa għalhekk li l-ewwel talba bi skema ġdida ġġarrab penali ta’ latenza—irridu nipproċessaw minn qabel l-iskema biex niġġeneraw dan l-artifact li nistgħu nużaw b’mod effiċjenti waqt il-kampjunar.

Waqt il-kampjunar, wara kull token, il-magna tagħna tal-inferenza tiddetermina liema tokens huma validi biex jiġu prodotti wara, abbażi tat-tokens iġġenerati qabel u r-regoli fil-grammatika li jindikaw liema tokens huma validi wara. Imbagħad nużaw din il-lista ta’ tokens biex nagħmlu mask fuq il-pass li jmiss tal-kampjunar, li effettivament inaqqas il-probabbiltà ta’ tokens invalidi għal 0. Minħabba li pproċessajna minn qabel l-iskema, nistgħu nużaw struttura tad-dejta fil-cache biex nagħmlu dan b’mod effiċjenti, b’overhead minimu ta’ latenza.

Approċċi alternattivi

Approċċi alternattivi għal din il-problema spiss jużaw finite state machines (FSMs) jew regexes (ġeneralment implimentati b’FSMs) għal dekodifikazzjoni ristretta. Dawn jaħdmu b’mod simili fis-sens li jaġġornaw b’mod dinamiku liema tokens huma validi wara li jiġi prodott kull token, iżda għandhom xi differenzi ewlenin mill-approċċ CFG. B’mod notevoli, CFGs jistgħu jesprimu klassi usa’ ta’ lingwi minn FSMs. Fil-prattika, dan ma jimpurtax għal skemi sempliċi ħafna bħall-iskema value murija hawn fuq. Madankollu, insibu li d-differenza hija sinifikanti għal skemi aktar kumplessi li jinvolvu strutturi ta’ dejta nidifikati jew rikursivi. Bħala eżempju, FSMs ġeneralment ma jistgħux jesprimu tipi rikursivi, li jfisser li approċċi bbażati fuq FSM jistgħu jsibuha diffiċli jqabblu parentesi f’JSON nidifikat ħafna. Dan li ġej huwa kampjun ta’ skema rikursiva li hija appoġġjata fuq l-API ta’ OpenAI b’Outputs strutturati iżda ma tkunx possibbli li tiġi espressa b’FSM.

JSON

1
{
2
  "name": "ui",
3
  "description": "Dynamically generated UI",
4
  "strict": true,
5
  "schema": {
6
    "type": "object",
7
    "properties": {
8
      "type": {
9
        "type": "string",
10
        "description": "The type of the UI component",
11
        "enum": ["div", "button", "header", "section", "field", "form"]
12
      },
13
      "label": {
14
        "type": "string",
15
        "description": "The label of the UI component, used for buttons or form fields"
16
      },
17
      "children": {
18
        "type": "array",
19
        "description": "Nested UI components",
20
        "items": {
21
          "$ref": "#"
22
        }
23
      },
24
      "attributes": {
25
        "type": "array",
26
        "description": "Arbitrary attributes for the UI component, suitable for any element",
27
        "items": {
28
          "type": "object",
29
          "properties": {
30
            "name": {
31
              "type": "string",
32
              "description": "The name of the attribute, for example onClick or className"
33
            },
34
            "value": {
35
              "type": "string",
36
              "description": "The value of the attribute"
37
            }
38
          }
39
        }
40
      }
41
    },
42
    "required": ["type", "label", "children", "attributes"],
43
    "additionalProperties": false
44
  }
45
}

Innota li kull element tal-UI jista’ jkollu tfal arbitrarji li jirreferu għall-iskema ewlenija b’mod rikursiv. Din il-flessibbiltà hija xi ħaġa li tippermetti l-approċċ CFG.

Limitazzjonijiet u restrizzjonijiet

Hemm ftit limitazzjonijiet li għandek iżżomm f’moħħok meta tuża Outputs strutturati:

  • Outputs strutturati jippermettu biss sottogrupp ta’ JSON Schema, deskritt fid-dettall fid-dokumentazzjoni tagħna⁠(jinfetaħ f’tieqa ġdida). Dan jgħinna niżguraw l-aħjar prestazzjoni possibbli.
  • L-ewwel tweġiba tal-API bi skema ġdida ġġarrab aktar latenza, iżda t-tweġibiet ta’ wara jkunu veloċi mingħajr penali ta’ latenza. Dan għaliex matul l-ewwel talba, nipproċessaw l-iskema kif indikat hawn fuq u mbagħad inpoġġu dawn l-artifacts fil-cache għal użu mill-ġdid malajr aktar tard. Skemi tipiċi jieħdu inqas minn 10 sekondi biex jiġu pproċessati fl-ewwel talba, iżda skemi aktar kumplessi jistgħu jieħdu sa minuta.
  • Il-mudell jista’ jonqos milli jsegwi l-iskema jekk jagħżel li jirrifjuta talba mhux sikura. Jekk jagħżel li jirrifjuta, il-messaġġ ritornat ikollu l-valur boolean refusal issettjat għal true biex jindika dan. 
  • Il-mudell jista’ jonqos milli jsegwi l-iskema jekk il-ġenerazzjoni tilħaq max_tokens jew kundizzjoni oħra ta’ waqfien qabel ma tispiċċa. 
  • Outputs strutturati ma jipprevjenux kull tip ta’ żball tal-mudell. Pereżempju, il-mudell xorta jista’ jagħmel żbalji fil-valuri tal-oġġett JSON (eż., jagħmel pass ħażin f’ekwazzjoni matematika). Jekk l-iżviluppaturi jsibu żbalji, nirrakkomandaw li jipprovdu eżempji fl-istruzzjonijiet tas-sistema jew jaqsmu l-kompiti f’subkompiti aktar sempliċi.
  • Outputs strutturati mhumiex kompatibbli ma’ sejħiet paralleli tal-funzjonijiet. Meta tiġi ġġenerata sejħa parallela tal-funzjoni, din tista’ ma taqbilx mal-iskemi pprovduti. Issettja parallel_tool_calls: false biex tiddiżattiva sejħa parallela għall-funzjoni.
  • JSON Schemas ipprovduti ma’ Outputs strutturati mhumiex eliġibbli għal l-ebda żamma tad-dejta⁠(jinfetaħ f’tieqa ġdida) (ZDR).

Disponibbiltà

Outputs strutturati huma disponibbli b’mod ġenerali llum fl-API. 

Outputs strutturati b’sejħa għall-funzjoni huma disponibbli fuq il-mudelli kollha li jappoġġjaw sejħa għall-funzjoni fl-API. Dan jinkludi l-aktar mudelli ġodda tagħna (gpt-4o, gpt-4o-mini), il-mudelli kollha minn gpt-4-0613 u gpt-3.5-turbo-0613 ’il quddiem, u kull mudell irfinat li jappoġġja sejħa għall-funzjoni. Din il-funzjonalità hija disponibbli fuq l-API tat-tlestija taċ-chats, l-Assistants API, u l-Batch API. Outputs strutturati b’sejħa għall-funzjoni huma kompatibbli wkoll ma’ inputs tal-viżjoni.

Outputs strutturati b’formati ta’ tweġiba huma disponibbli fuq gpt-4o-mini u gpt-4o-2024-08-06 u fuq kull fine tune bbażat fuq dawn il-mudelli. Din il-funzjonalità hija disponibbli fuq l-API tat-tlestija taċ-chats, l-Assistants API, u l-Batch API. Outputs strutturati b’formati ta’ tweġiba huma kompatibbli wkoll ma’ inputs tal-viżjoni. 

Billi jaqilbu għall-gpt-4o-2024-08-06 il-ġdid, l-iżviluppaturi jiffrankaw 50% fuq l-inputs ($2.50/1M input tokens) u 33% fuq l-outputs ($10.00/1M output tokens) meta mqabbel ma’ gpt-4o-2024-05-13.

Biex tibda tuża Outputs strutturati, agħti ħarsa lejn id-dokumentazzjoni⁠(jinfetaħ f’tieqa ġdida) tagħna. 

Rikonoxximenti

Outputs strutturati jieħdu ispirazzjoni minn xogħol eċċellenti mill-komunità open source: jiġifieri, il-libreriji outlines⁠(jinfetaħ f’tieqa ġdida), jsonformer⁠(jinfetaħ f’tieqa ġdida), instructor⁠(jinfetaħ f’tieqa ġdida), guidance⁠(jinfetaħ f’tieqa ġdida), u lark⁠(jinfetaħ f’tieqa ġdida).

Awtur

Michelle Pokrass

Kontributuri ewlenin

Chris Colby, Melody Guan, Michelle Pokrass, Ted Sanders, Brian Zhang

Rikonoxximenti

John Allard, Filipe de Avila Belbute Peres, Ilan Bigio, Owen Campbell-Moore, Chen Ding, Atty Eleti, Elie Georges, Katia Gil Guzman, Jeff Harris, Johannes Heidecke, Beth Hoover, Romain Huet, Tomer Kaftan, Jillian Khoo, Karolis Kosas, Ryan Liu, Kevin Lu, Lindsay McCallum, Rohan Nuttall, Joe Palermo, Leher Pathak, Ishaan Singal, Felipe Petroski Such, Freddie Sulit, David Weedon