Негізгі мазмұнға өту
OpenAI

2024 ж. 6 тамыз

Компания

API-дегі Құрылымдалған нәтижелер таныстырылымы

Біз API-де Құрылымдалған нәтижелерді енгізіп жатырмыз — енді модель нәтижелері әзірлеуші ұсынған JSON Schema-ларға сенімді түрде сай келеді.

Суретте көк, жасыл және ашық сарының әртүрлі реңктеріндегі кішкентай шаршылардан тұратын абстрактілі өрнек көрсетілген. Шаршылар тор тәрізді орналасып, жұмсақ, пастель түстер палитрасымен мозаика әсерін жасайды.

Өткен жылы DevDay іс-шарасында біз JSON режимін таныстырдық — бұл модельдерімізбен сенімді қолданбалар құрғысы келетін әзірлеушілер үшін пайдалы іргетас. JSON режимі жарамды JSON нәтижелерін жасауда модель сенімділігін жақсартқанымен, ол модель жауабы нақты бір схемаға сай келеді деп кепілдік бермейді. Бүгін біз API-де Құрылымдалған нәтижелерді ұсынып отырмыз, бұл — модель жасайтын нәтижелер әзірлеушілер ұсынған JSON Schema-ларға дәл сәйкес болуын қамтамасыз етуге арналған жаңа мүмкіндік.

Құрылымдалмаған енгізулерден құрылымдалған деректер жасау — бүгінгі қолданбалардағы ЖИ-дің негізгі қолдану жағдайларының бірі. Әзірлеушілер OpenAI API-ін деректерді алып, функция шақыру⁠(жаңа терезеде ашылады) арқылы сұрақтарға жауап бере алатын қуатты ассистенттер құруға, деректер енгізуге арналған құрылымдалған деректерді шығаруға және LLM-дерге әрекет жасауға мүмкіндік беретін көпқадамды агенттік жұмыс ағындарын құруға пайдаланады. Әзірлеушілер бұл саладағы LLM (үлкен тілдік модель) шектеулерін open source құралдары, көмексөздер және модель нәтижелері өз жүйелерімен өзара әрекеттесу үшін қажет пішімдерге сәйкес келуі үшін сұрауларды қайта-қайта жіберу арқылы ұзақ уақыт бойы айналып өтіп келді. Құрылымдалған нәтижелер бұл мәселені OpenAI модельдерін әзірлеуші ұсынған схемаларға сәйкестендіру арқылы және модельдерімізді күрделі схемаларды жақсырақ түсінуге үйрету арқылы шешеді.

Күрделі JSON schema-ға бағынуды бағалау сынақтарымызда Құрылымдалған нәтижелермен бірге жаңа gpt-4o-2024-08-06 моделіміз мінсіз 100% көрсеткішке жетеді. Салыстыру үшін, gpt-4-0613 40%-дан төмен нәтиже көрсетеді.

Құрылымдалған нәтижелермен gpt-4o-2024-08-06 біздің бағалауларымызда 100% сенімділікке жетіп, нәтиже схемаларына мінсіз сәйкес келеді.

Құрылымдалған нәтижелерді пайдалану жолы

Біз API-де Құрылымдалған нәтижелерді екі түрде ұсынып отырмыз: 

1. Функция шақыру: tools арқылы Құрылымдалған нәтижелер функция анықтамасының ішінде strict: true орнату арқылы қолжетімді. Бұл мүмкіндік құралдарды қолдайтын барлық модельдермен, соның ішінде gpt-4-0613 және gpt-3.5-turbo-0613 және одан кейінгі барлық модельдермен жұмыс істейді. Құрылымдалған нәтижелер қосылғанда, модель нәтижелері берілген құрал анықтамасына сәйкес болады.

JSON

1
POST /v1/chat/completions
2
{
3
  "model": "gpt-4o-2024-08-06",
4
  "messages": [
5
    {
6
      "role": "system",
7
      "content": "You are a helpful assistant. The current date is August 6, 2024. You help users query for the data they are looking for by calling the query function."
8
    },
9
    {
10
      "role": "user",
11
      "content": "look up all my orders in may of last year that were fulfilled but not delivered on time"
12
    }
13
  ],
14
  "tools": [
15
    {
16
      "type": "function",
17
      "function": {
18
        "name": "query",
19
        "description": "Execute a query.",
20
        "strict": true,
21
        "parameters": {
22
          "type": "object",
23
          "properties": {
24
            "table_name": {
25
              "type": "string",
26
              "enum": ["orders"]
27
            },
28
            "columns": {
29
              "type": "array",
30
              "items": {
31
                "type": "string",
32
                "enum": [
33
                  "id",
34
                  "status",
35
                  "expected_delivery_date",
36
                  "delivered_at",
37
                  "shipped_at",
38
                  "ordered_at",
39
                  "canceled_at"
40
                ]
41
              }
42
            },
43
            "conditions": {
44
              "type": "array",
45
              "items": {
46
                "type": "object",
47
                "properties": {
48
                  "column": {
49
                    "type": "string"
50
                  },
51
                  "operator": {
52
                    "type": "string",
53
                    "enum": ["=", ">", "<", ">=", "<=", "!="]
54
                  },
55
                  "value": {
56
                    "anyOf": [
57
                      {
58
                        "type": "string"
59
                      },
60
                      {
61
                        "type": "number"
62
                      },
63
                      {
64
                        "type": "object",
65
                        "properties": {
66
                          "column_name": {
67
                            "type": "string"
68
                          }
69
                        },
70
                        "required": ["column_name"],
71
                        "additionalProperties": false
72
                      }
73
                    ]
74
                  }
75
                },
76
                "required": ["column", "operator", "value"],
77
                "additionalProperties": false
78
              }
79
            },
80
            "order_by": {
81
              "type": "string",
82
              "enum": ["asc", "desc"]
83
            }
84
          },
85
          "required": ["table_name", "columns", "conditions", "order_by"],
86
          "additionalProperties": false
87
        }
88
      }
89
    }
90
  ]
91
}

2. response_format параметрі үшін жаңа опция: әзірлеушілер енді response_format параметрі үшін жаңа опция болып табылатын json_schema арқылы JSON Schema ұсына алады. Бұл модель құралды шақырмай, керісінше пайдаланушыға құрылымдалған түрде жауап берген кезде пайдалы. Бұл мүмкіндік ең жаңа GPT‑4o модельдерімізбен жұмыс істейді: бүгін шығарылған gpt-4o-2024-08-06 және gpt-4o-mini-2024-07-18. response_format strict: true параметрімен берілгенде, модель нәтижелері ұсынылған схемаға сәйкес болады.

Сұрау

1
POST /v1/chat/completions
2
{
3
  "model": "gpt-4o-2024-08-06",
4
  "messages": [
5
    {
6
      "role": "system",
7
      "content": "You are a helpful math tutor."
8
    },
9
    {
10
      "role": "user",
11
      "content": "solve 8x + 31 = 2"
12
    }
13
  ],
14
  "response_format": {
15
    "type": "json_schema",
16
    "json_schema": {
17
      "name": "math_response",
18
      "strict": true,
19
      "schema": {
20
        "type": "object",
21
        "properties": {
22
          "steps": {
23
            "type": "array",
24
            "items": {
25
              "type": "object",
26
              "properties": {
27
                "explanation": {
28
                  "type": "string"
29
                },
30
                "output": {
31
                  "type": "string"
32
                }
33
              },
34
              "required": ["explanation", "output"],
35
              "additionalProperties": false
36
            }
37
          },
38
          "final_answer": {
39
            "type": "string"
40
          }
41
        },
42
        "required": ["steps", "final_answer"],
43
        "additionalProperties": false
44
      }
45
    }
46
  }
47
}

Қауіпсіз Құрылымдалған нәтижелер

Қауіпсіздік OpenAI үшін ең жоғары басымдықтардың бірі — жаңа Құрылымдалған нәтижелер мүмкіндігі қолданыстағы қауіпсіздік саясаттарымызға бағынады және модельге қауіпті сұраудан бас тартуға әлі де мүмкіндік береді. Әзірлеуді жеңілдету үшін API жауаптарында жаңа refusal жолдық мәні бар, ол әзірлеушілерге модель схемамен сәйкес келетін нәтиженің орнына бас тарту жасағанын бағдарламалық түрде анықтауға мүмкіндік береді. Жауапта бас тарту болмаса және модель жауабы мерзімінен бұрын үзілмесе (finish_reason арқылы көрсетілгендей), онда модель жауабы берілген схемаға сәйкес келетін жарамды JSON-ды сенімді түрде шығарады.

JSON

1
{
2
  "id": "chatcmpl-9nYAG9LPNonX8DAyrkwYfemr3C8HC",
3
  "object": "chat.completion",
4
  "created": 1721596428,
5
  "model": "gpt-4o-2024-08-06",
6
  "choices": [
7
    {
8
      "index": 0,
9
      "message": {
10
        "role": "assistant",
11
        "refusal": "I'm sorry, I cannot assist with that request."
12
      },
13
      "logprobs": null,
14
      "finish_reason": "stop"
15
    }
16
  ],
17
  "usage": {
18
    "prompt_tokens": 81,
19
    "completion_tokens": 11,
20
    "total_tokens": 92
21
  },
22
  "system_fingerprint": "fp_3407719c7f"
23
}

SDK-да жергілікті қолдау

Біздің Python және Node SDK-ларымыз Құрылымдалған нәтижелерге арналған жергілікті қолдаумен жаңартылды. Құралдарға немесе жауап пішімі ретінде схема беру Pydantic не Zod нысанын бергендей оңай, ал SDK-ларымыз деректер түрін қолдау көрсетілетін JSON schema-ға түрлендіруді, JSON жауабын типтелген деректер құрылымына автоматты түрде десериализациялауды және бас тартулар туындаса, оларды талдауды өздері атқарады.

Төмендегі мысалдар функция шақырумен бірге Құрылымдалған нәтижелерге жергілікті қолдауды көрсетеді.

Python

1
from enum import Enum
2
from typing import Union
3

4
from pydantic import BaseModel
5

6
import openai
7
from openai import OpenAI
8

9

10
class Table(str, Enum):
11
    orders = "orders"
12
    customers = "customers"
13
    products = "products"
14

15

16
class Column(str, Enum):
17
    id = "id"
18
    status = "status"
19
    expected_delivery_date = "expected_delivery_date"
20
    delivered_at = "delivered_at"
21
    shipped_at = "shipped_at"
22
    ordered_at = "ordered_at"
23
    canceled_at = "canceled_at"
24

25

26
class Operator(str, Enum):
27
    eq = "="
28
    gt = ">"
29
    lt = "<"
30
    le = "<="
31
    ge = ">="
32
    ne = "!="
33

34

35
class OrderBy(str, Enum):
36
    asc = "asc"
37
    desc = "desc"
38

39

40
class DynamicValue(BaseModel):
41
    column_name: str
42

43

44
class Condition(BaseModel):
45
    column: str
46
    operator: Operator
47
    value: Union[str, int, DynamicValue]
48

49

50
class Query(BaseModel):
51
    table_name: Table
52
    columns: list[Column]
53
    conditions: list[Condition]
54
    order_by: OrderBy
55

56

57
client = OpenAI()
58

59
completion = client.beta.chat.completions.parse(
60
    model="gpt-4o-2024-08-06",
61
    messages=[
62
        {
63
            "role": "system",
64
            "content": "You are a helpful assistant. The current date is August 6, 2024. You help users query for the data they are looking for by calling the query function.",
65
        },
66
        {
67
            "role": "user",
68
            "content": "look up all my orders in may of last year that were fulfilled but not delivered on time",
69
        },
70
    ],
71
    tools=[
72
        openai.pydantic_function_tool(Query),
73
    ],
74
)
75

76
print(completion.choices[0].message.tool_calls[0].function.parsed_arguments)

response_format үшін де жергілікті Құрылымдалған нәтижелер қолдауы бар.

Python

1
from pydantic import BaseModel
2

3
from openai import OpenAI
4

5

6
class Step(BaseModel):
7
    explanation: str
8
    output: str
9

10

11
class MathResponse(BaseModel):
12
    steps: list[Step]
13
    final_answer: str
14

15

16
client = OpenAI()
17

18
completion = client.beta.chat.completions.parse(
19
    model="gpt-4o-2024-08-06",
20
    messages=[
21
        {"role": "system", "content": "You are a helpful math tutor."},
22
        {"role": "user", "content": "solve 8x + 31 = 2"},
23
    ],
24
    response_format=MathResponse,
25
)
26

27
message = completion.choices[0].message
28
if message.parsed:
29
    print(message.parsed.steps)
30
    print(message.parsed.final_answer)
31
else:
32
    print(message.refusal)

Қосымша қолдану жағдайлары

Әзірлеушілер түрлі қолдану жағдайлары үшін құрылымдалған деректерді жасауға OpenAI модельдерін жиі пайдаланады. Қосымша мысалдар мыналарды қамтиды:

Пайдаланушы ниетіне қарай интерфейстерді динамикалық жасау

Мысалы, әзірлеушілер Құрылымдалған нәтижелерді код немесе UI жасайтын қолданбалар құру үшін пайдалана алады. Төмендегі мысалдардың барлығы бірдей response_format пайдаланады және пайдаланушы енгізуіне қарай әртүрлі UI жасау үшін қолданылуы мүмкін.

Жүйе
Сіз пайдаланушы интерфейсінің көмекшісісіз. Сіздің жұмысыңыз — пайдаланушыларға веб-сайт пен қолданба идеяларын визуализациялауға көмектесу.
Жауап пішімі
Көмекші
1
{
2
  "type": "div",
3
  "label": "",
4
  "children": [
5
    {
6
      "type": "header",
7
      "label": "",
8
      "children": [
9
        {
10
          "type": "div",
11
          "label": "Green Thumb Gardening",
12
          "children": [],
13
          "attributes": [{ "name": "className", "value": "site-title" }]
14
        },
15
        {
16
          "type": "div",
17
          "label": "Bringing Life to Your Garden",
18
          "children": [],
19
          "attributes": [{ "name": "className", "value": "site-tagline" }]
20
        }
21
      ],
22
      "attributes": [{ "name": "className", "value": "header" }]
23
    },
24
    {
25
      "type": "section",
26
      "label": "",
27
      "children": [
28
        {
29
          "type": "div",
30
          "label": "",
31
          "children": [
32
            {
33
              "type": "div",
34
              "label": "About Us",
35
              "children": [
36
                {
37
                  "type": "div",
38
                  "label": "At Green Thumb Gardening, we specialize in transforming your outdoor spaces into beautiful, thriving gardens. Our team has decades of experience in horticulture and landscape design.",
39
                  "children": [],
40
                  "attributes": [
41
                    { "name": "className", "value": "about-description" }
42
                  ]
43
                }
44
              ],
45
              "attributes": [{ "name": "className", "value": "about-section" }]
46
            }
47
          ],
48
          "attributes": [{ "name": "className", "value": "content" }]
49
        }
50
      ],
51
      "attributes": [{ "name": "className", "value": "about-container" }]
52
    },
53
    {
54
      "type": "section",
55
      "label": "",
56
      "children": [
57
        {
58
          "type": "div",
59
          "label": "",
60
          "children": [
61
            {
62
              "type": "div",
63
              "label": "Our Services",
64
              "children": [
65
                {
66
                  "type": "div",
67
                  "label": "Garden Design",
68
                  "children": [],
69
                  "attributes": [
70
                    { "name": "className", "value": "service-item" }
71
                  ]
72
                },
73
                {
74
                  "type": "div",
75
                  "label": "Plant Care & Maintenance",
76
                  "children": [],
77
                  "attributes": [
78
                    { "name": "className", "value": "service-item" }
79
                  ]
80
                },
81
                {
82
                  "type": "div",
83
                  "label": "Seasonal Cleanup",
84
                  "children": [],
85
                  "attributes": [
86
                    { "name": "className", "value": "service-item" }
87
                  ]
88
                },
89
                {
90
                  "type": "div",
91
                  "label": "Custom Landscaping",
92
                  "children": [],
93
                  "attributes": [
94
                    { "name": "className", "value": "service-item" }
95
                  ]
96
                }
97
              ],
98
              "attributes": [{ "name": "className", "value": "services-list" }]
99
            }
100
          ],
101
          "attributes": [{ "name": "className", "value": "content" }]
102
        }
103
      ],
104
      "attributes": [{ "name": "className", "value": "services-container" }]
105
    }
106
  ],
107
  "attributes": [{ "name": "className", "value": "landing-page" }]
108
}
109

Welcome to Green Thumb Gardening
Bringing Life to Your Garden
At Green Thumb Gardening, we specialize in transforming your outdoor spaces into beautiful, thriving gardens. Our team has decades of experience in horticulture and landscape design.
Our services
Garden Design
Plant Care & Maintenance
Seasonal Cleanup
Custom Landscaping

Соңғы жауапты негіздеуші ой қорытудан немесе қосымша түсіндірмеден бөлу

Жауаптың соңғы сапасын жақсарту үшін модельге ой қорытуға арналған бөлек өріс беру пайдалы болуы мүмкін.

JSON

1
{
2
  "model": "gpt-4o-2024-08-06",
3
  "messages": [
4
    {
5
      "role": "system",
6
      "content": "You are a helpful assistant"
7
    },
8
    {
9
      "role": "user",
10
      "content": "9.11 and 9.9 -- which is bigger?"
11
    }
12
  ],
13
  "response_format": {
14
    "type": "json_schema",
15
    "json_schema": {
16
      "name": "reasoning_schema",
17
      "strict": true,
18
      "schema": {
19
        "type": "object",
20
        "properties": {
21
          "reasoning_steps": {
22
            "type": "array",
23
            "items": {
24
              "type": "string"
25
            },
26
            "description": "The reasoning steps leading to the final conclusion."
27
          },
28
          "answer": {
29
            "type": "string",
30
            "description": "The final answer, taking into account the reasoning steps."
31
          }
32
        },
33
        "required": ["reasoning_steps", "answer"],
34
        "additionalProperties": false
35
      }
36
    }
37
  }
38
}

Құрылымдалмаған деректерден құрылымдалған деректерді шығару

Мысалы, модельге жиналыс жазбаларынан to-do тармақтарын, мерзімдерді және тағайындауларды шығаруды нұсқау.

JSON

1
POST /v1/chat/completions
2
{
3
  "model": "gpt-4o-2024-08-06",
4
  "messages": [
5
    {
6
      "role": "system",
7
      "content": "Extract action items, due dates, and owners from meeting notes."
8
    },
9
    {
10
      "role": "user",
11
      "content": "...meeting notes go here..."
12
    }
13
  ],
14
  "response_format": {
15
    "type": "json_schema",
16
    "json_schema": {
17
      "name": "action_items",
18
      "strict": true,
19
      "schema": {
20
        "type": "object",
21
        "properties": {
22
          "action_items": {
23
            "type": "array",
24
            "items": {
25
              "type": "object",
26
              "properties": {
27
                "description": {
28
                  "type": "string",
29
                  "description": "Description of the action item."
30
                },
31
                "due_date": {
32
                  "type": ["string", "null"],
33
                  "description": "Due date for the action item, can be null if not specified."
34
                },
35
                "owner": {
36
                  "type": ["string", "null"],
37
                  "description": "Owner responsible for the action item, can be null if not specified."
38
                }
39
              },
40
              "required": ["description", "due_date", "owner"],
41
              "additionalProperties": false
42
            },
43
            "description": "List of action items from the meeting."
44
          }
45
        },
46
        "required": ["action_items"],
47
        "additionalProperties": false
48
      }
49
    }
50
  }
51
}

Ішкі жұмыс істеу жолы

JSON Schema-ға сәйкес келетін модель нәтижелерінің сенімділігін арттыру үшін біз екі бөліктен тұратын тәсіл қолдандық. Біріншіден, ең жаңа gpt-4o-2024-08-06 моделімізді күрделі схемаларды түсінуге және оларға сәйкес келетін нәтижелерді қалай жақсы жасауға болатынын меңгеруге үйреттік. Алайда модель мінез-құлқы табиғатынан детерминирленбеген — осы модельдің өнімділігі жақсарғанына қарамастан (біздің бенчмаркта 93%), ол әзірлеушілерге сенімді қолданбалар құру үшін қажет сенімділік деңгейіне жеткен жоқ. Сондықтан біз модель нәтижелерін шектеп, 100% сенімділікке жету үшін инженерлік, детерминирленген тәсілді де қолдандық.

Шектеулі декодтау

Біздің тәсіл constrained sampling немесе constrained decoding деп аталатын техникаға негізделген. Әдепкі бойынша, модельдер нәтижелерді шығару үшін үлгіленгенде, оларға мүлде шектеу қойылмайды және олар келесі нәтиже ретінде сөздіктегі кез келген токенді таңдай алады. Дәл осы икемділік модельдерге қате жіберуге мүмкіндік береді; мысалы, тіпті ол жарамды JSON жасамайтын жағдайда да, олар әдетте кез келген уақытта ирек жақша токенін таңдауға ерікті. Жарамды нәтижелерді мәжбүрлі түрде шығарту үшін біз модельдерімізді қолжетімді барлық токендермен емес, берілген схемаға сәйкес жарамды болатын токендермен ғана шектейміз.

Іс жүзінде мұндай шектеуді енгізу қиын болуы мүмкін, себебі жарамды токендер модель нәтижесінің әр жерінде әртүрлі болады. Мысалы, бізде мынадай схема бар делік:

JSON

1
{
2
  "type": "object",
3
  "properties": {
4
    "value": { "type": "number" }
5
  },
6
  "required": ["value"],
7
  "additionalProperties": false
8
}

Нәтиженің басында жарамды болатын токендерге {, {“, {
 және т.б. жатады. Алайда модель {“val үлгісін таңдап қойғаннан кейін, { енді жарамды токен болмайды. Сондықтан бізге динамикалық шектеулі декодтауды іске асырып, қай токендердің жарамды екенін жауаптың басында алдын ала емес, әр токен жасалғаннан кейін анықтау керек.

Мұны істеу үшін біз берілген JSON Schema-ны контекстсіз грамматикаға (CFG) түрлендіреміз. Грамматика — тілді анықтайтын ережелер жиыны, ал контекстсіз грамматика — нақты ережелерге сай келетін грамматика. JSON мен JSON Schema-ны тіл ішіндегі ненің жарамды екенін анықтайтын ережелері бар нақты тілдер ретінде елестетуге болады. Ағылшын тілінде етістігі жоқ сөйлем жарамсыз болатыны сияқты, JSON-да да соңында артық үтір болуы жарамсыз.

Сондықтан әр JSON Schema үшін сол схеманы бейнелейтін грамматиканы есептеп, модель үлгілеуі кезінде оған оңай қол жеткізу үшін оның құрамдастарын алдын ала өңдейміз. Жаңа схемамен бірінші сұрауда кідіріс айыбының пайда болуының себебі де осы — үлгілеу кезінде тиімді пайдалана алатын осы артефактіні жасау үшін схеманы алдын ала өңдеуіміз керек.

Үлгілеу барысында әр токеннен кейін біздің inference engine бұрын жасалған токендер мен келесіде қай токендер жарамды екенін көрсететін грамматика ережелеріне сүйене отырып, келесіде қандай токендер шығарылуы мүмкін екенін анықтайды. Содан кейін осы токендер тізімін келесі үлгілеу қадамын mask жасау үшін қолданамыз, бұл іс жүзінде жарамсыз токендердің ықтималдығын 0-ге түсіреді. Схеманы алдын ала өңдегендіктен, мұны аз ғана қосымша кідіріспен тиімді орындау үшін кэштелген деректер құрылымын пайдалана аламыз.

Баламалы тәсілдер

Бұл мәселеге арналған баламалы тәсілдер шектеулі декодтау үшін көбіне ақырлы күй автоматтарын (FSM) немесе regex-терді (әдетте FSM арқылы іске асырылады) қолданады. Олар да әр токен жасалғаннан кейін қай токендердің жарамды екенін динамикалық түрде жаңартып отыратыны жағынан ұқсас жұмыс істейді, бірақ CFG тәсілінен кейбір маңызды айырмашылықтары бар. Атап айтқанда, CFG-лер FSM-дерге қарағанда тілдердің анағұрлым кең класын өрнектей алады. Іс жүзінде бұл жоғарыда көрсетілген value схемасы сияқты өте қарапайым схемалар үшін маңызды емес. Алайда ішіне ендірілген немесе рекурсивті деректер құрылымдары бар күрделірек схемалар үшін бұл айырмашылық мәнді деп санаймыз. Мысалы, FSM-дер әдетте рекурсивті түрлерді өрнектей алмайды, бұл FSM-ге негізделген тәсілдердің терең ендірілген JSON-дағы жақшаларды сәйкестендіруде қиналуы мүмкін екенін білдіреді. Төменде OpenAI API-де Құрылымдалған нәтижелермен қолдау көрсетілетін, бірақ FSM арқылы өрнектеу мүмкін болмайтын рекурсивті схеманың үлгісі берілген.

JSON

1
{
2
  "name": "ui",
3
  "description": "Dynamically generated UI",
4
  "strict": true,
5
  "schema": {
6
    "type": "object",
7
    "properties": {
8
      "type": {
9
        "type": "string",
10
        "description": "The type of the UI component",
11
        "enum": ["div", "button", "header", "section", "field", "form"]
12
      },
13
      "label": {
14
        "type": "string",
15
        "description": "The label of the UI component, used for buttons or form fields"
16
      },
17
      "children": {
18
        "type": "array",
19
        "description": "Nested UI components",
20
        "items": {
21
          "$ref": "#"
22
        }
23
      },
24
      "attributes": {
25
        "type": "array",
26
        "description": "Arbitrary attributes for the UI component, suitable for any element",
27
        "items": {
28
          "type": "object",
29
          "properties": {
30
            "name": {
31
              "type": "string",
32
              "description": "The name of the attribute, for example onClick or className"
33
            },
34
            "value": {
35
              "type": "string",
36
              "description": "The value of the attribute"
37
            }
38
          }
39
        }
40
      }
41
    },
42
    "required": ["type", "label", "children", "attributes"],
43
    "additionalProperties": false
44
  }
45
}

Әрбір UI элементінің түбір схемасына рекурсивті сілтеме жасайтын еркін еншілес элементтері бола алатынын ескеріңіз. Мұндай икемділікті CFG тәсілі қамтамасыз етеді.

Шектеулер мен шектеу шарттары

Құрылымдалған нәтижелерді пайдаланғанда есте ұстайтын бірнеше шектеу бар:

  • Құрылымдалған нәтижелер JSON Schema-ның тек бір бөлігін ғана қолдайды, толық мәлімет құжаттамамызда⁠(жаңа терезеде ашылады) берілген. Бұл бізге мүмкін болған ең жақсы өнімділікті қамтамасыз етуге көмектеседі.
  • Жаңа схемамен алғашқы API жауабында қосымша кідіріс болады, бірақ кейінгі жауаптар кідіріс айыбысыз жылдам болады. Себебі алғашқы сұрау кезінде біз жоғарыда көрсетілгендей схеманы өңдейміз де, кейін жылдам қайта пайдалану үшін осы артефактілерді кэшке сақтаймыз. Әдеттегі схемаларды алғашқы сұрауда өңдеу 10 секундтан аз уақыт алады, бірақ күрделірек схемалар бір минутқа дейін созылуы мүмкін.
  • Егер модель қауіпті сұраудан бас тартуды таңдаса, ол схемаға бағынбауы мүмкін. Егер бас тартуды таңдаса, мұны көрсету үшін қайтарылатын хабарда refusal boolean мәні true болып орнатылады. 
  • Егер генерация аяқталмай тұрып max_tokens мәніне немесе басқа тоқтау шартына жетсе, модель схемаға бағынбауы мүмкін. 
  • Құрылымдалған нәтижелер модельдің барлық қателік түрлерінің алдын алмайды. Мысалы, модель JSON нысанының мәндерінің ішінде әлі де қате жіберуі мүмкін (мысалы, математикалық теңдеудегі бір қадамды қате беруі мүмкін). Егер әзірлеушілер қателер тапса, жүйелік нұсқауларда мысалдар беруді немесе тапсырмаларды қарапайым ішкі тапсырмаларға бөлуді ұсынамыз.
  • Құрылымдалған нәтижелер параллель функция шақыруларымен үйлеспейді. Параллель функция шақыруы жасалғанда, ол берілген схемаларға сәйкес келмеуі мүмкін. Параллель функция шақыруды өшіру үшін parallel_tool_calls: false орнатыңыз.
  • Құрылымдалған нәтижелермен бірге берілген JSON Schema-лар деректерді мүлде сақтамау⁠(жаңа терезеде ашылады) (ZDR) талаптарына сай келмейді.

Қолжетімділік

Құрылымдалған нәтижелер бүгінде API-де жалпыға қолжетімді. 

Функция шақырумен бірге Құрылымдалған нәтижелер API-дегі функция шақыруды қолдайтын барлық модельдерде қолжетімді. Бұған ең жаңа модельдеріміз (gpt-4o, gpt-4o-mini), gpt-4-0613 және gpt-3.5-turbo-0613 нұсқаларынан бастап әрі қарайғы барлық модельдер, сондай-ақ функция шақыруды қолдайтын кез келген fine-tuned модельдер кіреді. Бұл мүмкіндік Chat Completions API, Assistants API және Batch API-де қолжетімді. Функция шақырумен бірге Құрылымдалған нәтижелер көру енгізулерімен де үйлесімді.

Жауап пішімдерімен бірге Құрылымдалған нәтижелер gpt-4o-mini және gpt-4o-2024-08-06 модельдерінде және осы модельдер негізіндегі кез келген fine-tuned нұсқаларда қолжетімді. Бұл мүмкіндік Chat Completions API, Assistants API және Batch API-де қолжетімді. Жауап пішімдерімен бірге Құрылымдалған нәтижелер көру енгізулерімен де үйлесімді. 

Жаңа gpt-4o-2024-08-06 нұсқасына ауысу арқылы әзірлеушілер gpt-4o-2024-05-13 нұсқасымен салыстырғанда енгізулерден 50% ($2.50/1M input tokens), ал нәтижелерден 33% ($10.00/1M output tokens) үнемдейді.

Құрылымдалған нәтижелерді қолдануды бастау үшін біздің құжаттамамызды⁠(жаңа терезеде ашылады) қараңыз. 

Алғыс

Құрылымдалған нәтижелер open source қауымдастығының тамаша жұмыстарына сүйеніп жасалды: атап айтқанда, outlines⁠(жаңа терезеде ашылады), jsonformer⁠(жаңа терезеде ашылады), instructor⁠(жаңа терезеде ашылады), guidance⁠(жаңа терезеде ашылады) және lark⁠(жаңа терезеде ашылады) кітапханалары.

Автор

Michelle Pokrass

Негізгі үлес қосушылар

Chris Colby, Melody Guan, Michelle Pokrass, Ted Sanders, Brian Zhang

Алғыс

John Allard, Filipe de Avila Belbute Peres, Ilan Bigio, Owen Campbell-Moore, Chen Ding, Atty Eleti, Elie Georges, Katia Gil Guzman, Jeff Harris, Johannes Heidecke, Beth Hoover, Romain Huet, Tomer Kaftan, Jillian Khoo, Karolis Kosas, Ryan Liu, Kevin Lu, Lindsay McCallum, Rohan Nuttall, Joe Palermo, Leher Pathak, Ishaan Singal, Felipe Petroski Such, Freddie Sulit, David Weedon