გაუმჯობესებული პრომპტის კეშირება GPT‑6‑ისთვის
კეშში მოხვედრის უკეთესი მაჩვენებლები და ახალი ხელსაწყოები, რათა მუდმივად მოქმედმა აგენტებმა უფრო სწრაფად და ნაკლები ხარჯით იმუშაონ.
GPT‑6 მუდმივად მოქმედ აგენტებს საშუალებას აძლევს, საათობით იმუშაონ რთულ ამოცანებზე — კოდური ბაზების რეფაქტორინგიდან საფუძვლიანად გამოკვლეული დოკუმენტებისა და პრეზენტაციების მომზადებამდე. ამ აგენტების მხარდამჭერი აპლიკაციები ერთმანეთზე დაფუძნებულ API მოთხოვნათა სერიას აგზავნიან და ხშირად წინა ეტაპებიდან იმავე ინსტრუქციებს, ხელსაწყოების აღწერილობებსა და კონტექსტს ინარჩუნებენ. OpenAI ამ საზიარო კონტექსტს აკეშირებს, რათა გამოთვლები სხვადასხვა მოთხოვნაში ხელახლა გამოიყენოს. ეს ამცირებს პასუხის დროს და დეველოპერებს კეშირებული შეყვანის ტოკენებზე 90%-მდე ფასდაკლებას აძლევს.
GPT‑6‑ის ოჯახთან ერთად გავუშვით პრომპტის კეშირების გაუმჯობესებული სისტემა, რომელიც ნაგულისხმევად ზრდის კეშში მოხვედრის მაჩვენებელს. ახლა კეშის ფასდაკლებას ვთავაზობთ შესაბამის საზიარო პრეფიქსებს, რომლებიც 30-წუთიან შუალედში ხელახლა გამოიყენება. ასევე წარმოგიდგენთ ახალ ხელსაწყოებს, რომლებიც დეველოპერებს კეშის წარმადობის მონიტორინგში, არმოხვედრების დიაგნოსტირებასა და მოთხოვნის დასაკეშირი ნაწილის მოცულობის არჩევაში დაეხმარება.
ახალი პრომპტის კეშირების მართვის პანელი(იხსნება ახალ ფანჯარაში) აჩვენებს, თქვენი აპლიკაციის შეყვანის რა ნაწილი მიეწოდება კეშიდან. თვალი ადევნეთ კეშში მოხვედრის მაჩვენებლის ცვლილებას დროში და შეყვანის შემადგენლობის დიაგრამით შეადარეთ კეშირებული და არაკეშირებული ტოკენები. ეს წარმოდგენები დაგეხმარებათ, შენიშნოთ კეშში მოხვედრის შემცირება და შეაფასოთ, როგორ მოქმედებს აპლიკაციაში შეტანილი ცვლილებები კეშირების წარმადობაზე.
კეშში მოულოდნელი არმოხვედრისას მიზეზის გასაგებად გამოიყენეთ პრომპტის კეშირების სადიაგნოსტიკო ხელსაწყო(იხსნება ახალ ფანჯარაში). შეადარეთ მოთხოვნა ბოლო პასუხს, რათა აღმოაჩინოთ მოდელში, ხელსაწყოებში, პარამეტრებსა თუ შეყვანაში მომხდარი ცვლილებები, რომლებმაც ხელახალი გამოყენება შეაფერხა. დაზარალებული ტოკენების სავარაუდო რაოდენობა დაგეხმარებათ, შეაფასოთ ზემოქმედების მასშტაბი და გადაწყვიტოთ, როგორ გააუმჯობესოთ ინტეგრაცია კეშში მოხვედრის მაჩვენებლის მაქსიმალურად გასაზრდელად.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
აირჩიეთ, რა დააკეშიროთ. კეშის ცხადი საკონტროლო წერტილები საშუალებას გაძლევთ, აირჩიოთ ხელახლა გამოსაყენებელი მოთხოვნის პრეფიქსები. განახლებული პრომპტის კეშირების სახელმძღვანელო(იხსნება ახალ ფანჯარაში) განმარტავს, როგორ გამოიყენოთ ისინი, რამდენ ხანს რჩება კეშირებული პრეფიქსები გამოსადეგი და როგორ მოქმედებს ხელსაწყოებისა და შეყვანის ცვლილებები ხელახალ გამოყენებაზე.
შეცვალეთ მსჯელობის ინტენსივობა კეშის დარღვევის გარეშე. GPT‑6‑ის მოდელებში ახლა პასუხებს შორის შეგიძლიათ შეცვალოთ მსჯელობის ინტენსივობა(იხსნება ახალ ფანჯარაში) კეშის დარღვევის გარეშე. რთული ამოცანისთვის გაზარდეთ ინტენსივობა, ხოლო რუტინული შემდგომი მოთხოვნისთვის შეამცირეთ — დაამატეთ configuration_update და მოთხოვნის დონეზე მსჯელობის ინტენსივობა უცვლელი დატოვეთ. ეს საშუალებას გაძლევთ, ამოცანისთვის საჭირო მსჯელობის მოცულობა ისე შეცვალოთ, რომ ხელახლა გამოსაყენებელი კონტექსტი შეინარჩუნოთ.
შეინარჩუნეთ კეში ხელსაწყოებისა და ინსტრუქციების ცვლილებისას. აგენტის მიერ ხელსაწყოების გამოყენების საჭიროებების ცვლილებისას მათი აღწერილობები, სქემები და თანმიმდევრობა სტაბილურად შეინარჩუნეთ, რათა ადრინდელი კონტექსტი კვლავ გამოსადეგი იყოს. აღწერილობების წაშლის ნაცვლად გამოიყენეთ allowed_tools, რათა მხოლოდ შესაბამისი ხელსაწყოების გამოძახება იყოს შესაძლებელი, ან, თუ ხელსაწყოები საჭირო არ არის, tool_choice-ს none მნიშვნელობა მიანიჭეთ. ძველი ინსტრუქციების გადასაფარად ახალი ინსტრუქციები კონტექსტის ბოლოს, დეველოპერის ახალი შეტყობინებების საშუალებით დაამატეთ. იხილეთ ჩვენი მითითებები ხელსაწყოების ცვლილებების მართვის შესახებ(იხსნება ახალ ფანჯარაში).
შეყოვნების შესამცირებლად წინასწარ გაათბეთ კეში. წინასწარი გათბობა(იხსნება ახალ ფანჯარაში) ცნობილ კონტექსტს წინასწარ ამზადებს, რათა მოთხოვნის მიღებისას მოდელმა პასუხის გაცემა უფრო სწრაფად დაიწყოს. მაგალითად, აპლიკაციას შეუძლია გაშვებისას, მომხმარებლის პირველ შეკითხვამდე, წინასწარ გაათბოს საზიარო ინსტრუქციები, ხელსაწყოების აღწერილობები ან საცნობარო მასალა. ამგვარად, დამუშავება მომხმარებლის ლოდინის დროის მიღმა სრულდება.
ეს არასავალდებულო მართვის საშუალებები ძრავის ნაგულისხმევ წარმადობას ავსებს და კეშირების თქვენს დატვირთვაზე მორგებაში გეხმარებათ.
კეშში მოხვედრის მაჩვენებლებს თვალი ადევნეთ პრომპტის კეშირების მართვის პანელში(იხსნება ახალ ფანჯარაში).
მოულოდნელი არმოხვედრები გამოიკვლიეთ სადიაგნოსტიკო ხელსაწყოთი(იხსნება ახალ ფანჯარაში).
კონფიგურაციის გასაუმჯობესებლად მიჰყევით პრომპტის კეშირების სახელმძღვანელოს(იხსნება ახალ ფანჯარაში), ან გამოიყენეთ Codex(იხსნება ახალ ფანჯარაში) კოდის შესამოწმებლად, გაუმჯობესებების დასანერგად და შედეგების გასაზომად.
