Optimalizácia — prompt caching a Batches
Šetrenie nákladov a latencie
Prompt caching
Ak sa v požiadavkách opakuje rovnaký začiatok (systémová inštrukcia, dlhý kontext), prompt caching ho uloží do vyrovnávacej pamäte a ďalšie volania z neho ťažia — výrazne nižšia cena a rýchlejšia odozva.
Pozor: zmena obrázkov v prompte alebo nastavení nástrojov cache zruší.
Message Batches API
Na veľké objemy požiadaviek slúži dávkové (batch) spracovanie — pošleš veľa požiadaviek naraz, spracujú sa asynchrónne a lacnejšie. Funguje aj so serverovými nástrojmi.
Prompt caching
Opakovaný kontext lacnejšie.
Batch
Hromadné úlohy so zľavou.
Voľba modelu
Lacnejší model na jednoduché.
Tip: Mixom caching + batch + správny model znížite náklady aj násobne.
Rating
Zatiaľ tu nie sú žiadne komentáre.
to be the first to leave a comment.