Cache OpenAI na 12 godzin: zysk od 3 zapytań

20 października OpenAI dodało do Responses API cache promptów z czasem życia 12 godzin. Zapis do niego kosztuje 2,5 stawki za zwykłe wejście. Policzyłem, kiedy to się zwraca.

Stan: ogłoszone. Stawki i zasady według dokumentacji cache, dotyczą modeli od GPT-5.6 wzwyż.

Jakie są stawki?

Operacja	Cache 30 minut	Cache 12 godzin
zapis	1,25× wejścia	2,5× wejścia
odczyt	0,1× wejścia, w GPT-6.1 Sol 0,05×	tak samo

Dokumentacja podkreśla, że to stawki całkowite, a nie dopłaty do zwykłego wejścia. Domyślnie API trzyma cache co najmniej 30 minut. Według dokumentacji odczyt odświeża ten czas o kolejne 30 minut.

Kiedy 12 godzin się opłaca?

Gdy przerwy między zapytaniami są dłuższe niż 30 minut. Przy krótszych przerwach domyślny cache żyje, bo każdy odczyt go odświeża. Wtedy 12 godzin to tylko droższy pierwszy zapis.

Policzyłem przypadek, gdy przerwy są dłuższe. Ten sam prefiks promptu wraca k razy w ciągu 12 godzin. Koszt podaję w wielokrotnościach zwykłej ceny tego prefiksu:

• bez cache: k;
• cache 30 minut: 1,25 × k, bo każde zapytanie zapisuje prefiks od nowa;
• cache 12 godzin: 2,5 + 0,1 × (k − 1), bo zapis jest jeden, a potem same odczyty.

Przy dwóch zapytaniach 12 godzin kosztuje 2,6, a cache 30-minutowy 2,5. Przy trzech jest już 2,7 wobec 3,75. Od trzeciego zapytania 12 godzin wygrywa z obiema pozostałymi opcjami.

Ile to daje na jednym asystencie?

Weźmy asystenta z promptem systemowym i bazą wiedzy na 50 tys. tokenów. Pracownik pyta go osiem razy dziennie, co godzinę. Model to GPT-6.1 Sol: 2 USD za milion tokenów wejścia według naszej tabeli cen, a odczyt z cache to 0,05 stawki.

Wariant	Tokeny przeliczone na zwykłe wejście	Koszt dziennie
bez cache	400 tys.	0,80 USD
cache 30 minut	500 tys.	1,00 USD
cache 12 godzin	142,5 tys.	0,285 USD

Tabela pokazuje skrajne warianty: 30 minut bez żadnego trafienia i 12 godzin z trafieniem za każdym razem. OpenAI zastrzega, że może trzymać wpisy dłużej niż wymagane minimum.

W najgorszym razie domyślny cache kosztuje więc więcej niż wejście bez cache. Każde zapytanie po godzinnej przerwie płaci wtedy za zapis 1,25 stawki.

Jak to włączyć?

W Responses API ustaw "ttl": "12h" w prompt_cache_options albo na wybranym prompt_cache_breakpoint. Dokumentacja radzi dać 12 godzin stałym instrukcjom na początku promptu, a 30 minut kontekstowi sesji. Bez tego ustawienia API zostaje przy 30 minutach.

Dwa zastrzeżenia z dokumentacji. Przejście z cache 30-minutowego na 12-godzinny to nowy zapis po pełnej stawce 2,5, bez zwrotu za wcześniejszy zapis. Czas życia daje prawo do niższej ceny odczytu, ale nie gwarantuje, że każde zapytanie trafi w cache.

Wniosek: sprawdź w logach, co ile minut wraca ten sam prompt. Jeśli rzadziej niż co 30 minut, ale co najmniej trzy razy w ciągu 12 godzin, przełącz stałą część promptu na "12h". Jeśli częściej niż co 30 minut, nic nie zmieniaj.