prompt-gyorsítótár (prompt caching)
Angol megfelelő: prompt caching, a gyorsítótárból olvasott tokenek neve cache tokens (cached input tokens)
A prompt-gyorsítótár azt jelenti, hogy egy AI-szolgáltató elmenti egy ismétlődő promptrész (hosszú utasítás, dokumentum, beszélgetés-előzmény) feldolgozott állapotát, így a következő kérésnél nem kell újra feldolgoznia. A gyorsítótárból olvasott token jóval olcsóbb, a válasz pedig gyorsabban indul.
A megoldás a prompt elejére vonatkozik. Ha két egymást követő kérés elején pontosan ugyanaz a szöveg áll, például ugyanaz a hosszú rendszerprompt vagy ugyanaz a termékkatalógus, a szolgáltató ezt a közös előtagot (prefix) nem számolja végig újra. Ha az előtagban egyetlen karakter is megváltozik, például egy időbélyeg a prompt elején, a gyorsítótár nem talál, a teljes árat kell fizetni.
Az árazás szolgáltatónként más. Az Anthropicnál a gyorsítótárból olvasott token az alap bemeneti ár tizede (a Claude Opus 5.5-nél huszada), a gyorsítótárba írás viszont drágább az alapárnál: ötperces élettartamnál 1,25-szöröse, egyórásnál kétszerese. A gyorsítótár alapból öt percig él, minden használat frissíti. Az OpenAI a támogatott modelleknél alapból gyorsítótáraz, akár 90 százalékos kedvezménnyel a bemeneti tokenekre.
Egy vállalkozásnak ez akkor számít, ha ugyanazt a hosszú anyagot sokszor küldi be: ügyfélszolgálati robot hosszú tudásbázissal, ágens részletes szabályzattal, dokumentumelemzés sok kérdéssel. Ilyenkor a számla jelentős része a gyorsítótárazáson múlik, a szolgáltatók használati kimutatása pedig külön mutatja, hány token jött a gyorsítótárból.
Példa: Egy biztosítási alkusz AI-robotja minden ügyfélkérdésnél megkapja a 40 oldalas termékleírást, plusz a válaszadási szabályokat, összesen mintegy 30 000 tokent, a kérdés maga ennek töredéke. Napi 500 kérdésnél ez gyorsítótár nélkül napi 15 millió teljes árú bemeneti token. Ha a termékleírás mindig a prompt elején, változatlan formában áll, az ismétlődő rész a gyorsítótárból jön, a bemeneti költség nagyobbik része így az alapár tizedébe kerül. A gyakori hiba: a mai dátum a prompt legelejére kerül, ettől minden kérés előtagja más, a gyorsítótár pedig soha nem talál.
Forrás: Anthropic dokumentáció, Prompt caching, platform.claude.com/docs/en/build-with-claude/prompt-caching (az előtag-egyezés, az ötperces alapélettartam, az 1,25-szörös és a kétszeres írási, a 0,1-szeres olvasási szorzó, a Claude Opus 5.5 0,05-ös szorzója, az időbélyeg miatt elmaradó találat). OpenAI dokumentáció, Prompt caching, developers.openai.com/api/docs/guides/prompt-caching (az alapból bekapcsolt gyorsítótár, az akár 90 százalékos kedvezmény). Mind 2026-09-29-én letöltve. A példa a szótár saját értelmezése.
Rokon fogalmak: token, input, rendszerprompt, prompt, API, inferencia (inference)