inferencia (inference)
Angol megfelelő: inference (AI inference)
Az inferencia az a szakasz, amikor egy már betanított AI-modellt használnak: bemenetet kap, választ ad. Minden ChatGPT-válasz, minden képgenerálás, minden ágenslépés egy-egy inferencia, az API-t használó cég ezért fizet tokenenként.
Egy AI-modell életének két szakasza van. A tanítás (training) során a modell hatalmas adatmennyiségen tanul, a belső paraméterei addig változnak, amíg a jóslatai el nem érik a kívánt pontosságot. Ez egyszeri, rendkívül drága munka, amit a gyártó végez. Az inferencia ezzel szemben a használat: a kész modell a megtanult mintázatok alapján új bemenetre ad választ, a paraméterei közben nem változnak. Az IBM leírása szerint a tanítás előre is, visszafelé is végigszámolja a hálót, az inferencia csak előre.
A felhasználó szemszögéből az inferencia a költség: az API-díj, a tokenár, a válaszidő mind róla szól. Két fajtája van. Az azonnali (online) inferencia valós időben válaszol, ez kell egy csevegőrobothoz vagy egy telefonos asszisztenshez, cserébe drágább. A kötegelt (batch) inferencia sok kérést egyben, késleltetve dolgoz fel, például éjszaka, cserébe olcsóbb: az Anthropic kötegelt felülete 50 százalékos kedvezményt ad a bemeneti, valamint a kimeneti tokenekre is.
Egy fontos következmény: a modell inferencia közben nem tanul. Amit egy beszélgetésben elmondunk neki, az a kontextusban marad, nem épül be a modellbe. Ha egy szolgáltató mégis felhasználja a beszélgetéseket, az egy későbbi, külön tanítási körben történik, ezt pedig a szolgáltatási feltételek szabályozzák.
Példa: Egy webáruház háromezer termékéhez íratna AI-jal keresőbarát termékleírást. Ha a leírásokat API-n egyenként, azonnali kérésekkel kéri, az azonnali inferencia teljes árát fizeti. Ha ugyanezt egy éjszakai kötegben küldi be a szolgáltató kötegelt felületén, reggelre elkészül, a tokenköltség pedig a fele. A döntés kérdése egyszerű: kell-e a válasz most, vagy ráér reggelig.
Forrás: Dave Bergmann: What is AI inference?, IBM Think, 2024. június 18., frissítve 2026. január 13., ibm.com/think/topics/ai-inference (a tanítás és az inferencia különbsége, az előre- és a visszaszámolás, az azonnali és a kötegelt inferencia). NVIDIA Blog: What's the Difference Between Deep Learning Training and Inference?, blogs.nvidia.com/blog/difference-deep-learning-training-inference-ai (az inferencia mint a tanult képesség munkába állítása). Anthropic: Pricing, platform.claude.com/docs/en/about-claude/pricing (a kötegelt feldolgozás 50 százalékos kedvezménye). Mind 2026-09-29-én letöltve. A példa a szótár saját értelmezése.
Rokon fogalmak: modell, token, finomhangolás, gépi tanulás, input, output