következő token előrejelzése (next-token prediction)
Angol megfelelő: next-token prediction
A következő token előrejelzése a nagy nyelvi modellek alapművelete: a modell a már meglévő szövegből kiszámolja, melyik szótöredék (token) következik a legvalószínűbben, azt hozzáfűzi, majd ugyanezt ismétli, amíg a válasz el nem készül.
Minden, amit egy nyelvi modell ír, így készül, egyszerre egy token. A GPT-3-at bemutató 2020-as cikk autoregresszív nyelvi modellnek nevezi: a modell a saját korábbi kimenetét is bemenetként használja a következő lépéshez. A tanítás is erre épül: a modell rengeteg szövegen gyakorolja, hogy megtippelje a következő tokent, a tippet a tényleges folytatással vetik össze, a modell pedig a hibából tanul.
Ebből két gyakori félreértés születik. Az egyik az, hogy a modell „csak a következő szót találgatja", tehát nem tervez. Az Anthropic 2025 márciusi értelmezhetőségi kutatása mást talált: rímes vers írásakor a Claude már a sor elkezdése előtt kiválasztotta a rímszót (a „grab it" után a „rabbit" szót), majd úgy írta meg a sort, hogy oda érkezzen. A kutatók eredetileg azt akarták kimutatni, hogy a modell nem tervez előre, az ellenkezőjét találták.
A másik félreértés az, hogy a modell tényeket keres vissza. Nem: a legvalószínűbb folytatást állítja elő, ami többnyire egybeesik a ténnyel, néha nem. Ugyanez a kutatás azt írja, hogy a nyelvi modellek tanítása eleve ösztönzi a hallucinációt, mert a modellnek mindig tippelnie kell a következő szóra. Ezért lehet egy válasz tökéletes formájú, mégis hamis.
Példa: Egy rendezvényszervező cég AI-jal íratja a meghívó szövegét, a modell pedig egy korábbi konferenciájukról magabiztosan leírja, hogy „több mint 400 résztvevő" volt ott. A szám nem a cég anyagából jött, hanem abból, ami egy ilyen mondatban a legvalószínűbb folytatás. A modell nem hazudott, egyszerűen folytatta a mondatot. A tanulság: ahol konkrét adat kell (létszám, dátum, ár, név), ott az adatot a promptban kell megadni, a kész szövegben pedig minden számot a forráshoz kell mérni.
Forrás: Tom B. Brown és munkatársai (OpenAI): Language Models are Few-Shot Learners, arXiv:2005.14165, 2020. május 28., arxiv.org/abs/2005.14165 (a GPT-3 mint autoregresszív nyelvi modell). Anthropic: Tracing the thoughts of a large language model, 2025. március 27., anthropic.com/research/tracing-thoughts-language-model (a rímtervezés, a „rabbit" kísérlet, a kutatók eredeti feltevése, a tanítás hallucinációt ösztönző hatása). Mind 2026-09-29-én letöltve. Az autoregresszív működés magyarázata, valamint a példa a szótár saját értelmezése.
Rokon fogalmak: token, LLM, GPT, hallucináció, output, nemdeterminisztikusság (non-determinism)