token

Angol megfelelő: token

A token az a legkisebb szövegdarab, szótöredék vagy szó, amire egy nyelvi modell a bemenetet és a kimenetet felbontja.

A modellek nem betűben vagy szóban, hanem tokenben "gondolkodnak", illetve a legtöbb szolgáltató a felhasználást és az árat is tokenben számolja. Egy hosszabb magyar mondat könnyen több tokenre bomlik, mint ugyanaz a mondat angolul, mert a tokenizálók jellemzően angol szövegen tanultak.