token

Angol megfelelő: token

A token az a legkisebb szövegdarab, szótöredék vagy szó, amire egy nyelvi modell a bemenetet és a kimenetet felbontja.

A modellek nem betűben vagy szóban, hanem tokenben "gondolkodnak", illetve a legtöbb szolgáltató a felhasználást és az árat is tokenben számolja. Egy hosszabb magyar mondat könnyen több tokenre bomlik, mint ugyanaz a mondat angolul, mert a tokenizálók jellemzően angol szövegen tanultak.

Rokon fogalmak: LLM, kontextus, prompt

Kapcsolódó fogalmak

Kattints egy fogalomra, az a saját oldalára visz.

LLMLLMkontextuskontextuspromptpromptQwenQwenSunburstSunburstalágens (subagent)alágensinferencia (inference)inferenciainputinputtoken

Böngéssz betű szerint

Ennél a betűnél (T) 6 fogalom áll a szótárban. Egy oszlopra kattintva a teljes szótár azon betűjéhez ugrasz.

A: 23 fogalomA23B: 5 fogalomB5C: 8 fogalomC8D: 3 fogalomD3E: 4 fogalomE4F: 5 fogalomF5G: 8 fogalomG8H: 11 fogalomH11I: 2 fogalomI2J: 2 fogalomJ2K: 7 fogalomK7L: 4 fogalomL4M: 24 fogalomM24N: 5 fogalomN5O: 6 fogalomO6P: 6 fogalomP6Q: 1 fogalomQ1R: 10 fogalomR10S: 14 fogalomS14T: 6 fogalomT6U: 1 fogalomU1V: 3 fogalomV3WX: 1 fogalomX1YZ: 1 fogalomZ1

Mind a 160 fogalom a teljes AI-szótárban

Süti-beállítások