modelldesztilláció
Angol megfelelő: model distillation, knowledge distillation
A modelldesztilláció az az eljárás, amikor egy nagy, drága modellt tanítómesterként használnak, majd a válaszaiból egy kisebb modellt tanítanak be, hogy az a szűkebb feladaton hasonlóan teljesítsen, töredék költségen.
A kisebb modell nem a világról tanul, hanem a nagy modell viselkedéséről, tehát arról, milyen kimenetet ad milyen bemenetre. Ezért a desztillált modell ott jó, ahol a mester példákat adott neki, azon kívül viszont gyorsan romlik a teljesítménye.
Ez az eljárás magyarázza a legtöbbet abból, amit az elmúlt években árzuhanásként láttunk: nem attól lett olcsóbb egy képesség, hogy a nagy modellek olcsóbbak lettek, hanem attól, hogy a tipikus feladatokra kicsi, célra tanított modellek készültek. A vállalati oldalon ez azt jelenti, hogy egy konkrét, ismétlődő feladatra ma nem a legnagyobb modell a racionális választás.
Jogi oldalon viszont van egy kikötés: több nagy szolgáltató felhasználási feltétele TILTJA, hogy a kimenetükkel versengő modellt tanítsanak, tehát a desztilláció forrása nem mindegy.
A leggyakoribb tévedés, hogy a desztillált modell „ugyanaz, csak kisebb". Nem az: a mester tudásának egy szeletét viszi tovább, azt, amire tanították, tehát a szűk feladaton lehet egyenértékű, azon kívül viszont rendszerint jóval gyengébb és erről magától nem szól.
Példa: Egy magyar webáruház naponta ezer terméket címkéz kategóriába. A legnagyobb modellel ez működik, viszont a havi számla ezen az egy feladaton értelmetlenül magas. Ha a nagy modellel legyártat néhány ezer helyes példát, majd azon betanít egy kicsit, akkor ugyanaz a címkézés a töredékébe kerül és gyorsabb is lesz. A határ ott van, hogy az így kapott modell CSAK címkézni fog tudni: ha holnap termékleírást is kérnek tőle, az már megint másik feladat.
Forrás: A fogalom eredeti kifejtése Hinton, Vinyals, Dean, „Distilling the Knowledge in a Neural Network" (arXiv:1503.02531). A felhasználási korlátokra a nagy szolgáltatók saját felhasználási feltételei irányadók, szolgáltatónként eltérő szöveggel.
Rokon fogalmak: Qwen, token, generatív modell, finomhangolás, Hugging Face