transzformer (transformer)
Angol megfelelő: transformer (Transformer architecture)
A transzformer az a neurálishálózat-felépítés, amelyre a mai nagy nyelvi modellek túlnyomó többsége épül. A GPT nevében a T betű ezt jelenti: generative pre-trained transformer, vagyis generatív, előtanított transzformer.
A transzformert 2017 júniusában írta le egy nyolcszerzős tanulmány, főként a Google kutatói, Attention Is All You Need (a figyelem minden, ami kell) címmel, eredetileg gépi fordításra. Az újítás a figyelem (attention) nevű mechanizmus: a modell minden tokennél kiszámolja, a szöveg többi része közül melyik rész mennyire számít hozzá. Így egy névmás visszatalál ahhoz a névhez, amelyre vonatkozik, akkor is, ha az tíz sorral korábban állt.
A korábbi, visszacsatolt (rekurrens) hálózatok a szöveget tokenről tokenre, sorban dolgozták fel, ezért a tanításuk nehezen volt szétosztható. A transzformer egyszerre látja a teljes szakaszt, így a tanítás párhuzamosítható sok grafikus processzoron. A tanulmány szerint az angol–francia fordítási teszten a modell 3,5 napos tanítás után, nyolc GPU-n állított fel új csúcsot, a korábbi legjobb modellek tanítási költségének töredékéért. Ez a párhuzamosíthatóság tette lehetővé, hogy a modelleket a mai méretre növeljék.
Két gyakorlati következménye van. Az első: a szabványos figyelem számítási, illetve memóriaigénye a szöveg hosszával négyzetesen nő, kétszer olyan hosszú bemenet tehát nagyjából négyszer annyi munkát kér a figyelem-rétegekben; ez az egyik oka annak, hogy a kontextusablaknak felső határa van. A második: a transzformer felépítés, nem tudás. A szöveget író modellek, például a GPT-család, a felépítés dekóder felét használják, a szöveget értelmező, osztályozó modellek, például a BERT, a kódoló felét; a különbséget a modellek között az adat, a méret, a tanítás módja adja, nem az, hogy transzformerre épülnek-e.
Példa: Egy beszállító azzal ajánlja a rendszerét egy tizenkét fős magyar logisztikai cégnek, hogy „saját fejlesztésű, transzformer-alapú mesterséges intelligencia". A mondat igaz lehet, csak nem mond semmit: a ma ismert nagy csevegőmodellek szinte mind transzformerre épülnek, ahogy egy autóról sem hír, hogy belső égésű motorja van. A döntéshez más kell: melyik alapmodellt használja ténylegesen, kinek a szerverén fut, mit mért rajta a beszállító a cég saját adatán. A mérce: az alapmodell neve, verziója írásban, plusz egy próbafutás a cég húsz valódi szállítólevelén, mielőtt bárki aláír.
Forrás: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin: Attention Is All You Need, arXiv:1706.03762, 2017. június 12., arxiv.org/abs/1706.03762 (a kizárólag figyelemre épülő, rekurzió nélküli felépítés, a párhuzamosíthatóság, a 3,5 napos tanítás nyolc GPU-n, a fordítási eredmények). Angol Wikipédia, Transformer (deep learning architecture) szócikk (a GPT, illetve a BERT feloldása, a csak dekóderes, illetve csak kódolós változatok, a figyelem hossz szerint négyzetesen növő költsége), másodlagos forrás. Mind 2026-09-29-én letöltve. A példa a szótár saját értelmezése.
Rokon fogalmak: GPT, LLM, neurális hálózat, token, kontextusablak (context window), következő token előrejelzése (next-token prediction), generatív modell