Qwen
Angol megfelelő: Qwen
A Qwen az Alibaba modellcsaládja, aminek a súlyai, tehát a modell belső számai, letölthetők, ezért saját gépen vagy saját szerveren is futtatható, nem csak a gyártó felhőjéből.
A nyílt súlyú jelző itt a lényeg és nem azonos a nyílt forráskóddal: a tanító adatot nem adják ki, a licenc pedig változatonként eltér, tehát felhasználás előtt el kell olvasni. A család több méretben jön, a kicsik egyetlen erősebb videokártyán elfutnak, a nagyok szervert kívánnak.
Ami ebből egy vállalkozásnak számít, az két külön képlet. Az egyik a költség: zárt API-nál használatarányosan fizetsz, tehát a számla a forgalommal nő, saját futtatásnál viszont a hardver az egyszeri költség, utána a villany. Ettől a sok, egyforma, nagy tömegű feladat (termékleírás, címkézés, kivonatolás) egy ponton olcsóbb lesz saját gépen.
A másik az adatvédelem: ha a szöveg ki sem megy a cég hálózatából, akkor az adatfeldolgozói lánc rövidebb és a harmadik országba történő adattovábbítás kérdése fel sem merül. Cserébe a működtetés a cégé lesz: a frissítés, a mentés és a hozzáférés-kezelés is.
Gyakori félreértés, hogy a nyílt súlyú egyenlő az ingyenessel, illetve a szabadon felhasználhatóval. A letöltés ingyenes, a futtatás nem, a licenc pedig egyes változatoknál korlátozza a felhasználást, például méret vagy felhasználószám szerint.
Példa: Egy magyar könyvelőiroda ügyfélszerződéseket kivonatol. Zárt API-nál minden egyes szerződés szövege kimegy egy külső szolgáltatóhoz, amit az ügyfélnek jelezni kell. Egy kisebb Qwen saját szerveren ugyanezt elvégzi úgy, hogy az irat nem hagyja el az irodát. A döntés nem minőségi kérdés elsősorban: mérje meg ötven valódi iraton mind a kettőt, aztán a rosszabb kimenetet állítsa szembe azzal, mennyit ér az, hogy az adat bent marad.
Forrás: Alibaba Cloud Qwen hivatalos modell-oldalai, valamint a Hugging Face-en közzétett modellkártyák, ahol a licenc változatonként olvasható.
Rokon fogalmak: Hugging Face, nyílt súlyú modell, generatív modell, token, modelldesztilláció