AlexNet
Angol megfelelő: AlexNet
Az AlexNet egy mély konvolúciós neurális hálózat, amellyel Alex Krizhevsky, Ilya Sutskever és Geoffrey Hinton, a Torontói Egyetem kutatói 2012-ben nagy különbséggel megnyerték az ImageNet képfelismerő versenyét. A mai mélytanulás egyik kiindulópontjának tartják, mert megmutatta, hogy egy nagy, grafikus kártyán tanított háló messze jobb lehet a kézzel tervezett módszereknél.
A feladat 1,2 millió tanítókép besorolása volt ezer kategóriába. A verseny fő mércéje az öttippes hiba: azoknak a képeknek az aránya, amelyeknél a helyes kategória nincs a gép első öt tippje között. Az AlexNet ezen 15,3 százalékot ért el, a második helyezett 26,2 százalékot. A versenyen még SuperVision csapatnéven indult, a módszert a 2012-es NIPS konferencián megjelent cikk írja le.
Három dolog tette mássá, mint az elődeit. Az első a méret: 60 millió paraméter, 650 000 neuron, öt konvolúciós és három teljesen összekötött réteg. A második a hardver: a hálót két GTX 580-as grafikus kártyán (GPU-n) tanították, öt-hat napig, a szerzők pedig azt írták, hogy az eredmény egyszerűen javítható, ha gyorsabb GPU-kra és nagyobb adatkészletekre várnak. A harmadik két tanítási fogás: a ReLU nevű aktivációs függvény, amellyel a háló a korábbi megoldásnál többszörösen gyorsabban tanult, valamint a dropout, amely a túltanulást fékezi.
A mai nagy nyelvi modellek is ezen az úton épülnek: több GPU, több adat, nagyobb háló. A szerzők útja is ide köt: Ilya Sutskever 2015-ben az OpenAI alapító tagja és kutatási igazgatója lett, Geoffrey Hinton pedig 2024-ben fizikai Nobel-díjat kapott John Hopfielddel együtt, a mesterséges neurális hálózatokkal végzett gépi tanulást megalapozó felfedezéseikért.
Egy kisvállalkozónak azért érdemes ismerni a nevet, mert a ma használt képfelismerő szolgáltatások, a számlafotó-kiolvasástól a termékkép alapú keresőig, ugyanerre az elvre épülnek: a gépet felcímkézett példaképeken tanítják, nem szabályokat írnak neki.
Példa: Egy nyolcfős szegedi építőanyag-kereskedés a beérkező szállítóleveleket és számlákat telefonnal fotózza le, egy könyvelési alkalmazás pedig kiolvassa belőlük a tételeket, az összeget, a fizetési határidőt. Ez képfelismerés, annak az iránynak a mai utódja, amelyet az AlexNet 2012-ben megnyitott, csak jóval nagyobb hálóval. A tulajdonosnak két dolgot érdemes lemérnie, mielőtt ráhagyatkozik: a saját, gyűrött, rosszul megvilágított papírjain hány fotóból hányat olvas ki hibátlanul, illetve ki veszi észre a rosszul kiolvasott tételt. Egy hónapig érdemes minden kiolvasott tételt kézzel is összevetni. Utána a mért hibaarány alapján lehet dönteni arról, mennyit bíz a gépre.
Forrás: Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25 (NIPS 2012), proceedings.neurips.cc; a 60 millió paraméter, a 650 000 neuron, a réteg-felépítés, a dropout és a 15,3 kontra 26,2 százalék az összefoglalóból, az 1,2 millió tanítókép, a két GTX 580 GPU, az öt-hat napos tanítás az 1. és a 2. fejezetből, a ReLU a 3.1. fejezetből. Az ILSVRC 2012 hivatalos eredménylapja (image-net.org/challenges/LSVRC/2012/results.html): SuperVision 0,15315, a második helyezett ISI 0,26172 öttippes hiba, a csapat tagjai a Torontói Egyetemről. Introducing OpenAI (Greg Brockman, Ilya Sutskever és az OpenAI csapata, 2015. december 11.), az openai.com eredeti lapja a Wayback Machine 2015. december 26-i mentésében. The Nobel Prize in Physics 2024, sajtóközlemény, nobelprize.org. Mind 2026-09-25-én letöltve. A fordulópont-értékelés, a mai alkalmazásokhoz fűzött kapcsolat, valamint a példa a szótár saját értelmezése.
Rokon fogalmak: neurális hálózat, gépi tanulás, modell, benchmark, OpenAI