RLVR (jutalmakon alapuló megerősítéses tanulás)
Angol megfelelő: reinforcement learning with verifiable rewards (RLVR)
Az RLVR egy nyelvi modell tanítási módszere, amelyben a modell jutalmat csak akkor kap, ha a válasza gépileg ellenőrizhetően helyes: kijön a jó matematikai végeredmény, lefutnak a tesztek, teljesül a kért formai feltétel. A jutalmat nem ember adja és nem egy betanított bírómodell, hanem egy szabály, ami vagy igazat mond, vagy hamisat.
A név az Allen Institute for AI (AI2) kutatóitól ered: a Tülu 3 nyílt modellcsalád leírásában, 2024 novemberében nevezték így a tanítás utolsó szakaszát. A módszer a rokon RLHF-hez képest egy ponton tér el, viszont az a pont a lényeg.
Az RLHF-nél emberek pontozzák vagy rangsorolják a modell válaszait, ebből egy jutalommodell tanulja meg, mi a „jó válasz", aztán a nyelvi modell ehhez a jutalom-modellhez igazodik. A jutalom tehát vélemény, egy gép által megtanult vélemény. Az RLVR-nél a jutalom tény: a feladatnak van ellenőrizhető eredménye, egy program megnézi, egyezik-e a modell végeredménye a helyes megoldással, illetve átmegy-e a kód az előre megírt teszteken; csak a helyes válasz kap pontot.
A módszer a gondolkodó (érvelő) modellekkel lett ismert: a DeepSeek 2025 januárjában közölt R1-modelljét nagyrészt így tanították, matematikai feladatokon, ahol a végeredményt egy kijelölt helyre kell írni, hogy szabállyal ellenőrizhető legyen, plusz programozási feladatokon, ahol a fordító és a tesztesetek adják a visszajelzést. A gyártó leírása azt is megindokolja, hogy betanított jutalom-modellt azért nem használt, mert nagy léptékű tanításnál a modell megtanulja kijátszani a bírót (ez a jutalom-kijátszás, angolul reward hacking), egy szabályt viszont nehezebb becsapni.
A módszer korlátja a nevében van: csak ott működik, ahol a jó válasz gépileg ellenőrizhető. Matematikán, kódon, formai előírásokon igen; egy jó levélen, egy meggyőző ajánlaton, egy tapintatos ügyfélválaszon nem, mert ott nincs szabály, ami igazat mondana. Ezért a mai modellek tanításában az RLVR nem váltja le az emberi visszajelzést, hanem mellette áll.
Egy 2025 áprilisi kutatás arra is rámutatott, hogy az RLVR elsősorban azt élesíti, amit az alapmodell már tud: egy-két próbálkozásból gyakrabban találja el a jó választ, viszont sok próbálkozásból az alapmodell ugyanannyit vagy többet talál el, tehát új gondolkodási mintát a módszer a szerzők szerint nem hoz létre. Ez a szócikk a 2026. szeptember 19-i állapotot írja le; a terület gyorsan változik, a módszer határairól szóló vita nincs lezárva.
Példa: Egy tízfős magyar könyvelőiroda saját MI-asszisztenst akar, ami áfabevallás előtt átnézi a számlákat. Két feladatot adnak neki. Az első: egyezik-e a számla nettó összege, áfakulcsa és bruttó végösszege. Ez ellenőrizhető, egy táblázat-képlet eldönti, jó-e a válasz, tehát ha valaha saját modellt tanítanának rá, pont az ilyen feladaton tanulna a gép RLVR-rel gyorsan és olcsón. A második: írjon udvarias levelet az ügyfélnek, aki harmadszor küld hiányos bizonylatot. Ezt nem ellenőrzi képlet, itt ember mondja meg, jó-e a hangnem. A tanulság a vásárlónak szól: ha egy modell „kiváló matekban és kódban", az részben ennek a módszernek köszönhető, viszont az ügyféllevél minőségére ebből semmi nem következik, azt külön kell kipróbálni, a saját levelein.
Forrás: Lambert és mtsai: „Tulu 3: Pushing Frontiers in Open Language Model Post-Training", arXiv:2411.15124, https://arxiv.org/abs/2411.15124 (első változat 2024-11-22, jelenlegi v5 2025-04-14; az absztrakt, plusz a teljes szöveg 2.3. és 6.1. szakasza: az RLVR elnevezése, a jutalom csak ellenőrzötten helyes válaszra jár, jutalom-modell helyett; adatok: GSM8K, MATH, IFEval), lekérve 2026-09-19-én, elsődleges forrás. DeepSeek-AI: „DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, https://arxiv.org/abs/2501.12948 (v1 2025-01-22; az absztrakt, plusz a v1 2.2.2. szakasza: szabály alapú pontossági jutalom, dobozba írt végeredmény, fordító és tesztesetek, a betanított jutalom-modell elhagyása a jutalom-kijátszás miatt), ugyanígy, elsődleges forrás; a 2026. januári v2 teljes szövegét nem olvastuk. Yue és mtsai: „Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?", arXiv:2504.13837, https://arxiv.org/abs/2504.13837 (v1 2025-04-18), CSAK az absztrakt, ugyanígy. Az olvasó eszköz összefoglalót ad vissza, nem nyers szöveget, tehát a szócikk nem idéz szó szerint.
Rokon fogalmak: RLHF, Constitutional AI, finomhangolás, reasoning (gondolkodás, indoklás), benchmark, AI alignment, hallucináció