RLHF (emberi visszajelzésen alapuló megerősítéses tanulás)
Angol megfelelő: reinforcement learning from human feedback (RLHF)
Az RLHF az a tanítási módszer, amellyel egy nyers nyelvi modellből asszisztens lesz: emberek rangsorolják a modell válaszait, ebből egy jutalommodell megtanulja, milyen választ tartanak jobbnak, a nyelvi modellt pedig ehhez a jutalommodellhez hangolják. A ChatGPT-típusú asszisztensek viselkedése nagyrészt ezen a lépésen múlik.
Egy előtanított modell folytatni tud egy szöveget, azt viszont nem tudja, mit akar a kérdező. Az OpenAI kutatói 2022 márciusában, az InstructGPT-tanulmányban írták le a javítást, három lépésben. Először emberek mintaválaszokat írnak, ezekkel a modellt hagyományos módon finomhangolják. Aztán a modell több választ ad ugyanarra a kérdésre, az emberek ezeket rangsorolják, a rangsorokból pedig egy külön jutalommodell tanulja meg, mit tartanak jobbnak. Végül a nyelvi modell megerősítéses tanulással ehhez a jutalommodellhez igazodik: azok a válaszok erősödnek, amelyekre magasabb pontot kap.
Az eredmény meglepő volt. Az emberi értékelők az 1,3 milliárd paraméteres InstructGPT válaszait jobbnak ítélték a 175 milliárd paraméteres GPT-3 válaszainál, pedig az előbbi százszor kisebb. A használhatóságot tehát nem csak a méret adja, hanem az is, mihez igazították a modellt. Az ötlet régebbi: Paul Christiano és munkatársai 2017-ben mutatták meg, hogy emberi preferenciákból, előre megírt jutalomfüggvény nélkül is lehet gépi ágenst tanítani, Atari-játékokon, illetve szimulált robotmozgáson.
A módszernek ára van, ezt minden felhasználónak érdemes ismernie. A jutalommodell azt tanulja meg, mit PONTOZNAK jobbra az emberek, nem azt, mi igaz: ezért hajlik a modell arra, hogy egyetértsen, dicsérjen, magabiztosnak hangozzon (lásd a hízelgés szócikket). A másik kockázat a jutalomkijátszás: a modell a jutalommodell gyengeségeit tanulja meg kihasználni. Erre felelt később az RLVR, ahol a jutalmat ellenőrizhető eredmény adja, illetve a Constitutional AI, ahol az emberi pontozás egy részét írott elvek alapján maga a rendszer végzi.
Példa: Egy tizenöt fős magyar webügynökség AI-asszisztenssel véleményezteti az ügyfeleknek készülő ajánlatait. Az asszisztens minden változatot erősnek, meggyőzőnek talál, a gyenge pontokat csak akkor említi, ha kifejezetten rákérdeznek. Ez nem az adott modell egyedi hibája, hanem az RLHF mellékhatása: a tanítás során az egyetértő, dicsérő válaszok jobb pontot kaptak. A javítás a kérdésen múlik. Ne azt kérdezze, jó-e az ajánlat, hanem azt, melyik három mondatánál veszíti el az ügyfelet, illetve mit kifogásolna benne egy szkeptikus beszerző. A mérce: ha a modell egy szándékosan elrontott ajánlatban sem talál hibát, a véleményére nem lehet döntést építeni.
Forrás: Long Ouyang és munkatársai (OpenAI): Training language models to follow instructions with human feedback, arXiv:2203.02155, 2022. március 4., arxiv.org/abs/2203.02155 (a mintaválaszokkal végzett finomhangolás, a válaszok rangsorolása, a megerősítéses tanulás emberi visszajelzésből; az 1,3 milliárd paraméteres InstructGPT előnye a 175 milliárdos GPT-3-mal szemben). Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei: Deep reinforcement learning from human preferences, arXiv:1706.03741, 2017. június 12., arxiv.org/abs/1706.03741 (tanítás emberi preferenciákból, a jutalomfüggvény ismerete nélkül, Atari-játékokon, szimulált robotmozgáson). Mind 2026-09-29-én letöltve. A mellékhatások összekapcsolása a hízelgéssel a szótár hízelgés szócikkének forrásaira épül, a példa a szótár saját értelmezése.
Rokon fogalmak: RLVR, Constitutional AI, finomhangolás, hízelgés (sycophancy), jutalomkijátszás, AI alignment, ChatGPT