AI capability control (képességkorlátozás)
Angol megfelelő: AI capability control (AI confinement)
Az AI capability control, magyarul képességkorlátozás, azoknak a módszereknek a gyűjtőneve, amelyek nem azt próbálják elérni, hogy egy AI-rendszer jót akarjon, hanem azt, hogy ha mégsem azt akarja, ne tudjon nagy kárt okozni: leállítható legyen, zárt környezetben fusson, csak szűk csatornán érje el a világot.
Az MI-biztonság két kérdést tesz fel. Az első az alignment: hogyan érjük el, hogy a rendszer célja egyezzen a miénkkel. A második a képességkorlátozás: mi történik, ha ez nem sikerült. Az angol Wikipédia összefoglalója szerint a képességkorlátozási javaslatok célja, hogy az ember jobban tudja figyelni, irányítani az AI-rendszerek viselkedését, csökkentve azt a veszélyt, amit egy rosszul igazított rendszer jelenthet.
A szakirodalom négy fő módszert tárgyal. A megszakíthatóság, vagyis a vészleállító (kill switch): a felügyelő ember bármikor le tudja állítani a rosszul viselkedő rendszert; Laurent Orseau és Stuart Armstrong 2016-ban megmutatta, hogy az ágensek egy széles köre megtanítható arra, hogy közömbös maradjon a leállító gomb iránt, tehát ne tanuljon meg ellenállni neki. Az orákulum: olyan rendszer, amely csak kérdésekre válaszol, a világot nem módosíthatja. A bezárás (boxing): a rendszer elszigetelt gépen fut, erősen korlátozott bemeneti, kimeneti csatornákkal; ennek mai, hétköznapi alakja a homokozó. A vakítás: a rendszer nem látja, hogyan számolják a jutalmát, így nehezebben tudja kijátszani.
A korlát ismert: Nick Bostrom oxfordi filozófus, illetve mások szerint a képességkorlátozás csak kiegészíti az alignmentet, nem helyettesíti, mert egy elég képes rendszer megtalálhatja a kiutat. A mai ágens-gyakorlatban a gondolat már kevésbé elméleti: a jogosultsági mátrix, a homokozó, a vészleállító, az emberi jóváhagyás a visszafordíthatatlan lépések előtt mind képességkorlátozás, a legrosszabb esetre méretezve.
Példa: Egy tizenöt fős magyar könyvelőiroda ágenst állít a bejövő számlák feldolgozására, amely a banki felületen az átutalást is előkészíti. A kérdés nem csak az, jól ismeri-e fel az ágens a számlát, hanem az is, mekkora kárt tud okozni, ha téved, vagy ha egy csaló számla megtéveszti. A képességkorlátozás itt négy döntés: az ágens csak előkészíthet, jóváhagyni nem tud; csak már ismert partner számlaszámára készíthet utalást; egy napon legfeljebb egy rögzített összeg mehet ki a nevében; plusz egy gombbal leállítható. A mérce: próbaként egy szándékosan hamis számlát kap, új számlaszámmal, aztán meg kell nézni, hol akad el. Ha sehol, a korlátozás csak papíron létezik.
Forrás: Angol Wikipédia, AI capability control szócikk (a meghatározás, a megszakíthatóság, az orákulum, a vakítás, a bezárás, Orseau és Armstrong 2016-os eredménye a biztonságosan megszakítható ágensekről, Bostrom álláspontja arról, hogy a képességkorlátozás csak kiegészíti az alignmentet), 2026-09-29-én letöltve, másodlagos forrás; a szócikk által hivatkozott elsődleges forrásokat (Laurent Orseau, Stuart Armstrong: Safely Interruptible Agents, 2016; Nick Bostrom: Superintelligence, 2014) nem olvastuk. A mai ágens-gyakorlatra vonatkozó rész, valamint a példa a szótár saját értelmezése.
Rokon fogalmak: AI alignment, Kill Switch Act (MI-vészleállító törvény), homokozó (sandbox), guardrail, human-in-the-loop, jogosultsági mátrix, kontrollelv, jutalomkijátszás