guardrail

Angol megfelelő: guardrail

A guardrail egy olyan biztonsági korlát egy AI-rendszer köré építve, ami megakadályozza, hogy a modell tiltott, veszélyes vagy márkaidegen tartalmat generáljon, vagy jogosulatlan műveletet hajtson végre.

A guardrail jellemzően a modellen kívül fut: szűri a bemenetet és a kimenetet is, függetlenül attól, hogy maga a modell mit tartana helyesnek. Egy jól beállított guardrail nélkül egy ágens könnyen végrehajthat olyan lépést, káros tanácsot, jogosulatlan adatkiadást, illetéktelen fizetést, amit a fejlesztő sosem engedélyezett volna.

Rokon fogalmak: AI alignment, ágens, hallucináció