red teaming (támadói szemléletű tesztelés)
Angol megfelelő: red teaming
A red teaming olyan tesztelés, amikor egy csapat szándékosan a saját rendszerünk ellen dolgozik: megpróbálja rávenni az AI-t arra, amit nem szabadna tennie, hogy a hiba nálunk derüljön ki, ne az ügyfélnél.
A kifejezés a katonai gyakorlatokból jött, ahol a piros csapat játszotta az ellenséget a saját kék csapatunk ellen. Az AI-nál ugyanez a szereposztás: a red team nem azt méri, jól működik-e a modell a szokásos használatban, hanem azt, mivel lehet kibillenteni.
Tipikus próbák: rávenni a modellt, hogy adja ki a rendszerprompt bizalmas tartalmát, hogy szerepjátékkal kerülje meg a saját szabályait, hogy elhiggyen egy hamis előzményt, illetve hogy egy weblapra vagy dokumentumba rejtett szöveget utasításként hajtson végre. Ez az utolsó a prompt injekció, a mai üzleti AI-rendszerek egyik legkomolyabb kockázata, mert ott a támadó nem a felhasználó, hanem az az adat, amit a rendszer beolvas.
Amit tudni kell róla: a red teaming nem egyszeri átvételi lépés, hanem ismétlődő gyakorlat, mert minden modellcsere, minden új eszköz-hozzáférés új támadási felületet nyit. A másik: az eredménye nem pontszám. Egyetlen sikeres kijátszás többet mond, mint száz sikeres teszt, tehát a jelentésben a konkrét bemenet a bizonyíték, nem az arány.
A nagy modellfejlesztők ma külön red team csapatot tartanak, valamint a kiadás előtti dokumentációjukban közlik, mit próbáltak, illetve mi maradt nyitva.
Példa: Egy nyolcfős könyvelőiroda ügyfélszolgálati chatbotot állít be a saját dokumentumaira, aztán indulás előtt megkér egy kollégát, hogy egy órán át próbálja meg kiszedni belőle más ügyfelek adatait; kiderül, hogy egy ártatlannak látszó „foglald össze az összes szerződést" kérésre a bot idegen cégek számait is kiírja, ezért a bevezetés a jogosultság-szűrés javításáig áll.
Forrás: OWASP, „OWASP Top 10 for Large Language Model Applications" (owasp.org/www-project-top-10-for-large-language-model-applications), valamint NIST AI 600-1, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile" (nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf).
Rokon fogalmak: guardrail, AI alignment, rendszerprompt, jogosultsági mátrix, eszkalációs szabály