black box

Angol megfelelő: black box

A black box, magyarul fekete doboz, azt a helyzetet jelöli, amikor egy AI-modell döntését vagy válaszát kívülről nem lehet visszakövetni, mert a belső működése nem átlátható.

A mai nagy nyelvi modellek milliárdnyi paraméteren keresztül jutnak el egy válaszhoz, ezt a folyamatot még a fejlesztők sem tudják lépésről lépésre visszaolvasni. Ez különösen kockázatos olyan döntéseknél, hitelbírálat, elutasítás, ahol jogilag indokolni kellene, miért született egy adott eredmény.

Példa: Egy pénzügyi tanácsadó cég AI-alapú kockázatbesorolást használ ügyfeleknél, viszont amikor egy ügyfél megkérdezi, miért kapott magas kockázati besorolást, senki a cégnél nem tudja pontosan megmagyarázni, mi alapján döntött a modell.

Forrás: DARPA Explainable AI (XAI) program leírása, illetve Rudin, C. (2019): Stop explaining black box machine learning models. Nature Machine Intelligence.

Rokon fogalmak: guardrail, megfigyelhetőség, AI alignment