automation bias

Angol megfelelő: automation bias

Az automation bias, magyarul automatizmustorzítás az a hajlam, hogy az ember egy gép vagy egy AI-rendszer javaslatát kritika nélkül elfogadja, még akkor is, ha az ellentmond a saját tudásának vagy a látható tényeknek.

A jelenség onnan ered, hogy egy automatizált rendszer ellenőrzése fáradságosabbnak tűnik, mint elfogadni a kimenetét, főleg ha a rendszer eddig megbízhatónak bizonyult. A kockázat pontosan ott a legnagyobb, ahol a döntés súlyos, az ellenőrzés viszont időigényes, ilyenkor az ember gyakran kihagyja a saját józan eszét.

Példa: Egy könyvelőiroda az AI-asszisztens által kiszámolt áfaösszeget minden ellenőrzés nélkül átvezeti, mert eddig sosem tévedett. Amikor egyszer rossz adatot kap bemenetként, a hibás összeg simán átmegy, mert senki nem nézte át.

Forrás: Parasuraman, R., Riley, V. (1997): Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2).

Rokon fogalmak: hallucináció, guardrail, human-in-the-loop