AI alignment
Angol megfelelő: AI alignment
Az AI alignment az a kutatási terület, ami azt vizsgálja, hogyan lehet egy MI-rendszer célját és viselkedését az emberi szándékkal összhangba hozni.
A probléma gyökere, hogy egy modell tanítás közben nem feltétlenül azt tanulja meg, amit a fejlesztő szeretne, hanem azt, ami a tanítóadatban vagy a visszajelzési jelben jutalmazva van. Az alignmentkutatás ezért olyan technikákat keres, emberi visszajelzésből tanulást, biztonsági tesztelést, red teaming-et, amelyekkel a modell viselkedése kiszámítható marad éles használatban is.