szenvedéskockázat (suffering risk)
Angol megfelelő: suffering risk, röviden s-risk (teljes alakban risk of astronomical suffering)
A szenvedéskockázat olyan jövőbeli kimenetel kockázata, amely súlyos szenvedést hozna kozmikus léptékben, messze többet, mint amennyi a Földön eddig összesen volt. Az egzisztenciális kockázatról szóló viták a kihalást tartják a legrosszabb esetnek, a szenvedéskockázat ennél rosszabbat ír le: a világ megmarad, viszont tele van szenvedéssel. Roman Yampolskiy egy mondatba sűrítette: egzisztenciális kockázatnál halott vagy, szenvedéskockázatnál azt kívánod, bárcsak az lennél.
Honnan jön. David Althaus 2016-os írása szerint a kifejezést lényegében Brian Tomasik alkotta meg 2013-ban; Tomasik már 2011 decemberében írt a csillagászati léptékű jövőbeli szenvedés kockázatáról. A Wikipédia által is idézett meghatározás Max Daniel 2017 júniusi előadásából való (EA Global Boston): olyan kockázat, ahol egy rossz kimenetel kozmikus léptékű, súlyos szenvedést hoz, ami messze meghaladja a Földön eddig létezett összes szenvedést. Daniel Nick Bostrom két tengelyéből indul, ezek a hatókör (hány egyént érint) meg a súlyosság (mennyire rossz egy érintettnek). A szenvedéskockázat mindkettőn a legnagyobb, ezért Daniel az egzisztenciális kockázat alosztályának tekinti.
Mi köze az AI-hoz. Kaj Sotala és Lukas Gloor 2017-es tanulmánya (Informatica, szuperintelligencia-különszám, 2017. december 27.) azt állítja, hogy a szenvedéskockázat súlyosságban és valószínűségben is összemérhető a kihalás kockázatával, a szuperintelligens AI pedig okozhatja is, meg is előzheti. Az egyik út a „mind crime”: egy szuperintelligencia kutatási célból vagy zsarolásra tudatos lények szimulációit futtatja. A kockázat lehet szándékos (törzsi szembenállás, szadizmus, bosszúvágy), vagy egy gazdasági folyamat mellékhatása.
Ki kutatja. A londoni Center on Long-Term Risk (CLR) a fejlett AI legrosszabb kimeneteleivel foglalkozik; saját meghatározása szerint az elsődleges etikai célja az önkéntelen szenvedés csökkentése, emberé, állaté, jövőbeli mesterséges elméé egyaránt. Daniel, Sotala és Gloor 2017-ben még a Foundational Research Institute nevében írt, Daniel előadása ma a CLR lapján áll. A 80 000 Hours karrier-tanácsadó szervezet 2022-es, 2026 februárjában frissített elemzése szerint világszerte kevesebb mint 50 ember dolgozik kifejezetten ezen.
Mi a vitatott rész. Ugyanez a 80 000 Hours azt tippeli, hogy a kihalásnál is rosszabb kimenetel valószínűsége nagyon kicsi, jóval kisebb a kihalásénál, ezért ők inkább az utóbbira figyelnek; maguk teszik hozzá, hogy a terület annyira elhanyagolt, hogy ezt nehéz tudni. Ez szembemegy Sotala és Gloor állításával, tehát a valószínűségről nincs egyetértés. Althaus szerint a jövőbeli boldogság és szenvedés arányára adott becslések szubjektív ítéleten múlnak, Daniel pedig maga mondja, hogy abból, hogy ez a legsúlyosabb kockázat, még nem következik, hogy ezzel kell foglalkozni elsőként: számít a valószínűség, a kezelhetőség, az elhanyagoltság is.
Miben más, mint a modelljóllét. A szenvedéskockázat a szenvedés mértékéről szól, bárkié: emberé, állaté, digitális elméé. A modelljóllét azt kérdezi, hogy maga a modell szenvedhet-e. A kettő ott ér össze, ahol a szenvedő elme maga is digitális, ilyen a „mind crime”. Yampolskiy a Beyond Tomorrow podcastban külön is választja a kettőt: szerinte a gépi tudat nem része az AI-biztonsági aggodalmaknak, az arról szól, hogyan bánunk az AI-jal; a legrosszabb forgatókönyvre viszont a szenvedéskockázattal felel, egy kifejezéssel: „digitális pokol”.
Példa: Egy győri baráti vacsorán valaki megnézte a Yampolskiy-interjút, mire Péter legyint: „A legrosszabb, ami jöhet, hogy kihalunk, akkor meg már úgyis mindegy.” Anna erre a szenvedéskockázattal felel: van ennél rosszabb, ha a világ megmarad, viszont tartósan elviselhetetlen. Mire jó a fogalom ebben a vitában: arra, hogy a „mekkora baj” kérdést két részre bontsa, hány érintett van, továbbá mennyire rossz nekik. Mire nem: arra, hogy bárki számot mondjon rá. A szakértők sem értenek egyet abban, mennyire valószínű, tehát a vacsoránál senki nem nyerheti meg a vitát egy százalékkal.
Forrás: Max Daniel: S-risks: Why they are the worst existential risks, and how to prevent them (EAG Boston 2017), 2017 június, longtermrisk.org/research/s-risks-talk-eag-boston-2017/ (a meghatározás, a két tengely, az alosztály, a hibás érvelés). Kaj Sotala, Lukas Gloor: Superintelligence as a Cause or Cure for Risks of Astronomical Suffering, Informatica 41(4), 389–400. oldal, 2017. december 27., informatica.si/index.php/informatica/article/view/1877 (az összemérhetőség, az AI kettős szerepe, a mind crime). David Althaus: Reducing Risks of Astronomical Suffering: A Neglected Priority, 2016 szeptember, longtermrisk.org/research/reducing-risks-of-astronomical-suffering-a-neglected-priority/ (Tomasik mint a kifejezés megalkotója, a szubjektív arány). Brian Tomasik: Risks of Astronomical Future Suffering, 2011 december, longtermrisk.org/research/risks-of-astronomical-future-suffering/. Center on Long-Term Risk: About us, longtermrisk.org/about/ (küldetés, etikai cél). Benjamin Hilton, 80 000 Hours: S-risks, 2022. szeptember 16., frissítve 2026. február 2., 80000hours.org/problem-profiles/s-risks/ (kevesebb mint 50 kutató, a valószínűségi tipp, a három típus). Wikipedia: Risk of astronomical suffering, en.wikipedia.org/wiki/Risk_of_astronomical_suffering (szándékos vagy mellékhatásként jövő kockázat). Roman Yampolskiy a Beyond Tomorrow podcastban, YouTube QkpOFlj604s, a leirat [18:14] kezdetű blokkjának vége, közvetlenül a [20:14] előtt (az idézet, a „digitális pokol”, a tudat leválasztása). Mind 2026-10-18-án letöltve. A példa a szótár saját értelmezése.
Rokon fogalmak: modelljóllét (model welfare), AI alignment, szuperintelligencia, AGI, AI capability control (képességkorlátozás)