OSWorld
Angol megfelelő: OSWorld
Az OSWorld egy 2024-ben publikált mérőrendszer (benchmark), ami nem szöveges tudást, hanem azt méri, mennyire tud egy AI-ágens önállóan dolgozni egy valódi számítógépes felhasználói felületen (Ubuntu, Windows, macOS), fájlkezeléstől a böngészésen át a több programot átfogó munkafolyamatokig.
A korábbi ágens-mérésekkel szemben az OSWorld nem egy mesterségesen leegyszerűsített, szöveges felületet ad az ágensnek, hanem egy valódi operációs rendszert, egérrel-billentyűzettel irányítva, ahol a feladat csak akkor számít megoldottnak, ha a végeredmény (fájl, beállítás, dokumentum-tartalom) tényleg helyes. A mérés 369 feladatból áll. A kiinduló publikáláskor ember 72,36 százalékot oldott meg, a legjobb AI-ágens akkor 12,24 százalékot ért el; a 2025-2026-os újramérésekben a legjobb ágens körülbelül 38 százalékig jutott. A szakadék embert és AI-t szűkül, de nagyrészt megmaradt.
Példa: Egy húszfős könyvviteli iroda vezetője egy AI-ágenst fontolgat, ami önállóan töltene ki egy adóhatósági felületet, az OSWorld-höz hasonló mérések alapján viszont tudja, hogy egy ilyen ágens ma is elakadhat egy váratlan felugró ablaknál vagy egy nem várt gomb-elhelyezésnél, ezért embert tart a folyamat végén ellenőrzésre.
Forrás: Xie, T. és szerzőtársak, "OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments" (arxiv.org/abs/2404.07972, NeurIPS 2024), valamint os-world.github.io.