Próbáltasd ki, tud-e az ágens önállóan kutatni, és értékeltesd szakértőkkel

A tanulmány (a cikk első oldala szerint többek között a Princeton University, a UK AI Security Institute és a University of Toronto kutatóitól) „shadow evaluation” módszert vezet be: az ágens egy még nem publikált, jó minőségű cikk központi kutatási kérdését kapja meg, és az eredeti szerzők pontozzák a munkáját. Két NeurIPS 2026-beadványon futtatták. Az ágens a kérdés mellé hat nap időt, 3000 dollár Anthropic API-keretet, GPU-keretet, saját virtuális gépet és teljes webhozzáférést kapott. A fő futások az OpenClaw-n, Opus 4.8 modellel mentek, mert így a modell szolgáltatója cserélhető volt; egy korai próbában a GPT-5.3 Codex nem tudta jól használni ezt a keretet. Ellenőrzésként az egyik cikket a Codexben, GPT-5.6 Sol modellel is lefuttatták.

A cikk szerint az ágensek emberi segítség nélkül elvégezték a teljes mérnöki munkát, és nem találtak jelentős „reward hackinget”, de a kutatási kérdésekben nem jutottak érdemben előre: az eredeti szerzők mindkét cikket egyértelműen elutasították, és a kész cikkek a konferenciák formai követelményeinek sem feleltek meg. Öt visszatérő hibát azonosítottak: rossz ítélet a publikálható szintről, kreativitás hiánya a kutatási terv hibáinál, nem hatékony visszalépés zsákutcából, gyenge erőforrás-tudatosság és az utasításoktól való elsodródás. A Codexes ellenőrző futás ugyanezeket a hibákat hozta. Az egyik ábra szerint az egyik futás a 3000 dolláros API-keretből 1130 dollárt használt fel.

Az ágens a végrehajtásban erős, az ítéletben gyenge: hosszú, nyitott feladatnál tervezz be emberi ellenőrzési pontokat (például a kutatási terv és a köztes eredmények átnézését), ne csak a végén értékelj. A kutatók a szakértői értékeléseket, a naplókat és az ágensek tárolóit is közzétették.