Teszteld a helyi modellt rövid, valós feladatokon az ágensedben

A szerző a Muse Glimmer 30B modell Q4_K_M változatát llama.cpp-vel, 64K kontextussal futtatta egy RTX 5090-en, és alapbeállítású Hermes Agenttel, feladatonként új munkamenetben tíz saját írású, rövid feladatot adott neki.

A szerző szerint mind a tíz feladat sikerült: az ágens kijavított egy hibás Python-függvényt, és a tesztfájl módosítása nélkül lefuttatta a teszteket; egy hiányzó mappa miatt elbukott szkriptnél elolvasta a hibát, létrehozta a mappát és újrafuttatta. Kétszer a Python-sandboxot akarta használni, amelyet a Hermes jóváhagyó nélkül letilt; ilyenkor átváltott a shellre és befejezte a feladatot. Hibás tool call nem volt.

A szerző maga jelzi: ezek rövid, egyszer lefuttatott feladatok, amelyek azt mutatják, hogy a modell tudja kezelni az eszközöket, de azt nem, hogyan bírja egy órás munkát. Érintett és gyártói forrás: a szerző X-profilja szerint „community @NousResearch”, vagyis a Nous Research (a Hermes Agent fejlesztője) közösségi csapatához tartozik.