Futtasd az n8n AI-workflow-it saját gépen, felhős API nélkül

A cikk kisvállalkozásoknak szól, amelyek adatvédelmi okból nem küldhetnek ügyféladatot felhős API-nak (a cikk példái: rendelő, ügyvédi iroda, könyvelő). A szerző egyetlen NVIDIA DGX Spark gépen (128 GB közös memória) futtat minden modellt, amelyre az n8n-workflow-knak szükségük van: hívásátírás, számlaolvasás, saját dokumentumokból válaszolás, válaszvázlat. Egy erős mixture-of-experts szövegmodellt (Qwen3.6-35B-A3B, NVFP4 formátumban, vLLM-mel) használ minden szöveges feladatra, mellé beágyazó, reranker, beszédfelismerő, OCR- és képmodellt. Minden modellt egy LiteLLM-végpont mögé tesz, csapatonkénti kulcsokkal, és az n8n meglévő OpenAI node-jai ezt a végpontot hívják.

A szerző szerint a saját DGX Sparkján a szövegmodell egy felhasználónak másodpercenként 120 tokent, nyolc felhasználónak összesen 359 tokent generált (az érvelési tokenekkel együtt). A cikk egy buktatót is leír: az első próbálkozásnál használt vLLM nightly konténercímke már nem frissült, a letöltött, öt hónapos kép régi vLLM-et tartalmazott, és nem tudta betölteni a modellt; a hibaüzenet ráadásul sérült modellfájlra utalt. A hivatalos vllm/vllm-omni:v0.30.0 kép működött.

A cikk két gyakorlati szabálya: a modelleket egyszer töltsd le, rögzítsd a pontos commitot egy lock fájlban, és indításkor ezt add meg, hogy egy frissítés ne cserélje ki észrevétlenül a súlyokat vagy a licencet; a konténerképekben pedig ellenőrizd a tényleges szoftververziót, ne bízz a címkében. A szerző csak kereskedelmi felhasználást engedő modelleket választott. Gyártói forrás: az n8n saját blogja. Érintett: a szerző az n8n munkatársa (a szerzői oldala szerint „Senior Dev Rel in Education here at n8n”), a cikk az n8n saját blogján jelent meg.