The Result Was Fast. Its Queue Was Not — NovaCommerce 4

A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.

Szerző

Anichur Rahaman

1 hónapja6 perc olvasás370 megtekintés
The Result Was Fast. Its Queue Was Not — NovaCommerce 4

Egy hallgató befejezi a vizsgát, és várja a pontozási lapot. A tényleges újraszámítás körülbelül 0,34 másodpercet vesz igénybe. Az október 6-i esetnyilvántartásban egyes lapok 10–115 perccel érkeztek későn. A rövid feladat körülbelül 2 000, egyenként nagyjából tíz másodpercet igénylő AI-feladat mögött várakozott, miközben két worker osztotta a munkacsatornát.

A NovaCommerce anonimizált tanfolyam- és vizsgaplatform. A 4. rész megtartja a meglévő, 2026. szeptember–októberi megfigyeléseket, és elválasztja a bevezetett változtatásokat a javasolt védőintézkedésektől. Nem új incidensaudit vagy a StoreConsole teljesítménytesztje.

A megosztott állapot eltolta a hiba határát

A sessionök, a cache és az üzenetsorok kezelt Valkeybe való kiszervezése segített lecserélni a webnode-okat. Ugyanakkor közös függőséget hozott létre: az október 6-i terheléspróbán 2 854 kapcsolatidőtúllépést rögzítettek. Az eset leírta az új TLS-kapcsolatokat, valamint a 4 GB-ról 8 GB-ra való átméretezést node-onként, egy fő és egy tartalék példány esetén. Egy későbbi, 25–500 kérés/másodperces emelkedési teszt nulla alkalmazáshibát, de 143 terhelésmegosztói hibát jelentett a CPU telítettségénél. A kapcsolati hiba megváltozott; a teljes útvonal továbbra is elbukott kéréseknél.

Egy időtúllépés önmagában nem bizonyítja a memória kimerülését, és nem támasztja alá egy adott kézfogási művelet CPU-költségét. Vizsgáld meg a kapcsolatok forgását, a korlátokat, a hálózatot és a szervermutatókat. A vizsga alatt rögzített 12,5%-os memóriahasználat egyetlen megfigyelés, nem kapacitásgarancia. A noeviction megakadályozza a memórianyomás miatti kiszorítást, de új írásokat visszautasíthat; nem biztosít üzenetsor-perzisztenciát, veszteségmentes átvételt vagy izolációt a cache, a sessionök és a feladatok között.

Adj külön kiszolgálókapacitást a sürgős eredményeknek

A csapat elválasztotta az AI-szövegcsatornát a pontozási és pozíciófeladatoktól. Az eset szerint ezután a pontozási lapok körülbelül egy perc alatt érkeztek. A külön nevek önmagukban ezt nem garantálnák: a folyamatallokációnak, az adatbázis-kapcsolatoknak és a megosztott CPU-nak is kellő teret kell hagyniuk a sürgős feladatok számára.

A korábbi számítás megmagyarázza a felhalmozódást: 2 000×10=20 000 worker-másodperc; két workerre osztva körülbelül 10 000 másodperc, vagyis 166,7 perc, a többletköltség nélkül. Ez a lehetséges várakozást szemlélteti, nem pontos teljesülési előrejelzést. Független a későbbi szolgáltatói korlátozástól. A nyolc hívás/perces megosztott korlát mellett 2 000 egyszeri hívásból álló feladathoz legalább 250 perc – 4 óra 10 perc – szükséges, újrapróbálkozások és új érkezések nélkül.

HibaosztályVálaszBefejezés bizonyítéka
Átmeneti fojtásMegosztott korlát; Retry-After; korlátozott jitterAz eredeti művelet egyeztetésre került
A szolgáltató hitel- vagy hitelesítési problémájaSzüneteltetés; riasztás; az ok javításaSzabályozott folytatás, határidő ellenőrzése
Ismeretlen külső eredményLekérdezés és egyeztetés az újrajátszás előttNincs duplikált mellékhatás
Az újrapróbálkozási határidő elérteA hibás/függőben lévő bejegyzés megtartása; felülvizsgálatAuditált újrajátszás vagy egyértelmű végállapot
Worker elveszettA feldolgozás visszaállítása és a ledger egyeztetéseAz elfogadott munka elszámolva

Az osztályozott problémát próbáld újra, nem minden elutasítást

A korábbi munkacsatorna nyolc hívás/perces megosztott sebességkorlátozót, 1–15 perces exponenciális backoffot jitterrel, legfeljebb 12 órás újrapróbálkozási ablakot és ideiglenes sablonszöveget használt. Az eset hitelhiány során körülbelül 3 800 késleltetett szöveget is rögzített, amelyek feldolgozása a hitel feltöltése után folytatódott. Ez helyreállási megfigyelés, nem bizonyítja, hogy minden késleltetett feladat befejeződött, illetve egyik sem járhatott le.

A beállított sebességet esetbeállításnak kezeld, nem garantált szolgáltatói jogosultságnak: token- és párhuzamossági korlátok is érvényben lehetnek. Ha megadnak Retry-After értéket, tartsd be. Az átmeneti fojtásokat és ideiglenes hibákat egy abszolút határidőn belül próbáld újra; a permanent hitelesítési, érvénytelen payload- és elfogyott hitel miatti hibáknál állítsd le vagy szüneteltesd a folyamatot, és riaszd a felelőst. Őszintén jelezd a függőben lévő vagy sablonállapotot. A határidőn tarts meg egy felülvizsgálható hibát és egy szabályozott újrajátszási utat, ne veszítsd el csendben a munkát.

A hálózati időtúllépés elrejtheti a befejezett szolgáltatói hívást. A duplikált mellékhatás megelőzése érdekében használj stabil műveletazonosítót, a szolgáltató által támogatott idempotenciát vagy állapotegyeztetést. A belsi keretet csak akkor visszavond, ha megerősítetted a fel nem használt foglalást; az alkalmazásszámláló módosítása nem vonhatja vissza a szolgáltató számláját. A számlázási foglalásoknak és a befejezési bejegyzéseknek auditálhatónak kell lenniük. Ezek kötelező tervezési ellenőrzések, nem a történelmi rendszerben újonnan ellenőrzött implementációk.

Megbízhatósági térkép: tartós eredményelfogadás, pontozási és AI-csatornák, megosztott sebességkorlát, korlátozott újrapróbálkozás, egyeztetés és egyértelmű helyreállítás.
A sürgős eredményeknek és a választható szövegeknek eltérő szolgáltatási igényeik vannak. Ez a térkép a javasolt ellenőrzéseken kívül a történelmi esetbeállításokat is tartalmazza.

Egyetlen worker helyreállítható hiányosság, nem pontosan egyszeri végrehajtás

Egyetlen rögzített, 4 vCPU/8 GB méretű worker az üzenetsorokat, az ütemezést, a WebSocketeket és az SMS-eket is kezelte; a gateway egyetlen kimenő IP-t engedélyezett. A snapshotje létezett, a fenntartott IP-ről történő helyreállítást, a tartalék workert és a vizsgaterhelési kapacitást viszont csak tervezték. A fenntartott címnek ténylegesen támogatnia kell a szükséges kimenő forgalmat és a szolgáltató engedélyezési listáját; önmagában a kiosztása nem bizonyítja, hogy az SMS működik.

Ha ez a worker leáll, a háttérfolyamatok befejezése megszakad. Az elfogadott válaszoknak már korábban tartós, hiteles forrásban rögzített bejegyzéssel kell rendelkezniük; ne ígérd a biztonságukat kizárólag azért, mert az üzenetsor a Valkeyben található. Teszteld a perzisztenciát, az elfogadott munka egyeztetését és az átvétel utáni újrajátszást. Több worker normális működés, ha biztonságos foglalások és idempotens hatások léteznek. Egyetlen ütemező vagy egy megosztott zár önmagában nem garantálhatja a pontosan egyszeri üzleti hatásokat összeomlás után. A megfelelő esetekben a feladat időtúllépését a foglalás láthatósági idejénél/újrapróbálkozási határidejénél alacsonyabbra állítsd, és különítsd el ezt az időközt a backofftól.

Javítsd az azonosítókat, és tartsd meg a bizonyítékokat

A két sebességkorlátozó réteg a hitelesített hallgató helyett az IP-címet számolta. Október 7-én egy dashboard-végpontra irányuló hívások 74%-a állítólag 429-es hibát adott; ezt követően a végponthoz fiók- és útvonalkulcsokat használtak. Ez nem jelenti, hogy minden visszaélésvédelmi korlátot el kell távolítani. Tartsd meg a fiók-, vendég-, hálózati és szolgáltatói védelmeket, és csak ellenőrzött proxykon keresztül bízz a továbbított fejlécekben. Az aláírt IP-cím önmagában még nem jelent jogosultságot.

A backendnaplókat a Fluent Bit továbbította az OpenSearchbe. A frontendnaplók továbbítása még tervezésben volt, és helyben körülbelül 440 MB/nap volt a törlés kockázatával. A naplók továbbításához korlátozott pufferelés, kézbesítésfigyelés, korlátozott hozzáférés és a válaszok, tokenek és személyes adatok maszkolása szükséges; a node-on kívüli tárolás nem jelent azonnali, veszteségmentes kézbesítést.

A vizsgafigyelő figyelte a folyamatok indítását/beküldését, a node-onkénti kéréseket és az 5xx hibákat, a CPU-t, az üzenetsorok állapotát és a hibás feladatokat. A vizsga alatt a worker pool minimumának csökkentése állítólag két perc alatt körülbelül 360 kéréshibát okozott. A „ne skálázz befelé a vizsgák alatt” futáskönyv csökkentette a kockázatot, de nem volt kikényszerített zár. Figyeld a legrégebbi feladat életkorát és a függőben lévő eredményeket, nem csak a CPU-t vagy a hibás feladatok nulla számát. Az 5. rész azt vizsgálja, mit bizonyítottak valójában a tesztek.

Sorozat

Elsődleges források

2026. november 6-án áttekintve. Anichur Rahaman, a StoreConsole alapítója. A meglévő esetmegfigyelések megtartva; az elsődleges források az általános működést magyarázzák, nem a privát rendszer friss ellenőrzését.

A szerzőről

Anichur Rahaman

Folytatás