
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
To reelle eksamener, én feil ved nedskalering og en nyttig planleggingsmodell. Gjennomgangen skiller observasjoner, ekstrapoleringer, driftskostnader og gjenopprettingstester som gjenstår.
Forfatter
Anichur Rahaman

7. oktober 2026 ble to eksamener holdt etter hverandre. Sakregistreringen viser 661 oppstarter og 638 leveringer i det ene, og 439 oppstarter og 425 leveringer i det andre. Deretter ble minimumsgrensen for en pool senket midt i eksamenen: en serverende node forsvant uten forventet nedtapping, og rundt 360 forespørsler mislyktes på to minutter. Både den fungerende tjenesten og feilen hører til i resultatet.
NovaCommerce er en anonymisert plattform for kurs og eksamener. I denne siste delen beholdes eksisterende observasjoner fra september–oktober, det publiserte regnestykket beregnes på nytt, og det gjøres rede for hva som fortsatt er uprovet. Dette er verken en ny repetisjon av loadtesten eller en StoreConsole-benchmark.
Undersøkelsen fant en IP-basert begrenser 25. september, feil i Valkey-tilkoblinger under en test 6. oktober og metning av CPU på backend for den testede forespørselstrafikken. Ulike årsaker krevde ulike endringer. «Flere servere» passet ved enkel kapasitetspress, men erstattet verken korrekt identitetshåndtering eller en fungerende delt tjeneste.
Registreringene omfatter en frontend-test på omtrent 356 forespørsler/s, p95 0,05 s og null rapporterte feil; en autoscale-test basert på GET 5. oktober som nådde rundt 750 forespørsler/s, uten rapporterte serverfeil eller timeouter, men med rundt 4 % HTTP 429; og en opptrapping fra 25 til 500 med null applikasjonsfeil, men 143 feil i loadbalanseren. Testene har ulik sammensetning og ulikt omfang. Ikke slå sammen de beste tallene deres til ett påstand om vellykket gjennomstrømning.
Den overvåkede utrullingen hadde senere 219 målinger, én hvert annet sekund, med null feil. Dette er nyttig stikkprøvebasert bevis, ikke bevis på at alle forespørsler, skrivinger eller langvarige tilkoblinger overlevde. En fullstendig test av forretningsflyten må validere godkjenning av autentiserte svar, varige bekreftelser, trygge nye forsøk og endelige resultater, ikke bare HTTP-status eller en rask bufret startside.
638/661 gir 96,5 %; 425/439 gir 96,8 %. Dette er andeler innsendte svar, ikke tilgjengelighetsprosent. Manglende innsending kan ha flere årsaker; tallene tilskriver ikke hver manglende innsending til en teknisk feil og beviser ikke null datatap.
Saken rapporterer et topp på rundt 69 forespørsler/s på backend ut fra minuttlogger, mot 63 i leverandørens todominuttersaggregering. CPU for poolen nådde 47 % i den rapporterte gjennomsnittverdien, mens én node nådde 86 % i ett minutt. Maks CPU for MySQL var 24,5 %, gjennomsnitt 13,4 %; maks for worker var 46 %, med null registrerte mislykkede jobber. Hold aggregasjonsvinduer og nevnere synlige. Null mislykkede jobber betyr ikke at det ikke fantes ventende eller tapte arbeidsoppgaver.
Den gamle CPU-estimatet var rundt 59 ms/forespørsel. Ved 63 forespørsler/s blir det 3,717 CPU-sekunder/s; delt på åtte vCPU gir omtrent 46,5 %. At dette ligger nær 47 %, er en konsistenskontroll under disse forutsetningene, ikke bevis på årsakssammenheng eller lineær skalering. Hendelsen ved nedskalering viste hvorfor readiness, belastning per node og utfasning trenger hvert sitt bevis. Kjøreboken for eksamenstimene var en menneskelig kontroll, ikke en håndhevet forbud.
Den historiske planleggingsmodellen antok 50 backendforespørsler/s per node, en grunnleggende trafikk på 30 forespørsler/s, en ubalanseringsfaktor på 1,3, 15 forespørsler per student ved oppstart og 0,025 forespørsler/s per tilstedeværende student. Behandle 50 som en hypotese for samme forespørselstrafikk og en avtalt latensmål, ikke som en generelt dokumentert trygg grense.
For N friske noder er studentbudsjetett N×50÷1,3−30 forespørsler/s. Med et 600-sekunders oppstartsvindu bidrar hver student med 15÷600+0,025=0,05 forespørsler/s. Med 120 sekunder er det 0,15. For fire noder er (4×50÷1,3−30)÷0,05≈2 477; undervisningstabellen runder ned til 2 400. Dette er en flytende gjennomsnittmodell: topper, ujevn ankomst, pauser og sammenhenger kan likevel overstige den.
Divideren 1,3 er en planleggingsfaktor, ikke et påstand om 30 % ledig kapasitet eller automatisk dekning av nodefeil. Modeller tapet av én node separat. Rader over de observerte testene med få noder er ekstrapoleringer, ikke dokumentert studentkapasitet. PDF-opplasting, worker-køer, databasekonkurranse og leverandørgrenser ligger utenfor denne backendmodellen. Lav CPU-belastning i databasen beviser ikke en grense på 450 forespørsler/s eller seksdobbel headroom.
| Friske backendnoder | Modellbudsjett, forespørsler/s | 600 sekunders oppstart: avrundede studenter | 120 sekunders oppstart: avrundede studenter |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2 400 | 800 |
| 6 | ≈231 | 4 000 | 1 300 |
Den historiske utformingen hadde separate frontend- og backendpools, minimum to og maksimum ti i hver; primær/standby-MySQL; delt Valkey; separat PostgreSQL/pgvector; objektlagring; og backendlogger i OpenSearch. En fast worker hostet fortsatt køer, planlegging, WebSockets og SMS. Denne workeren forble et enkelt feilpunkt; oversending av frontendlogger og standby for worker var planlagt.
En replikert database, tilstandsløse webnoder og images forbedrer bestemte gjenopprettingsveier. De gjør ikke alle avhengigheter redundante eller beskytter mot regional feil, en mislykket utrulling, uautorisert tilgang eller feilaktig sletting. Test skrivefencing og gjenoppretting separat. Gamle frosne data er ikke en aktuell rollback etter nye skrivinger; image-rollback krever også kompatibel schema, sesjoner og køede nyttelast.
De oppførte historiske månedlige webkostnadene er i alt $272: backend $112 + frontend $56 + worker $56 + to loadbalansere $48. Data og logger er i alt $709: MySQL $389 + Valkey $240 + PostgreSQL $60 + OpenSearch $20. Å legge til snapshots $5 og Spaces-basen $5 gir $991 før variabel bruk. Det gamle «omtrent $990» var avrundet, ikke en nøyaktig faktura.
De tidligere $416 gjaldt webnivået, inkludert nedslåtte recovery-Droplets; det var ikke den gamle kostnaden for hele stabelen. Sammenlign $416 med $272 bare etter å ha bekreftet identisk omfang og tjenesteforutsetninger, ikke med den nye kombinerte summen på $991. Listen utelater personale, support, avgifter, leverandørens AI/SMS, overforbruk og midlertidig utrullings-/toppkapasitet; den er ikke total eierskapskostnad eller et gjeldende tilbud.
Kontroller gjeldende leverandørplaner og kontoenes berettigelse. Endringene i MySQL Standard som beskrives i del 3 gjør det historiske paret uegnet som en ukontrollert innkjøpsoppskrift for 2026. Et større budsjett for pålitelighet kan være verdt det, men bare en sammenlignbar tjeneste og en fullstendig driftsmodell støtter et påstand om besparelser.
| Historisk månedlig gruppe | Oppført delsum | Omfang |
|---|---|---|
| Webnivå | $272 | 2 backend +2 frontend +worker +2 loadbalansere |
| Data og logger | $709 | MySQL +Valkey +PostgreSQL +OpenSearch |
| Snapshots og lagringsbase | $10 | $5 +$5; bruk i tillegg |
| Oppført kombinert base | $991 | Før bruk, personale, avgifter og andre tjenester |
En formell flertimers langtidstest og fullstendig belastningstest med blandet skriveflyte stod fortsatt planlagt i registreringen. Den to timers eksamensobservasjonen var ikke en kontrollert langtidstest. En 24-timers observasjon uten lokale skrivinger utelukker ikke minneleksjoner, økning i tilkoblinger eller voksende køer. Ikke stille disse manglene ukjent som «bestått».
Før et nytt, større arrangement må dere avtale terskler for godkjente svar og latens; bruke representative identiteter og ankomstmønster; teste dobbeltleveringer og adferd ved frist; og opprettholde belastningen lenge nok til å observere minne, tilkoblinger, lagring og alder på eldste jobb. Ta med nodefeil, trygg nedskalering, reconnect/failover i databasen, gjenoppretting av worker og restaurering av backup. Registrer verktøyversjoner, skript, ressursinnstillinger, feil og avstemming av godkjent arbeid. Kjør forstyrrende tester i et isolert, representativt miljø eller i et godkjent tidsvindu med stoppkriterier.
Serien ender med en brukbar beslutningssløyfe: mål forretningsresultatet, finn begrensningen, endre det relevante laget og test så resultatet og gjenopprettingen på nytt. Den mest verdifulle artefakten er en bevisregister der man kan si «observert», «modellert» eller «ennå ikke testet» uten å blande dem sammen.

Gjennomgått 6. november 2026. Anichur Rahaman, grunnlegger av StoreConsole. Historiske observasjoner beholdt; regnestykket kontrollert; ekstrapoleringer og planlagte tester uttrykkelig holdt adskilt.
Om forfatteren
Anichur Rahaman
Fortsett å lese