
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
Twee echte examens, één fout bij het afschalen en een bruikbaar planningsmodel. De laatste casus scheidt waarnemingen, extrapolaties, bedrijfskosten en nog uit te voeren hersteltests.
Auteur
Anichur Rahaman

Op 7 oktober 2026 vonden twee examens achter elkaar plaats. Het casusverslag toont in het ene examen 661 starts en 638 inzendingen, en in het andere 439 starts en 425 inzendingen. Vervolgens werd tijdens het examen de minimale poolgrootte verlaagd: een servicenode verdween zonder de verwachte drain en ongeveer 360 verzoeken faalden binnen twee minuten. Zowel de werkende dienst als die storing maken deel uit van het resultaat.
NovaCommerce is een geanonimiseerd platform voor cursussen en examens. In dit laatste deel blijven de bestaande waarnemingen van september–oktober behouden, wordt de gepubliceerde rekenkunde opnieuw berekend en wordt duidelijk gemaakt wat nog niet is bewezen. Dit is geen nieuwe herhaling van een loadtest of een StoreConsole-benchmark.
Het onderzoek vond op 25 september een op IP-adres afgestelde limiet, tijdens een test op 6 oktober verbindingsfouten met Valkey en voor het geteste verzoekpatroon een verzadiging van de backend-CPU. Verschillende oorzaken vereisten verschillende wijzigingen. Meer servers was bij enige capaciteitsdruk passend, maar vervangt geen correcte identiteitscontrole of een functionerende gedeelde dienst.
De gegevens bevatten een frontendtest van ongeveer 356 verzoeken/s, p95 0,05 s en nul gemelde fouten; een op GET gebaseerde autoschaaltest op 5 oktober die ongeveer 750 verzoeken/s bereikte, zonder gemelde serverfouten of time-outs maar met ongeveer 4% HTTP 429; en een opvoerramp van 25–500 met nul applicatiefouten maar 143 load-balancerfouten. Deze tests kennen verschillende patronen en toepassingsgebieden. Combineer hun beste cijfers niet tot één claim over geslaagde doorvoer.
De bewaakte uitrol had later 219 controles, elke twee seconden, met nul fouten. Dat is nuttige steekproevbewijs, maar geen bewijs dat elk verzoek, elke schrijfactie of elke lange verbinding intact bleef. Een volledige businessflowtest moet geauthenticeerde antwoordacceptatie, duurzame ontvangstbevestigingen, veilige retries en eindresultaten valideren, en niet alleen HTTP-statuscodes of een snel gecachte homepage.
638/661 komt uit op 96,5%; 425/439 op 96,8%. Dit zijn aandeel inzendingen, geen beschikbaarheidspercentages. Niet-inzenden kan meerdere oorzaken hebben; uit de aantallen blijkt niet dat elke ontbrekende inzending aan een technische storing is toe te schrijven of dat er geen gegevensverlies was.
Het casusverslag meldt een backendpiek van ongeveer 69 verzoeken/s op basis van minuutlogboeken, tegenover 63 bij aggregatie over twee minuten door een provider. De pool-CPU piekte volgens het gemelde gemiddelde op 47%, terwijl één node een minuut lang 86% bereikte. De maximale MySQL-CPU was 24,5%, gemiddeld 13,4%; de worker piekte op 46%, met nul geregistreerde mislukte jobs. Houd de aggregatievensters en noemers zichtbaar. Nul mislukte jobs betekent niet dat er geen werk in behandeling of verloren is gegaan.
De oude CPU-schatting was ongeveer 59 ms/verzoek. Bij 63 verzoeken/s is dat 3,717 CPU-seconden/s; gedeeld door acht vCPU is dat ongeveer 46,5%. De overeenkomst met 47% is onder die aannames een consistentiecontrole, geen bewijs van causaliteit of lineaire schaalbaarheid. Het incident bij het verkleinen van de schaal liet zien waarom readiness, belasting per node en uitbedrijfname afzonderlijk bewijs nodig hebben. De runbook voor de examenuurtallen was een menselijke beheersmaatregel, geen afgedwongen verbod.
Het historische planningsmodel ging uit van 50 backendverzoeken/s per node, een basisverkeer van 30 verzoeken/s, een onbalansfactor van 1,3, 15 openingsverzoeken per student en 0,025 verzoeken/s per aanwezige student. Behandel 50 als een hypothese voor hetzelfde verzoekpatroon en een afgesproken latentiedoel, niet als een bewezen universeel veilige limiet.
Voor N gezonde nodes is het studentenbudget N×50÷1,3−30 verzoeken/s. Met een joinvenster van 600 seconden levert elke student 15÷600+0,025=0,05 verzoeken/s. Bij 120 seconden is dat 0,15. Voor vier nodes is (4×50÷1,3−30)÷0,05≈2.477; de onderwijstabel rondt af naar 2.400. Dit is een dynamisch gemiddeld model: bursts, ongelijke aankomst, pauzes en correlaties kunnen het budget alsnog overschrijden.
De deler 1,3 is deze planningsfactor, geen claim dat er 30% vrije capaciteit is of dat uitval van nodes automatisch wordt afgedekt. Model de uitval van een node afzonderlijk. Rijen boven de waargenomen tests met weinig nodes zijn extrapolaties, geen gecertificeerde studentcapaciteit. PDF-uploads, workerqueues, databasecontentie en providerlimieten vallen buiten dit backendmodel. Een lage database-CPU bewijst geen limiet van 450 verzoeken/s of zesvoudige marge.
| Gezonde backendnodes | Modellering budget verzoeken/s | Join van 600 seconden: afgeronde studenten | Join van 120 seconden: afgeronde studenten |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2.400 | 800 |
| 6 | ≈231 | 4.000 | 1.300 |
Het historische ontwerp had onafhankelijke frontend- en backendpools, elk minimaal twee en maximaal tien; primaire MySQL met standby; gedeelde Valkey; afzonderlijke PostgreSQL/pgvector; objectopslag; en backendlogs in OpenSearch. Eén vaste worker hostte nog steeds queues, planning, WebSockets en SMS. Die worker bleef een single point of failure; het logvervoer vanaf de frontend en een standby-worker waren gepland.
Een gerepliceerde database, stateless webnodes en images verbeteren bepaalde herstelpaden. Ze maken niet elke afhankelijkheid redundant en bieden geen bescherming tegen een regionale storing, een mislukte implementatie, ongeautoriseerde toegang of ten onrechte verwijderde gegevens. Test write fencing en restores afzonderlijk. Oude bevroren gegevens zijn geen actuele rollback na nieuwe schrijfacties; voor een rollback van images zijn ook een compatibel schema, sessies en payloads in queues vereist.
De vermelde historische maandelijkse webkosten bedragen samen $272: backend $112 + frontend $56 + worker $56 + twee load balancers $48. Gegevens en logs komen samen uit op $709: MySQL $389 + Valkey $240 + PostgreSQL $60 + OpenSearch $20. Met snapshots van $5 en de basis van Spaces van $5 ontstaat $991 vóór variabel gebruik. De oude ‘ongeveer $990’ was afgerond en geen exacte factuur.
De eerdere $416 beschreef de weblaag, inclusief uitgeschakelde recovery-Droplets; dit was niet de oude kosten van de volledige stack. Vergelijk $416 pas met $272 nadat je identieke reikwijdte en dienstenaannames hebt bevestigd, en niet met de nieuwe gecombineerde $991. Deze lijst sluit personeelskosten, support, belastingen, provider AI/SMS, overgebruik en tijdelijke uitrol- en piekcapaciteit uit; dit is niet de total cost of ownership of een actuele offerte.
Controleer de huidige providerplannen en accountvoorwaarden. De wijzigingen voor MySQL Standard die in deel 3 zijn beschreven, maken het historische paar ongeschikt als ongecontroleerd inkooprecept voor 2026. Een groter betrouwbaarheidsbudget kan de moeite waard zijn, maar alleen een vergelijkbare dienst en een volledig operationeel model ondersteunen een besparingsclaim.
| Historische maandelijkse groep | Vermeld subtotaal | Reikwijdte |
|---|---|---|
| Weblaag | $272 | 2 backend +2 frontend +worker +2 load balancers |
| Gegevens en logs | $709 | MySQL +Valkey +PostgreSQL +OpenSearch |
| Snapshots en basisopslag | $10 | $5 +$5; gebruik extra |
| Vermeld gecombineerd basisbedrag | $991 | Vóór gebruik, personeel, belastingen en andere diensten |
In het verslag bleef een formele soaptest van meerdere uren en een volledige gemengde loadtest van het schrijfpad gepland. De twee uur durende observatie tijdens het examen was geen gecontroleerde soaptest. Een observatie van 24 uur zonder lokale schrijfacties sluit geheugenlekken, groeiende verbindingen of groeiende queues niet uit. Label deze tekortkomingen niet stilzwijgend als ‘geslaagd’.
Leg vóór een volgend groter evenement de drempels voor geslaagde antwoorden en latentie vast; gebruik representatieve identiteiten en het werkelijke aankomstpatroon; test dubbele inzendingen en gedrag rond deadlines; houd de test lang genoeg volgezet om geheugen, verbindingen, opslag en de leeftijd van de oudste job te observeren. Neem node-uitval, veilige schaalverkleining, databaseherverbinding/failover, workerherstel en back-upherstel mee. Leg toolversies, scripts, resource-instellingen, fouten en de afstemming van geaccepteerd werk vast. Voer verstorende tests uit in een geïsoleerde, representatieve omgeving of een goedgekeurd venster met stopcriteria.
De serie eindigt met een bruikbare besliscyclus: meet de businessuitkomst, bepaal de beperking, wijzig de relevante laag en test daarna de uitkomst en het herstel opnieuw. Het waardevolste artefact is een bewijsregister dat kan aangeven wat ‘waargenomen’, ‘gemodelleerd’ of ‘nog niet getest’ is zonder deze categorieën te verwarren.

Gereviewd op 6 november 2026. Anichur Rahaman, oprichter van StoreConsole. Historische waarnemingen zijn behouden; de rekenkunde is gecontroleerd; extrapolaties en geplande tests zijn expliciet gescheiden.
Over de auteur
Anichur Rahaman
Verder lezen