
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
Mitihani miwili halisi, kosa moja la kupunguza rasilimali, na modeli muhimu ya kupanga. Tathmini ya mwisho hutenganisha yaliyoonekana, makadirio, gharama za uendeshaji na majaribio ya urejeshaji ambayo bado yanahitajika.
Mwandishi
Anichur Rahaman

Sehemu 5 kati ya 5
From One Server to Exam-Day ReadyMnamo 7 Oktoba 2026, mitihani miwili ilifanyika mfululizo. Kumbukumbu ya kazi inaonyesha kuwa na kuanza 661 na kuwasilisha 638 katika moja, na kuanza 439 na kuwasilisha 425 katika nyingine. Kisha kipeo cha chini cha pool kilipunguzwa katikati ya mtihani: node moja ya kuhudumia ilitoweka bila kuondolewa kwa wakati unaotarajiwa, na takriban ya maombi 360 yalishindwa ndani ya dakika mbili. Huduma inayofanya kazi na kushindwa huo vyote vinapaswa kuingizwa kwenye matokeo.
NovaCommerce ni platforma ya kozi na mitihani ambayo taarifa zake za watu zimefichwa. Sehemu hii ya mwisho inabeba maonekano ya awali ya Septemba–Oktoba, inarekebisha hesabu iliyochapishwa na inaeleza kile bado hakijathibitishwa. Si load test inayorudiwa upya wala benchmark ya StoreConsole.
Uchunguzi ulipata kikwenzo cha kipeyo cha IP mnamo 25 Septemba, kushindwa kwa muunganisho wa Valkey katika mfano wa 6 Oktoba na kutoshwa kwa CPU ya backend kwa mchanganyiko wa maombi uliojaribiwa. Sababu tofauti zilihitaji mabadiliko tofauti. “Servers zaidi” zilikuwa zinazofaa kwa baadhi ya shinikizo la uwezo, lakini sikuwezika kubadilisha utambuzi sahihi au huduma ya pamoja inayofanya kazi.
Kumbukumbu zinajumuisha mfano wa frontend wa takriban ya maombi 356/s, p95 ya sekunde 0.05, hakuna makosa yaliyoripotiwa; mfano wa autoscale unaotumia GET mnamo 5 Oktoba uliofikia takriban ya maombi 750/s, hakuna makosa ya server au timeouts zilizoripotiwa, lakini takriban ya 4% HTTP 429; na ramp ya 25–500 yenye hakuna makosa ya programu lakini yenye makosa 143 ya load balancer. Mifano hii ina mchanganyiko na mipaka tofauti. Usichanganye takriban zake bora za kulipana kuwa bei moja ya kufaulu.
Rollout iliyolindwa baadaye ilikuwa na probes 219, kila sekunde mbili, bila makosa. Hii ni ushahidi wa sampuli unaofaa, si ushahidi kuwa kila ombi, kuandika au muunganisho mrefu ulikusurvivewa. Test kamili ya mtiririko wa biashara lazima ithibitishe kukubaliwa kwa majibu ya wanafunzi walioingia, risiti zinazodumu, retries salama na matokeo ya mwisho, si tu HTTP status au ukurasa wa nyumbani uliocached haraka.
638/661 ni 96.5%; 425/439 ni 96.8%. Hizi ni sehemu za mawasilisho, si asilimia za upatikanaji. Kusawasilisha kutoweza kuwa na sababu nyingi; hesabu hazitambui kila mawasilisho lililokoseka kama kushindwa la kiufundi wala kuthibitisha kuwa hakuna upotevu wa data.
Ripoti za kazi zinaonyesha kilipofikia backend takriban ya maombi 69/s kutoka kwenye kumbukumbu za dakika, ikilinganishwa na 63 katika idadi ya kulipwa kwa dakika mbili za mtoa. CPU ya pool ilifikia 47% kwenye wastani ulioripotiwa, huku node moja ikifikia 86% kwa dakika moja. CPU ya MySQL ilikuwa ya juu zaidi 24.5%, wastani 13.4%; worker ya juu zaidi 46%, bila kazi zilizoshindwa zilizorekodiwa. Onyesha wazi madirisha ya kujumlisha na denominators. Ukosefu wa kazi zilizoshindwa haumaani kuwa hakuna kazi zilizopendekea au kupotea.
Makadirio ya awali ya CPU yalikuwa takriban ya ms 59/ombi. Kwa maombi 63/s hiyo ni sekunde 3.717 za CPU/s; kugawanywa kwa vCPU nane, ni takriban 46.5%. Ukaribu wake na 47% ni ukaguzi wa ulinganisho chini ya假设 hizo, si ushahidi wa kusababisha au uwiano wa kupanuka. Tukio la scale-in linaonyesha kwa nini readiness, mzigo kwa kila node na retirement zinahitaji ushahidi tofauti. Runbook ya saa za mitihani ilikuwa udhibiti wa binadamu, si marufuku iliyof enforcedwa.
Modeli ya mipango ya awali ilidhani maombi 50/s ya backend kwa kila node, trafiki ya msingi ya maombi 30/s, kizingiti cha usawa wa 1.3, maombi 15 ya kufunguliwa kwa kila mwanafunzi na maombi 0.025/s kwa kila mwanafunzi alipresent. T treated 50 kama hypothesis ya mchanganyiko huo huo wa maombi na lengo la latency lililokubaliwa, si kama kizingiti salama cha kila mahali kilichothibitishwa.
Kwa nodes N zilizo za afya, budgeti ya wanafunzi ni N×50÷1.3−30 maombi/s. Kwa kipindi cha kuingia cha sekunde 600, kila mwanafunzi anachangia 15÷600+0.025=0.05 maombi/s. Kwa sekunde 120, ni 0.15. Kwa nodes nne, (4×50÷1.3−30)÷0.05≈2,477; jedwali la kufundisha hupunguza kwa round down kuwa 2,400. Huu ni modeli wa wastani wa mtiririko: bursts, arrivals za kutokana, mapumziko na mahusiano bado yanaweza kuzitoka.
Kizingiti cha 1.3 ni kizingiti hiki cha mipango, si hoja ya idadi ya 30% ya uwezo wa idle au ya kuficha kushindwa la node kiotomatiki. Modeli hasara ya node moja kando. Safu zilizo juu ya majaribio ya nodes chache zilizozungukwa ni extrapolations, si uwezo wa wanafunzi uliothibitishwa. Uwekaji wa PDF, zaizi za worker, migongano ya database na mipaka ya mtoa viko nje ya modeli hii ya backend. CPU ya database ya chini hauthibitishi kuwepo na kizingiti cha maombi 450/s au nafasi ya tatu mara.
| Nodes za backend zilizopo afya | Budgeti ya maombi/s kulingana na modeli | Makao ya sekunde 600: wanafunzi walio punguzwa | Makao ya sekunde 120: wanafunzi walio punguzwa |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2,400 | 800 |
| 6 | ≈231 | 4,000 | 1,300 |
Muundo wa awali ulikuwa na pools huru za frontend/backend, kila moja yenye kiingilio cha 2 na cha juu zaidi cha 10; MySQL primary/standby; Valkey ya pamoja; PostgreSQL/pgvector tofauti; uhifadhi wa objects; na kumbukumbu za backend katika OpenSearch. Worker moja ya kudumu ilikuwa bado inahudumia queues, scheduling, WebSockets na SMS. Worker hiyo hiyo ilibaki kuwa point moja ya kushindwa; ulipelekaji wa kumbukumbu za frontend na worker ya standby vilikuwa vimepangwa.
Database iliyoreplika, nodes za web zisizo na state na images huboresha njia zinazotepotea fulani. Hazifanyi kila dependency kuwa redundant wala kushinda kushindwa la eneo, deployment mbaya, ufikiaji bila kibali au kufuta kwa makosa. Testa write fencing na restore kando. Data ya zamani iliyofungwa si rollback ya sasa baada ya writes mpya; rollback ya images pia inahitaji schema, sessions na payloads zilizo katika queue zilizo compatible.
Vipengele vya web za kila mwezi vilivyotajwa vina jumla ya $272: backend $112 + frontend $56 + worker $56 + balancers mbili $48. Data na kumbukumbu zina jumla ya $709: MySQL $389 + Valkey $240 + PostgreSQL $60 + OpenSearch $20. Kuongeza snapshots $5 na Spaces base $5 kunaleta $991 kabla ya matumizi yanayotofautiana. “Kama $990” ya awali ilikuwa imeizungwa kwa round, si invoice kamili.
$416 za awali zilielezea tier ya web ikiwa na Droplets za recovery zilizozimwa; hazikuwa gharama ya awali ya full-stack. Linganisha $416 na $272 tu baada ya kuthibitisha kuwa upeo na assumptions za huduma ni zilezile, si na $991 mpya iliyounganishwa. Orodha hii haijumuishi wafanyakazi, support, kodi, AI/SMS ya mtoa, gharama za ziada au uwezo wa rollout/peak wa muda mfupi; si gharama kamili ya ownership wala bei ya sasa.
Angalia mipango ya sasa ya mtoa na ustahili wa akaunti. Mabadiliko ya mpango wa MySQL Standard yaliyoelezwa katika Sehemu 3 hufanya jozi ya awali isiyofaa kuwa mapishi ya ununuzi ya 2026 bila ukaguzi. Budgeti kubwa ya reliability inaweza kuwa yenye thamani, lakini tu huduma inayofanana na modeli kamili ya uendeshaji inaweza kusaidisha kuja na hoja ya kujipunia.
| Kundi la kila mwezi la awali | Jumla ndogo iliyo tajwa | Upeo |
|---|---|---|
| Tier ya web | $272 | 2 backend +2 frontend +worker +2 balancers |
| Data na kumbukumbu | $709 | MySQL +Valkey +PostgreSQL +OpenSearch |
| Snapshots na msingi wa uhifadhi | $10 | $5 +$5; matumizi ya ziada |
| Jumla ya msingi iliyounganishwa iliyotajwa | $991 | Kabla ya matumizi, wafanyakazi, kodi na huduma nyingine |
Soak rasmi ya saa nyingi na load test kamili ya njia za mixed writes zilikuwa bado zimepangwa kwenye kumbukumbu. Maobservation ya saa mbili za mtihani hayakuwa soak iliyodhibitiwa. Observation ya masaa 24 bila local writes haisiti memory leaks, ukuaji wa connections au queues zinazopungua. Usibadilishe maeneo hayo kuwa “passed” bila kujitambulisha.
Kabla ya tukio lingine kubwa, agreed Wizito za majibu yaliyokubaliwa na latency; tumia utambulisho unaowakilisha mtiririko wa arrivals; testa mawasilisho marubili na tabia za deadline; endelea kwa muda mrefu kuangalia memory, connections, storage na umri wa kazi ya zamani zaidi. Jumuisha kushindwa la node, scale-in salama, reconnection/failover ya database, recovery ya worker na restoration ya backup. Rejeleza versions za zana, scripts, resource settings, makosa na kulinganisha kazi iliyokubaliwa. Endesha tests za k disruption katika mazingira yaliyotengwa na yanayowakilisha au katika kipindi kilichoidhinishwa chenye vigezo vya kusitisha.
Mfululizo unaisha kwa mzunguko wa maamuzi unaoweza kutumika: pima matokeo ya biashara, pata mizigo, badilisha tabaka linalohusika, kisha upya test matokeo na recovery. Artifact yake yenye thamani zaidi ni kumbukumbu ya ushahidi inayoweza kusema “imeonekana”, “imemodeliwa” au “bado haijatestiwa” bila kuzichanganya.

Imepitiwa tarehe 6 Novemba 2026. Anichur Rahaman, mwanzilishi wa StoreConsole. Maonekano ya awali yamebakiwa; hesabu imekaguliwa; extrapolations na majaribio yaliyopangwa yamelenguliwa kwa wazi.
Mfululizo
From One Server to Exam-Day ReadyKuhusu Mwandishi
Anichur Rahaman
Endelea kusoma