High Availability for Exam-Day Traffic: NovaCommerce, Part 1

A practical case study in finding failure points, defining availability and testing scheduled traffic before buying more servers.

Awtor

Anichur Rahaman

1 buwan ang nakalipas7 min ang pagbabasa340 na views
High Availability for Exam-Day Traffic: NovaCommerce, Part 1

Nagsisimula ang exam sa isang tiyak na oras. Sabay-sabay ang mga estudyante, at kailangan ng platform na tumanggap ng kanilang sagot habang nagtatakbo pa ang oras. Ang pagkuha ng mas malaking server ay hindi sasagot sa mga mahalagang tanong: ano ang mangyayari kapag may node na na-fail, may shared service na bumagal, o may deployment na naudlot sa isang aktibong request?

Sa limang-bahaging case study na ito, sinusundan namin ang isang online course at exam platform mula sa orihinal nitong setup hanggang sa mga pagbabagong ginawa para sa isang nakatakdang peak. Ipinapakita ng Bahagi 1 kung paano namin natukoy ang mga risk bago pumili ng infrastructure.

Tungkol sa case: Ang NovaCommerce ay isang-anonymized na pangalan. Mula sa September–October 2026 project records ang configuration at measurements sa ibaba. Inilalarawan nila ang platform at workload na iyon, hindi ang isang Store Console benchmark. Sinuri ang pangkalahatang technical guidance noong 3 November 2026.

Magsimula sa business event

Ang average traffic ng isang ordinary na araw ay hindi magandang batayan para sa capacity ng exam. Ang demanding event ay ang unang minuto: sabay-sabay na naglo-load ng mga tanong ang mga estudyante, sinusuri ang kanilang session, at nagsisimula ng exam.

Inihalimbawa namin ang event na ito sa apat na requirements:

  • Handa bago magsimula. Dapat nang healthy ang capacity kapag dumating ang mga estudyante.
  • Protektahan ang mga nakatanggap na submission. Tukuyin kung kailan nase-save nang matibay ang isang sagot at kung paano iniiwasan ng retry ang paggawa ng duplicates.
  • Huwag guluhin ng mga pagbabago ang aktibong trabaho. Kailangan ng health checks at request draining ang mga deployment at pag-alis ng node.
  • Gawing naipaliwanag ang cost. Dapat addressin ng bawat recurring resource ang isang nasukat na pangangailangan sa capacity o isang tiyak na failure.

Ito ay mga requirement, hindi mga claim na nasubukan na ang bawat failure scenario.

Ang orihinal na architecture at ang kahinaan nito

Dependency at decision map ng exam platform: orihinal na single frontend at MySQL, dalawang backend, shared Valkey at worker, pagkatapos ay diagnosis, durable receipts, at peak readiness.
Ang mga orihinal na failure point at ang acceptance evidence na kailangan bago ang exam. Ito ay isang teaching map ng makasaysayang case, hindi isang nasukat na availability guarantee.

Nagpapatakbo ang frontend ng isang Next.js container sa isang 8 vCPU, 16 GB Droplet, walang load balancer sa unahan. Ang pagkawala nito ay maaaring gawing unavailable ang pampublikong site. Mas mahusay na nakahiwalay ang backend: dalawang 4 vCPU, 8 GB node ang naghahain ng Laravel sa pamamagitan ng nginx at PHP-FPM, habang sa hiwalay na worker tumatakbo ang mga background job, scheduler, at WebSockets.

Tina-target ng backend load balancer ang mga fixed Droplet ID. Kaya't kailangan nang magparehistro para magdagdag ng isa pang server; hindi awtomatikong nahahati ang configuration upang matukoy ang bagong capacity. Naka-externalize na ang mga session, cache, at queue sa managed Valkey, na ginawang mas madaling palitan ang mga web node.

May isang 8 vCPU, 32 GB managed node ang MySQL at walang naka-configure na standby. Maaaring palitan ng managed service ang isang na-fail na node, ngunit iba iyon sa pagkakaroon ng replicated standby na handa nang i-promote. Ang single worker ay isa pang failure point para sa asynchronous na trabaho.

Dalawang karagdagang Droplet ang naka-off bilang recovery capacity. Maaari silang suportahan ang isang recovery procedure, ngunit hindi sila naghahain ng traffic at hindi makapagbigay ng automatic failover.

Isang kapaki-pakinabang na pagkakaiba: Ang isang JavaScript event loop ay maaaring limitahan ang CPU-heavy rendering, ngunit gumagamit din ang Node.js ng worker pool at native operations. Hindi ipinapakita ng isang container lang na walong core ang wala pang-load. Ang tamang bilang ng process ay nagmumula sa profiling at load testing.

Tukuyin ang availability bilang isang test na kay mong patakbuhin

Sa halip na lagyan ng label na “highly available” ang buong platform, tinanong namin kung ano dapat maramdaman ng isang tao sa panahon ng isang partikular na failure.

  • Pag-fail ng web node: patuloy na naghahain ng service ang mga healthy node; hindi na nakatanggap ng bagong traffic ang mga na-fail na node.
  • Pag-fail ng database: naibalik ng isang dokumentadong failover path ang service, at kaya ng application na humawak ng mga pansamantalang disconnection.
  • Deployment: nagiging handa ang replacement bago ihinto ng lumang node ang pagtanggap ng traffic; may sapat na oras para matapos ang mga aktibong request.
  • Nakatakdang peak: sapat ang healthy na capacity bago magsimula ang event, may extrang headroom para sa hindi pantay-pantay na traffic.

Kailangan ng hiwalay na ebidensiya para sa availability at data durability. Ang mga stateless web node ay gumagawa ng replacement na posible; ngunit hindi sa kanila nakasulat na garantisado ang pag-survival ng isang sagot. Depende rin iyon sa database commits, replication at persistence settings, retry handling, backups, at recovery tests. Hindi rin nito natitiyak ang recovery mula sa regional outage ang isang-region na disenyo.

Tatlong finding, tatlong iba't ibang tugon

1. HTTP 429: nabilang ng limiter ang maling identity

Noong 25 Setyembre, ang mga estudyanteng naghahati ng school o carrier network ay nakakatanggap ng “masyadong maraming kahilingan”. Ginamit ng API limiter ang kanilang IP address dahil hindi na-resolve ang inaasahang authenticated identity. Kaya maraming tao ang nagbahagi ng iisang limit.

Ang mga authenticated limit ay na-key sa account ng estudyante o instructor, habang pinananatili ang IP-based fallback para sa mga bisita. Hindi sana nagbago ang rule dahil lamang sa karagdagang server. Nangangailangan pa rin ng hiwalay na proteksyon laban sa abuse ang mga limit na nakabatay sa identity; hindi ito dahilan para tanggalin ang throttling.

2. Mga timeout ng Valkey connection: may shared dependency na nabigo sa peak load

Itinala ng pagsubok noong 6 Oktubre ang 2,854 application errors na may mga timeout ng Valkey connection. Ang case records ay naglalarawan ng mga bagong TLS connection na nagdagdag ng overhead at ng resize mula sa 4 GB primary-and-standby configuration patungong 8 GB bawat node.

Pagkatapos ng resize, ang unti-unting ramp na 25–500 requests/second ay nag-ulat ng walang application errors, ngunit 143 load-balancer errors habang saturated ang backend CPU. Ito ay ebidensya na naalis ang application-timeout failure sa run na iyon. Hindi ito isang malinis na end-to-end pass sa pinakamataas na load: may mga request pa rin na nabigo.

Ang timeout lamang ay hindi sapat para makumpirma ang kakulangan sa memory. Para sa ibang sistema, suriin ang connection churn, mga limit, gawi ng network, at service metrics bago ipagpalagay na mas malaking plano ang sagot.

3. Backend CPU: ang capacity ang naging susunod na hadlang

Para sa tested API mix, umabot sa humigit-kumulang 65–70 requests/second ang 4 vCPU backend node sa full CPU. Ito ay isang observed saturation point, hindi safe operating target o portable benchmark. Ang pagbabawas ng CPU work at pagdaragdag ng capacity ay parehong mga pagpipilian na dapat suriin.

Sa isang pagsubok, dumating ang unang karagdagang autoscaled node humigit-kumulang pitong minuto matapos umabot sa 99% ang CPU. Partikular sa setup na ito ang delay. Para sa scheduled exam, ang praktikal na tugon ay mag-pre-scale at i-verify ang readiness bago magsimula.

Panatilihing tapat ang paghahambing ng gastos

Ang orihinal na budget ng case ay naglagay ng web tier sa humigit-kumulang $416/month, kasama ang $112/month para sa mga naka-power-off na Droplets. Mga historical na figure ang mga ito mula Setyembre–Oktubre 2026; hindi kasama rito ang databases, Valkey, at storage. Hindi dapat itong ihambing sa mas bagong full-stack bill.

Sinusuka pa rin ng DigitalOcean ang reserved CPU Droplets habang naka-power off ang mga ito. Ang halaga ng cold capacity ay nakadepende sa recovery time na tunay nitong naibigay. Tanungin kung anong failure ang saklaw ng isang resource, gaano kabilis itong makakatulong, at kailan huling nasubukan ang procedure na iyon.

Nagbabago rin ang mga plano ng provider. Ipinapaannounce ng kasalukuyang dokumentasyon ng DigitalOcean ang mga restriksiyon sa PostgreSQL at MySQL Standard Edition plans simula 15 Oktubre 2026 para sa mga account na hindi kailanman gumawa ng PostgreSQL o MySQL cluster, at 30 Nobyembre 2026 para sa lahat ng account. Suriin ang kasalukuyang pagiging kwalipikado ng plano at ang presyo bago kopyahin ang isang historical configuration.

Gawin ang parehong pagsusuri bago ang iyong susunod na peak

Para sa exam, product launch, o checkout surge, isulat ang critical request path. Tukuyin ang bawat shared dependency at tanungin kung ano ang mangyayari kapag unavailable ito. Pagkatapos, subukan ang inaasahang workload at sukatin ang mga successful response, tail latency, at failures sa buong path.

Palitan ang layer na tinutukoy ng ebidensya, pagkatapos ay ulitin ang pagsubok. Ang layunin ay isang serbisyong kayang hawakan ang business event sa loob ng isang tinakdang failure at recovery budget.

Susunod: Sinasundan ng Part 2 ang frontend at backend pools, pre-scaling, at deployment sequence. Kung sinusuri ang Store Console para sa isang business-critical workload, magsimula sa deployment requirements nito at i-validate ang sarili mong traffic pattern.

Mga pinagkukunan at ebidensya

Ang case configuration, incident counts, at test observations ay mga historical na project record. Ang mga pinagkukunan sa ibaba ay sumusuporta sa pangkalahatang mga paliwanag, hindi sa mga private measurement na iyon.

Sinuri noong 6 Nobyembre 2026. Ang tinatanggap na sagot ay nangangailangan ng explicit durable-save receipt, operation identifier, at idempotent retry path. Ang queued job ay hindi lamang tanging kopya ng sagot. Magkaib problema ang solusyong ginagamit ng standby, backup, at successful restore test; walang isa sa kanila nang mag-isa ay nangangipakita ng zero data loss. Naipreserve ang mga historical incident count sa ibaba mula sa kasalukuyang case record; hindi itong muling sukat nang malaya sa editorial review na ito.

Tungkol sa May-akda

Anichur Rahaman

Magpatuloy sa Pagbasa