The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
Awtor
Anichur Rahaman
1 buwan ang nakalipas6 min ang pagbabasa370 na views
Isang student ang natatapos ng exam at naghihintay ng merit card. Ang aktuwal na recomputation ay humigit-kumulang 0.34 segundo. Sa case record ng 6 Oktubre, may mga card na dumating nang 10–115 minuto late. Naghihintay ang maikling job sa likod ng humigit-kumulang 2,000 AI jobs na kada isa ay humigit-kumulang 10 segundo, habang pinaghahati ng dalawang worker ang iisang lane.
Ang NovaCommerce ay isang pinag-anonymize na platform para sa kurso at pagsusulit. pinananatili ng Bahagi 4 ang mga obserbasyon mula Setyembre–Oktubre 2026 at pinaghihiwalay ang mga ipinatupad na pagbabago mula sa mga inirerekomendang safeguard. Ito ay hindi bagong audit ng insidente o performance benchmark ng StoreConsole.
Binago ng shared state ang hangganan ng pagkabigo
Ang pag-externalize ng sessions, cache at queues sa pinamamahalaang Valkey ay tumulong na palitan ang mga web node. Ngunit lumikha rin ito ng shared dependency: may nakalang na 2,854 connection timeouts ang load test ng 6 Oktubre. Ipinakita ng case ang mga bagong TLS connection at pag-resize mula 4 GB hanggang 8 GB kada node, primary plus standby. Isang mas huling ramp na 25–500 requests/s ang nag-ulat ng zero application errors ngunit 143 load-balancer errors sa CPU saturation. Nagbago ang failure ng connection; hindi pa rin tumutugon ang buong path.
Ang timeout sa sarili nitong hindi sapat upang makumpirma ang memory exhaustion o mapatunayan ang tiyak na CPU cost ng isang partikular na handshake. Suriin ang connection churn, mga limit, network at server metrics. Ang nakalang 12.5% memory use habang may pagsusulit ay isa lang na obserbasyon, hindi guarantee ng kapasidad. Pinipigilan ng noeviction ang eviction dahil sa memory pressure ngunit maaaring tumanggi sa mga bagong write; hindi nito nagbibigay ng queue persistence, lossless failover o isolation sa pagitan ng cache, sessions at jobs.
Bigyan ng sariling serving capacity ang mga urgent na resulta
Inihiwalay ng team ang AI narrative lane mula sa trabahong related sa merit at posisyon. Ayon sa case, mga minuto na lamang bago dumating ang mga merit card. Hindi sapat ang paghiwalay lamang ng mga pangalan: kailangan ding magkaroon ng puwang para sa mga urgent na job ang process allocation, mga database connection at shared CPU.
Ipinal explains ng lumang arithmetic ang backlog: 2,000×10=20,000 worker-seconds; kapag pinaghati sa dalawang worker, mga 10,000 segundo o 166.7 minuto bago pa maisama ang overhead. Ipinapakita lamang nito ang posibleng paghihintay, hindi eksaktong prediksyon ng pagtatapos. Malaya ito sa mas huling provider limiter. Sa shared limit na walong call kada minuto, kailangan ng mga 2,000 one-call job ng hindi bababa sa 250 minuto—4 na oras at 10 minuto—nang walang retries o bagong dating job.
Klase ng pagkabigo
Tugon
Ebidensya ng pagtatapos
Pansamantalang throttling
Shared na limit; Retry-After; bounded na jitter
Nareconcile ang orihinal na operasyon
Problema sa credit/auth ng provider
I-pause; mag-alert; ayusin ang sanhi
Kontroladong pag-resume, nasuri ang deadline
Hindi kilalang panlabas na resulta
Mag-query/reconcile bago mag-replay
Walang duplicate na side effect
Naabot ang retry deadline
Panatilihin ang failed/pending record; suriin
Audited na replay o tahasang final state
Nawala ang worker
Ibalik ang processing at i-reconcile ang ledger
Na-account ang tinanggap na trabaho
Retry ang classified na problema, hindi ang bawat refusal
Ginamit ng lumang lane ang shared limiter na walong call kada minuto, 1–15-minutong exponential backoff na may jitter, retry window na hanggang 12 oras at pansamantalang teksto ng template. Nakalang din ng case ang humigit-kumulang 3,800 na naudlot na narrative habang may kakulangan sa credit, at ipinagpatuloy ang processing pagkatapos idagdag ang credit. Ito ay obserbasyon ng recovery, hindi patunay na natapos ang bawat naudlot na job o walang maaaring mag-expire.
Ituring ang naka-configure na rate bilang case setting, hindi garantisadong provider entitlement: maaaring may mga ring pagbabatas din sa token at concurrency. Igalang ang Retry-After kapag ibinigay. Retry ang pansamantalang throttling at temporary failures sa loob ng absolute deadline; ihinto o ipause ang permanent na authentication, invalid-payload at exhausted-credit failures at mag-alert sa isang owner. Ipakita nang tapat ang pending/template status. Sa deadline, panatilihin ang failure na maaaring suriin at ang kontroladong replay path sa halip na tahimik na mawala ang trabaho.
Maaaring itago ng network timeout ang tapat na pagtawag sa provider. Gumamit ng stable na operation identity, provider-supported na idempotency o status reconciliation bago magdulot ng duplicate na side effect. Mag-refund ng internal allowance lamang para sa nakatanggap na hindi pa nagamit na reservation; hindi magiging provider invoice ang pagbabago sa app counter. Panatilihing auditable ang mga billing reservation at completion record. Kailangan itong mga design check, hindi bagong beripikadong implementasyon sa sistemang ito.
May iba't ibang service requirements ang mga urgent na resulta at opsyonal na narrative. Kasama sa mapa na ito ang mga inirerekomendang check at gayundin ang mga lumang case setting.
Isang worker lang ay recoverable na gap, hindi exactly-once
Isang fixed na 4 vCPU/8 GB worker ang nag-carry ng queues, scheduling, WebSockets at SMS; isang outbound IP lang ang pinapayagan ng gateway. May snapshot ito, habang naka-plan ang recovery gamit ang reserved IP, standby worker at kapasidad para sa exam bursts. Aktuwal dapat suportahan ng reserved address ang kinakailangang outbound egress at provider allowlist; ang pag-assign nito lamang ay hindi patunay na gumagana ang SMS.
Kapag nabigo ang worker na iyon, titigil ang background completion. Canang may matatag at authoritative record na accepted answers na; huwag mangako ng kanilang kaligtasan dahil lamang nasa Valkey ang queue. Subukan ang persistence, reconciliation ng acknowledged work at replay pagkatapos ng failover. Karaniwan ang maraming worker kapag may secure na reservations at idempotent effects. Isang scheduler o distributed lock lamang ay hindi makagagaranti ng exactly-once business effects pagkatapos ng crash. Mas mababa ang job timeout kaysa sa reservation visibility/retry_after kung naaangkop, at ipaghiwalay ang interval na ito sa backoff.
Ayusin ang mga identity at panatilihin ang ebidensya
Dala ng dalawang limiter layer ang IP sa halip na isang authenticated student. Ayon sa ulat, 74% ng mga tawag sa isang dashboard endpoint ang nagbalik ng 429 noong 7 Oktubre; ginamit ang account-and-route keys para sa endpoint pagkatapos nito. Hindi nito ibig sabihin na dapat alisin ang lahat ng abuse limit. Panatilihin ang mga proteksyon kada account, para sa guest/network at sa provider, at magtiwala lamang sa forwarded headers sa pamamagitan ng mga kontroladong proxy. Ang signed IP ay hindi pa rin authorization.
Ipinapadala ang backend logs sa OpenSearch sa pamamagitan ng Fluent Bit. Naka-plan pa rin ang pagpapadala ng frontend logs, na may humigit-kumulang 440 MB/day na lokal na nang bahaguin ng tanggalin kung mag-delete. Kailangan ng pagpapadala ng logs ang bounded na buffering, monitoring ng delivery, restricted access at redaction ng mga sagot, token at pribadong data; hindi ibig sabihin ng off-node ang instant at lossless na delivery.
N-monitoring ng exam digest ang mga start/submission, kada-node na request at 5xx, CPU, kalusugan ng queue at mga nabigong job. Ayon sa ulat, ang pagbababa ng pool minimum habang may pagsusulit ay nagdulot ng humigit-kumulang 360 request failures sa loob ng dalawang minuto. Pinabawasan ng runbook na “do not scale in during exams” ang panganib ngunit hindi ito ipinatupad bilang enforced lock. Panoorin ang edad ng pinakamatandang job at mga pending na resulta, hindi lamang ang CPU o zero na bilang ng failed job. Tanongin ng Bahagi 5 kung ano talaga ang ipinakita ng mga pagsubok.
Sinuri noong 6 Nobyembre 2026. Si Anichur Rahaman, founder ng StoreConsole. Naipagdating ang mga lumang obserbasyon mula sa case; ang pangunahing sanggunian ay naglalarawan ng pangkalahatang pag-uugali, hindi bagong beripikasyon ng pribadong sistema.