
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.
Mwandishi
Anichur Rahaman

Sehemu 3 kati ya 5
From One Server to Exam-Day ReadySaa 22:59 mchana wa tarehe 5 Oktoba 2026, kipindi kilichopangwa cha database kilikwisha. Tovuti ilirudi baada ya dakika 26. Saa 23:24, timu iligunduga paneli ya admin ya zamani bado inaandika kwenye database ya awali. Programu ilihamishwa; idadi yote ya writers wake haikuwahi kuhamishwa.
NovaCommerce ni platforma ya kozi na mitihani ambayo taarifa zake za mtumiaji zimefichwa. Sehemu ya 3 inalinda rekodi ya mradi ya awali iliyokuwa kati ya Septemba na Oktoba na inarekebisha miongozo ya jumula iliyoihusu. Hesabu hizi za kihistoria si measurements mpya za production zilizokaguliwa wala benchmarks za StoreConsole.
MySQL ya zamani iliy managed ilikuwa node moja ya 8 vCPU/32 GB bila standby. Mpangilio wa awali wa kihistoria ulikuwa MySQL 8.4 Standard, 4 vCPU/16 GB kwa kila node, primary pamoja na standby, kwa takriban GB 11 za data. Huu ulitackle njia moja ya kushindwa kwa node moja; haukuonyesha hakuna loss ya data, hakuna delay ya failover wala recovery ya kanda.
Jozi la takriban $389/mwezi lilikuwa bajeti ya kihistoria ya kesi, si ofa ya sasa. DigitalOcean sasa inaandika mazingira ya Standard Edition kuanzia tarehe 15 Oktoba 2026 kwa akaunti mpya zinazostahili na tarehe 30 Novemba kwa akaunti zote. Thibitisha ukoitishaji wa akaunti, plan na standby kabla ya kuripoti mpangilio huu. Standby inafuata mabadiliko ya data, ikiwa ni pamoja na kufutwa bila kutarajiwa; si backup.
Rekodi inaeleza maintenance routing saa 22:33, kufuta kazi kwenye queues, kusitisha kazi zilizopangwa, kuobserve hakuna writes kwa sekunde 30, kunakili data kwa takriban dakika kumi, kuthibitisha na kupata application images mpya kabla ya saa 22:59. Kipindi cha kuobserve hakuna shughuli si fence: client iliyosahauliwa inaweza kuandika baadaye. Shughulisha inventory web, workers, schedulers, callbacks, imports na paneli za nje, kisha zuzuia writes zote za awali kabla ya kunakili nakala inayoendana.
Kesi iliripoti mahesabu ya meza na rows zilizolingana, ukaguzi wa baadhi wa maudhui ya meza baadaye na ulinganisho wa kina wa meza kubwa ya matokeo. Hifadhi ushahidi wa kile kilicholinganishwa, kwenye snapshot ipi na kwa method ipi. Hesabu peke yake hazionyeshi maudhui kuwa sawa, na ulinganisho baada ya cutover unahitaji reconciliation boundary wazi. Pia angalia roles, schema, routines/events pale inapotumika, character sets na mtiririko halisi wa kuhifadhi na kusoma majibu. Standard mysqldump si engine ya parallel dump; usichukue wrapper ya multi-stream isiyoandikwa kama consistency recipe inayoweza kuripotiwa.
| Uobservation wa kihistoria | Thamani iliyorekodiwa | Haiyoshiriki |
|---|---|---|
| Jumla za nakala | Meza 341; rows 18,727,244 | Hesabu sawa ≠ hali ya biashara sawa |
| Ulinganisho wa matokeo makubwa | Takriban rows 2.76 milioni | Upeo/method lazima uhifadhiwe |
| Dakika nne za kwanza baada ya kufunguliwa | Takriban maombi 2,900; 5xx 0 | Si kila mtiririko au writer wa baadaye |
| Writes za zamani zilizofika baadaye | 48 =44 zilizounganishwa +4 zilizohifadhiwa | Si merge policy ya kawaida |
| Makadirio ya connections ya web pekee | 10 ×80 =800 | Read/write, worker na overlap hazijajumuishwa |
Paneli ya zamani iliongeza rows 48 kwenye upande wa awali. Repair ya kihistoria iliunganisha 44 na kuhifadhi versions 4 mpya za destination, kisha ilihamishia paneli hiyo na kubadilisha credentials za ufikiaji wa awali. Hesabu hiyo ya 44+4=48 inaeleza tukio hili, si algorithm salfa ya “latest timestamp wins”. Clocks, deletes, rows zinazotegemeana na edits za wakati mmoja zinahitaji reconciliation inayoelewa biashara na audit trail.
Sitisha writers zilizokosa na funga connections zilizopo au kuzuia kwa njia nyingine; kubadilisha password peke yake kunaweza isafurike session ambayo tayari imeuthentiswa. Thibitisha kwamba writes za awali zinakataliwa. Inaripotiwa kwamba cluster ya awali ilishikiliwa frozen kwa saa 48. Mara upande mpya unapokipokea kazi, nakala hiyo ya awali ni nyenzo ya recovery, si destination ya rollback inayoweza kutumika papo hapo. Kurudi kwenye nakala hiyo bila kureconcile majibu mapya kunaweza kupoteza kazi iliyokubaliwa. Retention inapaswa ifuate recovery iliyojaribiwa na majukumu, si kanuni ya kawaida ya saa 48.

Kesi ilitumia standby na primary kama read hosts, kwa writes kwenye primary pekee na reads za primary kwa worker. Standby-read endpoint inayotumika inaweza kutumia capacity iliyolipwa, lakini pia inashiriki resources za kushindwa na recovery. Angalia support ya provider, lag na tabia ya kushindwa; reader dedikati si lazima iwe rasilimali isiyotumika.
Laravel sticky=true inaelekeza reads za baadaye kwenye connection ya kuandika baada ya write ndani ya request moja pekee. Kwa peke yake hainaweza kulinda request inayofuata au kila session ya mtumiaji. Freshness kati ya requests inahitaji mechanism iliyojaribiwa na wazi au reads za primary kwa majibu ya mamlaka. Read hosts nyingi haziwezeshi failover ya sekunde mbili ya kawaida wala safe replay ya queries za aina yoyote. Jaribu kushindwa kwa connection kwa njia tofauti na query ambayo tayari imeendelea.
Makadirio ya awali ya nodes 10 × PHP-FPM children 80 =800 unahesabi connections moja kwa kila child pekee. Mtoto mmoja anaweza kufungua connections za read na write; mbili kwa kila child zinakuwa 1,600 kabla ya worker, admin sessions au rolling overlap, dhidi ya kizingiti cha kihistoria cha 1,601. Panga bajeti ya kila chanzo cha connections na kila generation ya nodes. Kizingiti cha connections si ahadi ya throughput.
Instance tofauti ya PostgreSQL 17/pgvector ilihifadhi AI embeddings, kihistoria 2 vCPU/4 GB. Trial ya 1 vCPU/2 GB ilirekebishwa pale ilipohitaji zaidi. Instances tofauti zinapeana budgets za CPU/memory; application pools, network au providers zinashirikiwa bado zinaweza kunganisha failures. Huu ni chaguo la workload, si madai kwamba kila ofa ya MySQL haina vector capabilities.
Usiku wa mtihani wa tarehe 7 Oktoba, rekodi inaripoti MySQL CPU ya juu zaidi 24.5%, wastani 13.4%, queries tano tu zilizo running na hakuna lock waits zilizohisiwa. Hizi zinaunga mkazo mpana zaidi kwamba kipindi kilichopimwa hakikusaturate signals hizo. Hazionyeshi kizingiti cha requests 450/s au capacity ya mara sita: query mix, write contention, I/O na failover hubadilisha matokeo.
Weka credentials za programu zenye least privilege tofauti na haki za migration, restrict access ya database na jaribu kurestore backups pamoja na application checks na recovery objectives zilizopimwa. Standby iliyosanidiwa, nakala iliyofanikiwa na restore iliyofanikiwa ni vipindi vitatu tofauti vya ushahidi. Sehemu ya 4 inafuata queues na worker bado vinavyounganisha fleet hii.
Ilikaguliwa tarehe 6 Novemba 2026. Anichur Rahaman, mwanzilishi wa StoreConsole. Hesabu za kesi na bei zinabaki za kihistoria; marejeleo makuu ya sasa yanaunga mkazo wa kiakili.
Mfululizo
From One Server to Exam-Day ReadyKuhusu Mwandishi
Anichur Rahaman
Endelea kusoma