The Database Moved. One Old Client Did Not — NovaCommerce 3

A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.

Mwandishi

Anichur Rahaman

tokea mwezi 1Muda wa kusoma: dakika 6Mionekano 401
The Database Moved. One Old Client Did Not — NovaCommerce 3

Saa 22:59 mchana wa tarehe 5 Oktoba 2026, kipindi kilichopangwa cha database kilikwisha. Tovuti ilirudi baada ya dakika 26. Saa 23:24, timu iligunduga paneli ya admin ya zamani bado inaandika kwenye database ya awali. Programu ilihamishwa; idadi yote ya writers wake haikuwahi kuhamishwa.

NovaCommerce ni platforma ya kozi na mitihani ambayo taarifa zake za mtumiaji zimefichwa. Sehemu ya 3 inalinda rekodi ya mradi ya awali iliyokuwa kati ya Septemba na Oktoba na inarekebisha miongozo ya jumula iliyoihusu. Hesabu hizi za kihistoria si measurements mpya za production zilizokaguliwa wala benchmarks za StoreConsole.

Jozi dogo liliojibu hatari tofauti

MySQL ya zamani iliy managed ilikuwa node moja ya 8 vCPU/32 GB bila standby. Mpangilio wa awali wa kihistoria ulikuwa MySQL 8.4 Standard, 4 vCPU/16 GB kwa kila node, primary pamoja na standby, kwa takriban GB 11 za data. Huu ulitackle njia moja ya kushindwa kwa node moja; haukuonyesha hakuna loss ya data, hakuna delay ya failover wala recovery ya kanda.

Jozi la takriban $389/mwezi lilikuwa bajeti ya kihistoria ya kesi, si ofa ya sasa. DigitalOcean sasa inaandika mazingira ya Standard Edition kuanzia tarehe 15 Oktoba 2026 kwa akaunti mpya zinazostahili na tarehe 30 Novemba kwa akaunti zote. Thibitisha ukoitishaji wa akaunti, plan na standby kabla ya kuripoti mpangilio huu. Standby inafuata mabadiliko ya data, ikiwa ni pamoja na kufutwa bila kutarajiwa; si backup.

Cutover ilipita baadhi ya checks lakini ilikosa writer moja

Rekodi inaeleza maintenance routing saa 22:33, kufuta kazi kwenye queues, kusitisha kazi zilizopangwa, kuobserve hakuna writes kwa sekunde 30, kunakili data kwa takriban dakika kumi, kuthibitisha na kupata application images mpya kabla ya saa 22:59. Kipindi cha kuobserve hakuna shughuli si fence: client iliyosahauliwa inaweza kuandika baadaye. Shughulisha inventory web, workers, schedulers, callbacks, imports na paneli za nje, kisha zuzuia writes zote za awali kabla ya kunakili nakala inayoendana.

Kesi iliripoti mahesabu ya meza na rows zilizolingana, ukaguzi wa baadhi wa maudhui ya meza baadaye na ulinganisho wa kina wa meza kubwa ya matokeo. Hifadhi ushahidi wa kile kilicholinganishwa, kwenye snapshot ipi na kwa method ipi. Hesabu peke yake hazionyeshi maudhui kuwa sawa, na ulinganisho baada ya cutover unahitaji reconciliation boundary wazi. Pia angalia roles, schema, routines/events pale inapotumika, character sets na mtiririko halisi wa kuhifadhi na kusoma majibu. Standard mysqldump si engine ya parallel dump; usichukue wrapper ya multi-stream isiyoandikwa kama consistency recipe inayoweza kuripotiwa.

Uobservation wa kihistoriaThamani iliyorekodiwaHaiyoshiriki
Jumla za nakalaMeza 341; rows 18,727,244Hesabu sawa ≠ hali ya biashara sawa
Ulinganisho wa matokeo makubwaTakriban rows 2.76 milioniUpeo/method lazima uhifadhiwe
Dakika nne za kwanza baada ya kufunguliwaTakriban maombi 2,900; 5xx 0Si kila mtiririko au writer wa baadaye
Writes za zamani zilizofika baadaye48 =44 zilizounganishwa +4 zilizohifadhiwaSi merge policy ya kawaida
Makadirio ya connections ya web pekee10 ×80 =800Read/write, worker na overlap hazijajumuishwa

Rows 48 za baadaye zilibadilisha hadithi ya rollback

Paneli ya zamani iliongeza rows 48 kwenye upande wa awali. Repair ya kihistoria iliunganisha 44 na kuhifadhi versions 4 mpya za destination, kisha ilihamishia paneli hiyo na kubadilisha credentials za ufikiaji wa awali. Hesabu hiyo ya 44+4=48 inaeleza tukio hili, si algorithm salfa ya “latest timestamp wins”. Clocks, deletes, rows zinazotegemeana na edits za wakati mmoja zinahitaji reconciliation inayoelewa biashara na audit trail.

Sitisha writers zilizokosa na funga connections zilizopo au kuzuia kwa njia nyingine; kubadilisha password peke yake kunaweza isafurike session ambayo tayari imeuthentiswa. Thibitisha kwamba writes za awali zinakataliwa. Inaripotiwa kwamba cluster ya awali ilishikiliwa frozen kwa saa 48. Mara upande mpya unapokipokea kazi, nakala hiyo ya awali ni nyenzo ya recovery, si destination ya rollback inayoweza kutumika papo hapo. Kurudi kwenye nakala hiyo bila kureconcile majibu mapya kunaweza kupoteza kazi iliyokubaliwa. Retention inapaswa ifuate recovery iliyojaribiwa na majukumu, si kanuni ya kawaida ya saa 48.

Ramani ya ushahidi wa cutover ya database: clients za inventory, kuzuia writers za awali, kunakili kwa uwajibikaji, kuthibitisha, kubadilisha writer mmoja na kureconcile rows za baadaye kabla ya recovery.
Paneli ya zamani iliyokosa ni somo la kudhibiti writers. Kipindi cha dakika 26 kilichorekodiwa si ahadi ya muda wa migration inayoweza kutumika tena.

Read replica ni yenye manufaa tu ikiwa kuna mkataba wa freshness

Kesi ilitumia standby na primary kama read hosts, kwa writes kwenye primary pekee na reads za primary kwa worker. Standby-read endpoint inayotumika inaweza kutumia capacity iliyolipwa, lakini pia inashiriki resources za kushindwa na recovery. Angalia support ya provider, lag na tabia ya kushindwa; reader dedikati si lazima iwe rasilimali isiyotumika.

Laravel sticky=true inaelekeza reads za baadaye kwenye connection ya kuandika baada ya write ndani ya request moja pekee. Kwa peke yake hainaweza kulinda request inayofuata au kila session ya mtumiaji. Freshness kati ya requests inahitaji mechanism iliyojaribiwa na wazi au reads za primary kwa majibu ya mamlaka. Read hosts nyingi haziwezeshi failover ya sekunde mbili ya kawaida wala safe replay ya queries za aina yoyote. Jaribu kushindwa kwa connection kwa njia tofauti na query ambayo tayari imeendelea.

Makadirio ya awali ya nodes 10 × PHP-FPM children 80 =800 unahesabi connections moja kwa kila child pekee. Mtoto mmoja anaweza kufungua connections za read na write; mbili kwa kila child zinakuwa 1,600 kabla ya worker, admin sessions au rolling overlap, dhidi ya kizingiti cha kihistoria cha 1,601. Panga bajeti ya kila chanzo cha connections na kila generation ya nodes. Kizingiti cha connections si ahadi ya throughput.

Tenga kazi ya vectors bila kuahidi isolation kamili

Instance tofauti ya PostgreSQL 17/pgvector ilihifadhi AI embeddings, kihistoria 2 vCPU/4 GB. Trial ya 1 vCPU/2 GB ilirekebishwa pale ilipohitaji zaidi. Instances tofauti zinapeana budgets za CPU/memory; application pools, network au providers zinashirikiwa bado zinaweza kunganisha failures. Huu ni chaguo la workload, si madai kwamba kila ofa ya MySQL haina vector capabilities.

Usiku wa mtihani wa tarehe 7 Oktoba, rekodi inaripoti MySQL CPU ya juu zaidi 24.5%, wastani 13.4%, queries tano tu zilizo running na hakuna lock waits zilizohisiwa. Hizi zinaunga mkazo mpana zaidi kwamba kipindi kilichopimwa hakikusaturate signals hizo. Hazionyeshi kizingiti cha requests 450/s au capacity ya mara sita: query mix, write contention, I/O na failover hubadilisha matokeo.

Weka credentials za programu zenye least privilege tofauti na haki za migration, restrict access ya database na jaribu kurestore backups pamoja na application checks na recovery objectives zilizopimwa. Standby iliyosanidiwa, nakala iliyofanikiwa na restore iliyofanikiwa ni vipindi vitatu tofauti vya ushahidi. Sehemu ya 4 inafuata queues na worker bado vinavyounganisha fleet hii.

Mfululizo

Marejeleo makuu

Ilikaguliwa tarehe 6 Novemba 2026. Anichur Rahaman, mwanzilishi wa StoreConsole. Hesabu za kesi na bei zinabaki za kihistoria; marejeleo makuu ya sasa yanaunga mkazo wa kiakili.

Kuhusu Mwandishi

Anichur Rahaman

Endelea kusoma