The Database Moved. One Old Client Did Not — NovaCommerce 3

A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.

Awtor

Anichur Rahaman

1 buwan ang nakalipas6 min ang pagbabasa401 na views
The Database Moved. One Old Client Did Not — NovaCommerce 3

Nagsimula ang nakatakdang database window sa 22:59 noong 5 Oktubre 2026. Bumalik ang site pagkatapos ng 26 minuto. Sa 23:24, natuklas ng team ang legacy admin panel na nagsusulat pa rin sa lumang database. Naipat na ang application; hindi pa napipat ang lahat ng writers nito.

Ang NovaCommerce ay anonymous na course-and-exam platform. Pinapanatili ng Bahagi 3 ang umiiral na record ng proyekto mula Setyembre–Oktubre at tinutuon ang pangkalahatang p guidance sa paligid nito. Ang mga historical na bilang na ito ay bagong-audited na production measurements o StoreConsole benchmarks, hindi.

Mas maliit na setup na dalawa ang tumugon sa ibang risk

Ang lumang managed MySQL ay isang 8 vCPU/32 GB node na walang standby. Ang bagong historical na setup ay MySQL 8.4 Standard, 4 vCPU/16 GB kada node, primary at standby, para sa humigit-kumulang 11 GB ng data. Tinugunan nito ang failure path ng iisang node; hindi nito ipin proving ang zero data loss, zero failover delay, o regional recovery.

Ang humigit-kumulang $389 kada buwan na pares ay historical case budget, hindi kasalukuyang offer. Itinatago na ngayon ng DigitalOcean ang mga limitasyon ng Standard Edition mula 15 Oktubre 2026 para sa mga bagong eligible na account at 30 Nobyembre para sa lahat ng account. Suriin ang account, plan, at standby eligibility bago kopyahin ang setup. Sumusunod ang standby sa mga pagbabago ng data, kabilang ang aksidental na pagbura; backup ito, hindi.

Pumasa ang cutover sa ilang check ngunit may writer na na-miss

Inilalarawan ng record ang maintenance routing sa 22:33, pag-drain ng queues, paghinto ng scheduled work, pagmamasid na walang writes sa loob ng 30 segundo, humigit-kumulang sampung minutong kopya, validation, at bagong application images bago mag-22:59. Hindi ang tahimik na observation window ang isang fence: maaaring sumulat ang nakalimutang client sa bandang huli. Hanayin ang inventory web, workers, schedulers, callbacks, imports, at external panels, pagkatapos ay hadlangin ang lahat ng lumang writes bago kumuha ng consistent na kopya.

Ulatin ng case ang magkatugmang kabuuang bilang ng table/row, mga susunod na pagsusuri sa nilalaman ng table, at isang detalyadong paghahambing ng malaking results table. Panatilihin ang ebidensiya ng kung ano ang ihinahambing, saanong snapshot, at kung anong method ang ginamit. Hindi pinapakita ng bilang lamang ang pantay na nilalaman, at kailangan ng explicit na reconciliation boundary ang mga paghahambing pagkatapos ng cutover. Suriin din ang roles, schema, routines/events kung ginagamit, character sets, at totoong save/read flows ng mga sagot. Hindi parallel-dump engine ang karaniwang mysqldump; huwag ituring na reproducible consistency recipe ang undocumented na multi-stream wrapper.

Historical na observationNaitalang halagaHindi nito ipinapakita
Mga kabuuan ng kopya341 na table; 18,727,244 na rowPantay na bilang ≠ pantay na business state
Pinakamalaking paghahambing ng resultaHumigit-kumulang 2.76 milyong rowKailangang panatilihin ang scope/method
Unang apat na minuto pagkatapos ng muling pagbukasHumigit-kumulang 2,900 na request; 0 na 5xxHindi lahat ng susunod na flow o writer
Mga late na legacy write48 =44 na na-merge +4 na na-retainHindi pangkalahatang merge policy
Web-only na pagtataya ng connection10 ×80 =800Hindi kasama ang read/write, worker, at overlap

Ang 48 na late na row ay binago ang rollback story

Nagdagdag ang legacy panel ng 48 na row sa lumang bahagi. Ang historical na repair ay nag-merge ng 44 at nag-retain ng apat na mas bagoing destination versions, pagkatapos ay inilipat ang panel na iyon at binago ang lumang access credentials. Ang 44+4=48 accounting na ito ay naglalarawan sa insidenteng ito, hindi sa ligtas na pangkalahatang “latest timestamp wins” algorithm. Kailangan ng business-aware reconciliation at audit trail ang clocks, deletes, dependent rows, at concurrent edits.

Itigil ang mga na-miss na writer at tapusin o kung hindi man ay i-fence ang mga umiiral na connection; ang pagpapalit ng password lamang ay maaaring hindi mag-close ng session na naka-authenticate na. Suriin kung tinatanggihan ang lumang writes. Ayon sa ulat, nananatiling frozen ang lumang cluster sa loob ng 48 oras. Kapag tumanggap na ng work ang bagong bahagi, recovery material na ang lumang kopyya, hindi agarang kasalukuyang rollback destination. Ang pagbalik dito nang walang pag-reconcile ng mga bagong sagot ay maaaring mawala ang tinanggap na work. Sundin ng retention ang nasubukan na recovery at mga obligasyon, hindi pangkalahatang 48-oras na tuntunin.

Database cutover evidence map: mga inventory client, i-fence ang lumang writer, kopyahin nang consistently, i-validate, ilipat ang isang writer, at i-reconcile ang mga late na row bago ang recovery.
Ang na-miss na legacy panel ay aral tungkol sa writer control. Ang naitalang 26-minutong window ay hindi reusable na pangako sa duration ng migration.

Ang read replica ay kapaki-pakinabang lamang kung may freshness contract

Ginamit ng case ang standby at primary bilang read hosts, primary-only ang writes, at primary reads para sa worker. Maaaring gumamit ng supported standby-read endpoint ang binabayarang capacity, ngunit ibinabahagi rin nito ang mga resource ng failure/recovery. Suriin ang provider support, lag, at failure behavior; hindi laging wasteful ang dedicated reader.

Ipinapadala ng Laravel sticky=true ang mga susunod na reads sa write connection pagkatapos ng isang write sa loob ng parehong request. Hindi nito mag-isa pinoprotektahan ang susunod na request o bawat user session. Ang freshness sa pagitan ng mga request ay nangangailangan ng explicit at nasubukang mechanism o primary reads para sa authoritative na mga sagot. Hindi nagtatakda ng universal na two-second failover o ligtas na replay ng arbitrary queries ang maraming read host. Hiwalayin ang pagsubok ng connection failure mula sa query na naganap na.

Ang lumang 10 nodes ×80 PHP-FPM children=800 na pagtataya ay binibilang lamang ang isang connection kada child. Maaaring magbukas ang child ng read at write connections; dalawa kada child ay nagbibigay ng 1,600 bago ang worker, admin sessions, o rolling overlap, laban sa historical na 1,601 na limit. Badyahin ang bawat connection source at henerasyon ng node. Ang connection ceiling ay hindi throughput guarantee.

Ilayo ang vector work nang hindi nagbabago sa kabuuang isolation

Ang hiwalay na PostgreSQL 17/pgvector instance ay naglalaman ng AI embeddings, dati ay 2 vCPU/4 GB. Binigo ang 1 vCPU/2 GB na trial nang kailangan ng workload nito ng mas marami. Nagbibigay ng hiwalay na CPU/memory budget ang mga hiwalay na instance; maaari pa ring mag-link ang mga failures kapag shared ang application pools, network, o providers. Ito ay pagpili ng workload, hindi pag-claim na walang vector capabilities ang bawat MySQL offering.

Sa gabing pagsusuri noong 7 Oktubre, iniulat ng record ang max na 24.5% at average na 13.4% na MySQL CPU, limang tumatakbong query lang sa isang pagkakataon, at zero na obserbadong lock waits. Sinusuportahan nito ang mas makitid na konklusyong hindi naubos ang mga signal na iyon sa sukat na window. Hindi nito ipinapakita ang 450 requests/s na ceiling o anim na beses na capacity: nagbabago ang resulta batay sa query mix, write contention, I/O, at failover.

Hiwalayin ang least-privilege application credentials sa migration rights, limitahan ang access sa database, at subukan ang pag-restore ng backups kasama ang application checks at nasukat na recovery objectives. Iba't ibang ebidensiya ang configured na standby, matagumpay na kopya, at matagumpay na restore. Sumusunod ang Bahagi 4 sa mga queue at worker na kaagapaw pa rin ng fleet na ito.

Serye

Pangunahing sanggunian

Sinuri noong 6 Nobyembre 2026. Anichur Rahaman, tagatag ng StoreConsole. Nananatiling historical ang mga pigura at presyo ng case; sinusuportahan ng kasalukuyang pangunahing source ang mga technical qualification.

Tungkol sa May-akda

Anichur Rahaman

Magpatuloy sa Pagbasa