
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.
Penulis
Anichur Rahaman

Bahagian 3 daripada 5
From One Server to Exam-Day ReadyPada 22:59 pada 5 Oktober 2026, tempoh pangkalan data yang dirancang telah tamat. Laman kembali aktif selepas 26 minit. Pada 23:24, pasukan itu menemui panel admin warisan yang masih menulis ke pangkalan data lama. Aplikasi telah dipindahkan; keseluruhan penduduk penulisnya belum.
NovaCommerce ialah platform kursus-dan-peperiksaan yang telah dirahsiakan. Bahagian 3 mengekalkan rekod projek sedia ada bagi September–Oktober dan membetulkan panduan umum mengenainya. kiraan sejarah ini ialah ukuran produksi yang Newly diaudit atau penanda StoreConsole.
MySQL terurus yang lama ialah satu nod 8 vCPU/32 GB tanpa nod standby. Persediaan sejarah yang baharu ialah MySQL 8.4 Standard, 4 vCPU/16 GB bagi setiap nod, primary serta standby, untuk kira-kira 11 GB data. Ini menangani laluan kegagalan satu nod; ia tidak membuktikan kehilangan data sifar, kelewatan failover sifar atau pemulihan wilayah.
Sepasang cluster berharga kira-kira $389/sebulan ialah bajet kes sejarah, bukan tawaran semasa. DigitalOcean kini mendokumentasikan sekatan Standard Edition mulai 15 Oktober 2026 bagi akaun yang baharu layak dan 30 November untuk semua akaun. Sahkan kelayakan akaun, pelan dan standby sebelum menghasilkan semula persediaan ini. Standby mengikut perubahan data, termasuk penghapusan tidak sengaja; ia bukan backup.
Rekod itu Stocks routing penyelenggaraan pada 22:33, mengosongkan queue, menghentikan kerja berjadual,CEDARATI tiada tulisan selama 30 saat, membuat salinan kira-kira sepuluh minit, pengesahan dan imej aplikasi baharu sebelum 22:59. Tempoh pemerhatan yang tenang bukanlah pagar: pelanggan yang terlupa boleh menulis kemudian. Periksa aplikasi web, worker, scheduler, callback, import dan panel luaran, kemudian halang semua tulisan lama sebelum mengambil salinan yang konsisten.
Kes itu melaporkan jumlah jadual/baris yang sama, semakan kandungan jadwal selepasnya dan perbandingan terperinci bagi jadual keputusan yang besar. Kekalkan bukti apa yang dibandingkan, pada snapshot mana dan dengan kaedah mana. Jumlah sahaja tidak membuktikan kandungan yang sama, dan perbandingan selepas cutover memerlukan sempadan penyesuaian yang jelas. Semak juga peranan, schema, routine/event jika digunakan, character set serta aliran simpan/baca jawapan sebenar. mysqldump Standard ialah enjin salinan selari; jangan anggap wrapper multi-stream yang tidak berdokumentasi sebagai resipi konsistensi yang boleh dihasilkan semula.
| Pemerhatan sejarah | Nilai direkodkan | Apa yang tidak dibuktikan |
|---|---|---|
| Jumlah salinan | 341 jadual; 18,727,244 baris | Jumlah sama ≠ keadaan perniagaan sama |
| Perbandingan keputusan terbesar | Kira-kira 2.76 juta baris | Skop/kaedah mesti dikekalkan |
| Empat minit pertama selepas dibuka semula | Kira-kira 2,900 permintaan; 0 5xx | Bukan setiap aliran atau penulis selepasnya |
| Tulisan warisan yang lewat | 48 = 44 digabungkan + 4 dikekalkan | Bukan dasar gabungan generik |
| Anggaran sambungan web sahaja | 10 × 80 = 800 | Baca/tulis, worker dan pertindingan dikecualikan |
Panel warisan menambah 48 baris pada sisi lama. Pembaikan sejarah menggabungkan 44 dan mengekalkan empat versi baharu pada destino, kemudian memindahkan panel itu serta menukar bukti kelayakan akses lama. Perakaunan 44+4=48 itu menggambarkan insiden ini, bukan algoritma generik yang selamat menggunakan “timestamp terkini menang”. Jam, pemadaman, baris bergantung dan suntingan serentak memerlukan penyesuaian yang sedar perniagaan dan jejak audit.
Hentikan penulis yang terlepas dan tutup atau fence sambungan sedia ada; menukar kata laluan sahaja mungkin tidak menutup sesi yang sudah disahkan. Sahkan bahawa tulisan lama ditolak. Cluster lama dilaporkan kekal beku selama 48 jam. Sebaik sisi baharu menerima kerja, salinan lama itu ialah bahan pemulihan, bukan sasaran rollback yang sentiasa terkini. Kembalinya ke sana tanpa menyelaraskan jawapan baharu boleh menyebabkan kerja yang diterima hilang. Pengekalan perlu mengikut pemulihan yang diuji dan kewajiban, bukan peraturan 48 jam yang universal.

Kes itu menggunakan standby dan primary sebagai hos bacaan, dengan tulisan hanya pada primary dan bacaan primary untuk worker. Endpoint standby-read yang disokong boleh menggunakan semula kapasiti berbayar, tetapi ia turut berkongsi sumber kegagalan/pemulihan. Semak sokongan pembekal, lag dan tingkah laku kegagalan; reader berdedicated tidak sentiasa membazir.
Laravel sticky=true menghantar bacaan selepas tulisan ke sambungan tulisan dalam permintaan yang sama. Ia sahaja tidak melindungi permintaan seterusnya atau setiap sesi pengguna. Kesegaran merentas permintaan memerlukan mekanisme eksplisit yang diuji atau bacaan primary untuk jawapan rasmi. Beberapa hos bacaan tidakdahulu hydrochloric establishes failover dua saat yang universal atau replay selamat bagi sebarang query. Uji kegagalan sambungan secara berasingan daripada query yang sudah dilaksanakan.
Anggaran lama 10 nod × 80 anak PHP-FPM = 800 hanya mengira satu sambungan bagi setiap anak. Satu anak boleh membuka sambungan bacaan dan tulisan; dua bagi setiap anak memberi 1,600 sebelum worker, sesi admin atau pertindingan rolling, berbanding had sejarah 1,601. Bajetkan setiap sumber sambungan dan generasi nod. Had sambungan ialah jaminan throughput.
Satu instans PostgreSQL 17/pgvector yang berasingan memegang embedding AI, secara sejarah 2 vCPU/4 GB. Percubaan 1 vCPU/2 GB dibatalkan apabila beban kerjanya memerlukan lebih. Instans berasingan memberikan bajet CPU/memori; pool aplikasi, rangkaian atau pembekal yang dikongsi masih boleh menggabungkan kegagalan. Ini ialah pilihan beban kerja, bukan dakwaan bahawa setiap tawaran MySQL tidak mempunyai keupayaan vektor.
Pada malam peperiksaan 7 Oktober, rekod melaporkan CPU MySQL maksimum 24.5%, purata 13.4%, paling banyak lima query berjalan dan tiada lock wait dicerati. Ini menyokong kesimpulan yang lebih sempit bahawa tempoh yang diukur tidak menjenuhkan isyarat tersebut. Ia tidak membuktikan had 450 permintaan/s atau kapasiti enam kali ganda: campuran query, pertikaian tulisan, I/O dan failover mengubah hasilnya.
Pisahkan bukti kelayakan aplikasi least-privilege daripada hak migrasi, batasi akses pangkalan data dan uji pemulihan backup dengan semakan aplikasi serta objektif pemulihan yang diukur. Standby yang dikonfigurasikan, salinan yang berjaya dan pemulihan yang berjaya ialah tiga bukti yang berbeza. Bahagian 4 meny Wellbeing queue dan worker yang masih menyambungkan fleet ini.
Disemak pada 6 November 2026. Anichur Rahaman, pengasas StoreConsole. Angka kes dan harga kekal sejarah; sumber utama semasa menyokong kelayakan teknikal.
Mengenai Penulis
Anichur Rahaman
Teruskan membaca