
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.
Muallif
Anichur Rahaman

2026-yil 5-oktabrda soat 22:59 da rejalashtirilgan ma’lumotlar bazasi oynasi tugadi. Sayt 26 daqiqadan keyin qayta ishga tushdi. Soat 23:24 da jamoa eski ma’lumotlar bazasiga yozishda davom etayotgan legacy admin panelini aniqladi. Ilova ko‘chirilgan, ammo uning barcha yozuvchi mijozlari ko‘chirilmagan edi.
NovaCommerce — anonimlashtirilgan kurs va imtihon platformasi. 3-qism mavjud sentabr–oktabr loyihasi hujjatini saqlaydi va unga oid umumiy tavsiyalarni to‘g‘rilaydi. Ushbu tarixiy hisoblar yangi audit qilingan ishlab chiqarish o‘lchovlari yoki StoreConsole benchmarklari emas.
Eski boshqariladigan MySQL — standby’siz bitta 8 vCPU/32 GB node edi. Yangi tarixiy konfiguratsiya — MySQL 8.4 Standard, node’ga 4 vCPU/16 GB, primary va standby, taxminan 11 GB ma’lumot bilan. Bu bitta node’ning ishdan chiqishi xavfini kamaytirdi; nol ma’lumot yo‘qotilishi, nol failover kechikishi yoki hududiy tiklanishini tasdiqlamadi.
Taxminan $389/oyga tushgan juftlik tarixiy case byudjeti edi, joriy taklif emas. DigitalOcean endi yangi mos hisoblar uchun 2026-yil 15-oktabrdan, barcha hisoblar uchun esa 30-noyabrdan boshlab Standard Edition cheklovlarini hujjatlashtiradi. Konfiguratsiyani takrorlashdan oldin hisob, plan va standby mosligini tekshiring. Standby ma’lumot o‘zgarishlarini, jumlatan tasodifiy o‘chirishni ham kuzatib boradi; u backup emas.
Hujjat 22:33 da maintenance routing, navbatlarni bo‘shatish, rejalashtirilgan ishlarni to‘xtatish, 30 sekund davomida yozuv yo‘qligini kuzatish, taxminan o‘n daqiqalik nusxa olish, validatsiya va yangi ilova rasmlarini 22:59 dan oldin tayyorlashni tasvirlaydi. Jimgina kuzatuv oynasi to‘siq emas: unutilib qolgan mijoz keyinroq yozishi mumkin. Inventory web, worker, scheduler, callback, import va tashqi panellarni tekshiring, so‘ng izchil nusxa olishdan oldin barcha eski yozuvlarni bloklang.
Case jadval/qator yig‘indilari, keyingi jadval tarkibi tekshiruvlari va katta natijalar jadvalining batafsil taqqoslashini qayd etadi. Nimani, qaysi snapshot’da va qanday usul bilan taqqoslashganingizga doir dalilni saqlang. Faqat hisoblar mazmun tengligini tasdiqlamaydi, cutover’dan keyingi taqqoslashlar esa aniq reconciliation chegarasini talab qiladi. Rollar, schema, ishlatilayotgan routine/event’lar, character set’lar va haqiqiy javob saqlash/o‘qish oqimlarini ham tekshiring. Standart mysqldump parallel dump mexanizmi emas; hujjatlashtirilmagan multi-stream wrapper’ni takrorlanadigan izchillik usuli deb qaramang.
| Tarixiy kuzatuv | Qayd etilgan qiymat | Nimani tasdiqlamaydi |
|---|---|---|
| Nusxa yig‘indilari | 341 jadval; 18,727,244 qator | Teng hisoblar ≠ teng biznes holati |
| Eng katta natijalar taqqoslashuvi | Taxminan 2,76 million qator | Doirani va usulni saqlash kerak |
| Qayta ochgandan keyingi dastlabki to‘rt daqiqa | Taxminan 2,900 so‘rov; 0 5xx | Keyingi barcha oqim yoki yozuvchi emas |
| Kechikkan legacy yozuvlar | 48 = 44 birlashtirilgan + 4 saqlangan | Umumiy merge siyosati emas |
| Faqat web ulanishlarining taxmini | 10 × 80 = 800 | O‘qish/yozish, worker va overlap hisobga olinmagan |
Legacy panel eski tomonga 48 qator qo‘shdi. Tarixiy tuzatish 44 tasini birlashtirdi va taqdimotdagi to‘rtta yangi versiyan saqladi, keyin panelni ko‘chirib eski kirish hisob maliklarini o‘zgartirdi. Ushbu 44+4=48 hisobi shu incidentga tegishli, xavfsiz umumiy “eng so‘nggi timestamp yutadi” algoritmi emas. Soatlar, o‘chirishlar, bog‘liq qatorlar va parallel tahrirlar biznesga mos reconciliation va audit trail talab qiladi.
Qoldirilgan yozuvchilarni to‘xtating hamda mavjud ulanishlarni tug‘tiring yoki boshqa yo‘l bilan to‘sib qo‘ying; faqat parolni o‘zgartirish allaqachon autentifikatsiya qilingan sessiyani yopmasligi mumkin. Eski yozuvlar rad etilganini tekshiring. Hujjatga ko‘ra eski klaster 48 soat muzlatilgan holda saqlangan. Yangi tomon ishni qabul qila boshlagach, eski nusxa recovery materiali bo‘lib qoladi, darhol joriy rollback manzilasi emas. Yangi javoblarni reconciliation qilmasdan unga qaytish qabul qilingan ishlarni yo‘qotishi mumkin. Retention tekshirilgan recovery va majburiyatlarga, universal 48 soatlik qoidaga emas, amal qilishi kerak.

Case’da standby va primary read host sifatida ishlatildi; worker uchun yozuvlar va o‘qishlar faqat primary’da bajarildi. Qo‘llab-quvvatlanadigan standby-read endpoint to‘langan imkoniyatlarni qayta ishlatishi mumkin, lekin failure/recovery resurslari ham ulashiladi. Provider qo‘llab-quvvatlashini, lag’ni va failure xatti-harakatini tekshiring; alohida reader har doim ortiqcha xarajat emas.
Laravel’dagi sticky=true yozuvdan keyin, shu request ichidagi keyingi o‘qishlarni write connection’ga yo‘naltiradi. Bu yagona o‘zi keyingi request’ni yoki har bir foydalanuvchi sessiyasini himoya qilmaydi. Request’lar orasidagi freshness uchun aniq, tekshirilgan mexanizm yoki authoritative javoblar uchun primary’dan o‘qish kerak. Bir nechta read host universal ikki sekundlik failover yoki ixtiyoriy query’lar xavfsiz qayta ijrosini kafolatlamaydi. Connection failure’ni allaqachon bajarilgan query’dan alohida tekshiring.
Eski 10 node × 80 PHP-FPM child = 800 taxminida har bir child uchun faqat bitta ulanish hisobga olingan. Child o‘qish va yozish ulanishlarini ochishi mumkin; worker, admin sessiyalari yoki rolling overlap hisobga olinmasdan child’ga ikkitadan 1,600 ulanish to‘g‘ri keladi, tarixiy limit esa 1,601 edi. Har bir ulanish manbasini va node avlodlarini budget’ga oling. Ulanish chegarasi throughput kafolati emas.
Alohida PostgreSQL 17/pgvector instance AI embedding’larni saqlardi, tarixiy jihatdan 2 vCPU/4 GB. 1 vCPU/2 GB bilan sinov uning ish yukiga yetmagach bekor qilindi. Alohida instance’lar CPU/memory budgetlarini ajratadi; ammo ulashilgan ilova pool’lari, tarmoq yoki provider’lar failure’larni bog‘lashi mumkin. Bu workload bo‘yicha qaror; MySQL takliflarining barchasi vector imkoniyatlaridan mahrum deb qo‘shish emas.
7-oktabr imtihon kechasida hujjat MySQL CPU maksimumi 24,5%, o‘rtachasi 13,4%, ko‘pi bilan beshta ishlayotgan query va kuzatilgan lock wait’lar nol ekanini qayd etadi. Bu o‘lchangan oyna ushbu signallarni to‘ydirmagan degan tor xulosani qo‘llab-quvvatlaydi. 450 request/s chegara yoki olti barobar capacity’ni tasdiqlamaydi: query mix, write contention, I/O va failover natijani o‘zgartiradi.
Ilova credential’larini least-privilege tamoyiliga ko‘ra migration huquqlaridan ajrating, ma’lumotlar bazasi access’ini cheklang va backup’larni ilova tekshiruvlari hamda o‘lchangan recovery maqsadlari bilan tiklashni sinab ko‘ring. Sozlangan standby, muvaffaqiyatli nusxa va muvaffaqiyatli restore — uchta turli dalil. 4-qism hali bu fleet’ga ulanadigan queue va worker’ni kuzatadi.
2026-yil 6-novabrda ko‘rib chiqilgan. Anichur Rahaman, StoreConsole asoschisi. Case hisoblari va narxlari tarixiy bo‘lib qolmoqda; texnik chegaraviy shartlarni joriy asosiy manbalar qo‘llab-quvvatlaydi.
Muallif haqida
Anichur Rahaman
O'qishni davom ettirish