
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
Ikki haqiqiy imtihon, tizimni kichraytirishdagi bitta xato va foydali rejalashtirish modeli. Yakuniy tahlil kuzatuvlar, taxminlar, operatsion xarajatlar va hali bajarilishi kerak bo‘lgan tiklash testlarini ajratadi.
Muallif
Anichur Rahaman

2026-yil 7-oktabrda ketma-ket ikkita imtihon oʻtkazildi. Keys materialida bittasida 661 ta boshlanish va 638 ta topshiriş, ikkinchisida esa 439 ta boshlanish va 425 ta topshiriş koʻrsatilgan. Keyin imtihon davomida pool minimal qiymati tushirildi: kutilgan drain amalga oshirmasdan serving node yoʻqoldi va ikki daqiqa ichida taxminan 360 ta soʻrov muvaffaqiyatsiz boʻldi. Natija ham ishlaydigan xizmat, ham ushbu muvaffaqiyatsizlikka tegishli.
NovaCommerce — anonimlashtirilgan kurs va imtihon platformasi. Ushbu yakuniy qismda mavjud sentabr–oktabr kuzatuvlari saqlanadi, eʼlon qilingan arifmetika qayta hisoblanadi va hali isbotlanmagan narsalar aniqlanadi. Bu yangilang yuk testi yoki StoreConsole benchmarki emas.
Tadqiqot 25-sentabrda IP asosida ishlaydigan limiter, 6-oktabrdagi testda Valkey ulanish muvaffaqiyatsizliklari va sinovdan oʻtgan soʻrovlar aralashuvi uchun backend CPU toʻyinganligini aniqladi. Turli sabablar turli oʻzgarishlarni talab qildi. Baʼzi sigʻim bosimlarida «Yana serverlar» yondashuv toʻgʻri boʻlgan, lekin u toʻgʻri identifikatsiya yoki ishlaydigan umumiy xizmat oʻrnini bosmaydi.
Hujjatlarda taxminan 356 soʻrov/s natijaga ega frontend testi, p95 0,05 s va nol xato; 5-oktabrda GET asosida ishlaydigan autoscale testi taxminan 750 soʻrov/s darajasiga yetgan, server xatolari yoki timeout holatlari yoʻq, lekin taxminan 4% HTTP 429; hamda 25–500 oraligʻida oʻsish testi, unda ilova xatolari yoʻq, ammo 143 ta load-balancer xatosi boʻlgan. Ushbu testlarning soʻrov aralashuvi va koʻlami farqlanadi. Ularning eng yaxshi koʻrsatkichlarini bitta muvaffaqiyatli throughput natijasiga birlashtirmang.
Keyingi himoyalangan rollout’da har ikki sekundda oʻtkazilgan 219 ta probe boʻldi va xatolar boʻlmadi. Bu foydali namuna sifatida olingan dalil, ammo har bir soʻrov, yozuv yoki uzun ulanishning saqlanishini isbotlamaydi. Toʻliq biznes-jarayon testi autentifikatsiyalangan javobni qabul qilish, barqaror receipt’lar, xavfsiz retry’lar va yakuniy natijalarni tasdiqlashi kerak, faqat HTTP status yoki tez cache qilingan bosh sahifa emas.
638/661 = 96,5%; 425/439 = 96,8%. Bular topshiriish ulushlari, availability foizlari emas. Topshirilmagan javoblar bir necha sababga boʻlishi mumkin; hisoblar har bir topshirilmagan javobni texnik muvaffaqiyatsizlikka bogʻlamaydi va maʼlumot yoʻqotilmaganini tasdiqlamaydi.
Keys hisobotida daqiqa loglariga koʻra backend choʻqqisi taxminan 69 soʻrov/s, provider’ning ikki daqiqalik yigʻimida esa 63 soʻrov/s boʻlgan. Hisoblanган oʻrtachaga qarab pool CPU’si 47% ga, bitta node esa bir daqiqa uchun 86% ga yetgan. MySQL CPU’si maksimal 24,5%, oʻrtacha 13,4%; worker maksimal 46%, yozib qilingan muvaffaqiyatsiz vazifalar esa nol boʻlgan. Yigʻim oynalari va denominatorlar koʻrinib tursin. Nol muvaffaqiyatsiz vazifa pending yoki yoʻqotilgan ish yoʻqligini bildirmaydi.
Eski CPU taxmini taxminan 59 ms/soʻrov edi. 63 soʻrov/s da bu 3,717 CPU-sekund/s beradi; sakkiz vCPU ga boʻlinsa, taxminan 46,5% ni tashkil etadi. Uning 47% ga yaqinligi ushbu taxassurlar ostidagi izchillik tekshiruvi, sabab-natija bogʻlanishi yoki chiziqli masshtablanish isboti emas. Masshtabni kamaytirish hodisasi readiness, node boʻyicha yuk va node’ni chiqarib olish uchun alohida dalillar kerakligini koʻrsatdi. Imtihon vaqti uchun runbook inson nazorati edi, majburiy taqiq emas.
Tarixiy rejalashtirish modeli har node uchun 50 backend soʻrov/s, 30 soʻrov/s bazaviy trafik, 1,3 nomutanosiblik koeffitsienti, har oʻquvchiga 15 ta boshlanish soʻrovi va har mavjud oʻquvchi uchun 0,025 soʻrov/s ni nazarda tutgan. 50 ni bir xil soʻrov aralashuvi va kelishilgan kechikish maqsadi uchun gipoteza sifatida qarating, universal xavfsiz limit sifatida emas.
N ta sogʻlom node uchun oʻquvchilar byudjeti N×50÷1,3−30 soʻrov/s. 600 sekundlik join oynasida har oʻquvchi 15÷600+0,025=0,05 soʻrov/s beradi. 120 sekundda bu 0,15 boʻladi. Toʻrt node uchun (4×50÷1,3−30)÷0,05≈2,477; oʻquv jarayoni jadvali uni 2,400 ga pastga yaxlitlaydi. Bu oʻzgaruvchan oʻrtacha model: burst’lar, notekislangan kelishlar, pauzalar va bogʻlanishlar uni yana oshishi mumkin.
1,3 ga boʻluvchi — rejalashtirish koeffitsienti; 30% boʻsh sigʻim yoki avtomatik node muvaffaqiyatsizligidan qoplash claimi emas. Bitta node yoʻqolishini alohida modellang. Kam node bilan kuzatilgan testlardan yuqori qatorlar ekstrapolatsiya, tasdiqlangan oʻquvchi sigʻimi emas. PDF yuklamalari, worker navbatlari, maʼlumotlar bazasi kontenti va provider limitlari ushbu backend modelidan tashqarida. Maʼlumotlar bazasi CPU’sining pastligi 450 soʻrov/s chegarasi yoki olti barobar zaxira mavjudligini tasdiqlamaydi.
| Sogʻlom backend node’lar | Model byudjeti, soʻrov/s | 600 sekundlik join: yaxlitlangan oʻquvchilar | 120 sekundlik join: yaxlitlangan oʻquvchilar |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2,400 | 800 |
| 6 | ≈231 | 4,000 | 1,300 |
Tarixiy dizaynda mustaqil frontend/backend pool’lari, ikkalasida ham minimal ikki va maksimal oʻnta node; primary/standby MySQL; umumiy Valkey; alohida PostgreSQL/pgvector; object storage; va backend log’lari OpenSearch’da joylashgan edi. Bitta doimiy worker navbatlar, rejalashtirish, WebSockets va SMS’ni ham qabul qilgan. Bu worker yakka nuqta muvaffaqiyatsizlik manbai boʻlib qolgan; frontend log yuborish va worker zaxirasi rejalashtirilgan.
Replikatsiyalangan maʼlumotlar bazasi, stateless web node’lari va image’lar ayrim tiklash yoʻllarini yaxshilaydi. Ular har bir bogʻlanishni redundant qilmaydi va regional muvaffaqiyatsizlik, notoʻgʻri deploy, ruxsatsiz kirish yoki xato oʻchirishdan himoya qilmaydi. Write fencing va restore’ni alohida test qiling. Eski muzlatilgan maʼlumot yangi yozuvlardan keyingi joriy rollback emas; image rollback uchun ham mos schema, session’lar va navbatga qoʻyilgan payload’lar talab qilinadi.
Koʻrsatilgan tarixiy oylik web elementlarining jami $272: backend $112 + frontend $56 + worker $56 + ikki balancer $48. Maʼlumot va log’lar jami $709: MySQL $389 + Valkey $240 + PostgreSQL $60 + OpenSearch $20. Snapshot’lar $5 va Spaces bazasi $5 qoʻshilsa, oʻzgaruvchan foydalanishdan oldin $991 boʻladi. Eski «taxminan $990» qiymati yaxlitlangan, aniq hisob-faktura emas.
Avvalgi $416 oʻchirilgan recovery Droplet’larni oʻz ichiga olgan web tier narxi edi; u eski full-stack narxi emas. $416 va $272 ni faqat bir xil koʻlam va xizmat taxassurlarini tasdiqlagandan keyin taqqoslang, yangi birlashtirilgan $991 bilan emas. Bu roʻyxat xodimlar, qoʻllab-quvvatlash, soliqlar, provider AI/SMS, ortiqcha foydalanish va vaqtinchalik rollout/choʻqqi sigʻimini oʻz ichiga olmaydi; bu total cost of ownership yoki joriy narx taklifi emas.
Joriy provider rejalari va hisob huquqlarini tekshiring. 3-qismda koʻrsatilgan MySQL Standard oʻzgarishlari tarixiy juftlikni tekshirilmagan 2026-yil xaridlash retsepti sifatida moslashtirilmaydi. Katta ishonch byudjeti foydali boʻlishi mumkin, lekin tejaga oid claim qoʻllab-quvvatlash faqat taqqoslanadigan xizmat va toʻliq operatsion model bilan mumkin.
| Tarixiy oylik guruh | Koʻrsatilgan subtotal | Koʻlam |
|---|---|---|
| Web tier | $272 | 2 backend +2 frontend +worker +2 balancer |
| Maʼlumot va log’lar | $709 | MySQL +Valkey +PostgreSQL +OpenSearch |
| Snapshot’lar va storage bazasi | $10 | $5 +$5; foydalanish qoʻshimcha |
| Koʻrsatilgan birlashtirilgan bazaviy narx | $991 | Foydalanish, xodimlar, soliqlar va boshqa xizmatlardan oldin |
Keys materialida rasmiy koʻp soatlik soak test va toʻliq aralashgan write-path yuk testi rejalashtirilgan edi. Ikki soatlik imtihon kuzatuvi nazorat qilinadigan soak testi emas edi. 24 soatlik lokal yozuvsiz kuzatuv memory leak, ulanishlar oʻsishi yoki navbatlarning kattalashishini istisno qilmaydi. Ushbu boʻshliqlarni jimgina «oʻtgan» deb belgilang.
Keyingi kattaroq voqeadan oldin muvaffaqiyatli javob va kechikish chegaralarini kelishing; vakillik identifikatsiyalari va kelishlar shaklidan foydalaning; takroriy topshirişlar hamda muddat chegarasidagi xatti-harakatni test qiling; xotira, ulanishlar, storage va eng eski vazifa yoshini kuzatish uchun yetarli davom eting. Node muvaffaqiyatsizligi, xavfsiz masshtabni kamaytirish, maʼlumotlar bazasi qayta ulanishi/failover, worker tiklanishi va backup tiklanishini qoʻshing. Tool versiyalari, script’lar, resurs sozlamalari, xatolar va qabul qilingan ish boʻyicha tekshiruvni qayd eting. Buzuvchi testlarni izolyatsiyalangan, vakillikka toʻgʻri keladigan muhitda yoki stop mezonlari bilan tasdiqlangan oynada oʻtkazing.
Seriya foydali qaror sikli bilan yakunlanadi: biznes natijani oʻlchang, cheklovni aniqlang, tegishli qatlamni oʻzgartiring, soʻng natija va tiklashni yana test qiling. Uning eng qimmatli artefakti — «kuzatilgan», «modellangan» yoki «hali test qilinmagan» deya farqlashni buzmaydigan dalil registeri.

2026-yil 6-noyabrda koʻrib chiqilgan. Anichur Rahaman, StoreConsole asoschisi. Tarixiy kuzatuvlar saqlangan; arifmetika tekshirilgan; ekstrapolatsiyalar va rejalashtirilgan testlar aniq ajratilgan.
Muallif haqida
Anichur Rahaman
O'qishni davom ettirish