Erta kelganlarga taklifYillik rejalar va umrbod litsenziyalarga 60% chegirma oling.

High Availability for Exam-Day Traffic: NovaCommerce, Part 1

A practical case study in finding failure points, defining availability and testing scheduled traffic before buying more servers.

Muallif

Anichur Rahaman

1 ой аввал7 daqiqalik o'qish340 ko'rish
High Availability for Exam-Day Traffic: NovaCommerce, Part 1

Imtihon belgilangan vaqtda boshlanadi. Talabalar bir vaqtda keladi va platforma ularning ishlarini qabul qilishi kerak, vaqt esa o‘chmaydi. Katta server sotib olish muhim savollarga javob bermaydi: node ishdan chiqsa, umumiy xizmat sekinlashsa yoki deploy jarayon faol so‘rovni uzsa nima bo‘ladi?

Bu besh qismli keys tadqiqotida onlayn kurs va imtihon platformasining dastlabki qurilmasidan rejalashtirilgan yuqori yuk uchun bajarilgan o‘zgarishlarga qadar bo‘lgan jarayonni kuzatamiz. 1-qism infratuzilmani tanlashdan oldin xavflarni qanday aniqlaganimizni ko‘rsatadi.

Keys haqida: NovaCommerce — anonimlashtirilgan nom. Quyidagi konfiguratsiya va o‘lchovlar 2026-yil sentabr–oktabr loyihasi hujjatlaridan olingan. Ular shu platforma va yuk haqida ma’lumot beradi, Store Console benchmarki haqida emas. Umumiy texnik tavsiyalar 2026-yil 3-noyabrda ko‘rib chiqilgan.

Biznes hodisasidan boshlang

Oddiy kundagi o‘rtacha trafik imtihon sig‘imini aniqlash uchun ishonchsiz ko‘rsatkich bo‘ldi. Eng talab qiluvchi hodisa bo‘lish daqiqasi edi: talabalar savollarni yuklab, sessiyasini tekshirib va imtihonni taxminan bir vaqtda boshladi.

Biz bu hodisani to‘rtta talabga aylantirdik:

  • Boshlanishdan oldin tayyor bo‘ling. Talabalar kelganda sig‘im allaqachon sog‘l‘ bo‘lishi kerak.
  • Tasdiqlangan topshiriqlarni himoya qiling. Javob qachon uzoq muddatga saqlanishi va qayta urinish jarayonida takroriy nusxalar qanday oldi qilinishi kerakligini belgilang.
  • O‘zgarishlar faol ishlarni uzib qo‘ymasligi kerak. Deploylar va node’larni olib tashlash uchun sog‘l‘lik tekshiruvlari hamda so‘rovlarni drain qilish kerak.
  • Xarajatni tushunarli qiling. Har bir doimiy resurs o‘lchangan sig‘im ehtiyoji yoki aniq belgilangan nosozlikka javob berishi kerak.

Bular talablar edi, ya’ni har bir nosozlik stsenariysi allaqachon tekshirilgan degan da’vo emas.

Dastlabki arxitektura va uning zaif nuqtalari

Imtihon platformasining bog‘liqliklar va qarorlar xaritasi: dastlabki bitta frontend va MySQL, ikkita backend, umumiy Valkey va worker, keyin diagnostika, uzoq muddatli tasdiqlash va yuqori yukka tayyorgarlik.
Dastlabki nosozlik nuqtalari va imtihondan oldin talab qilinadigan qabul dalillari. Bu tarixiy keysning o‘quv xaritasi; o‘lchangan mavjudlik kafolati emas.

Frontend bitta Next.js konteynerida 8 vCPU, 16 GB Droplet’da ishlar edi; oldida load balancer yo‘q edi. Uni yo‘qotish ommaviy saytni mavjud bo‘lmasligiga olib kelishi mumkin edi. Backend yaxshiroq ajratilgan edi: ikkita 4 vCPU, 8 GB node Laravel’ni nginx va PHP-FPM orqali xizmat qilardi, fon vazifalari, scheduler va WebSockets esa alohida worker’da ishlardi.

Backend load barqaror Droplet ID’larga yo‘naltirilgan edi. Shu sababli yana server qo‘shish uchun uni ro‘yxatdan o‘tkazish kerak edi; konfiguratsiya yangi sig‘imni avtomatik aniqlamasdi. Sessiyalar, cache va queue’lar allaqachon boshqariladigan Valkey’da tashqi ko‘rinishga ega edi, bu esa web node’larni almashtirishni osonlashtirdi.

MySQL’da bitta 8 vCPU, 32 GB boshqariladigan node va sozlanmagan zaxira node bor edi. Boshqariladigan xizmat ishdan chiqqan node’ni almashtira oladi, lekin bu replikatsiyalangan zaxira node faol rejaga o‘tkazilishga tayyor bo‘lishidan farq qiladi. Yagona worker ham asinxron ish uchun yana bir nosozlik nuqtasi edi.

Tiklash sig‘imi sifatida ikkita qo‘shimcha Droplet o‘chirilgan holatda saqlanardi. Ular tiklash protsedurasini qo‘llab-quvvatlashi mumkin edi, ammo trafikni xizmat qilmasdi va avtomatik failover ta’min qila olmasdi.

Foydali farq: Yagona JavaScript event loop CPU’ga og‘ir rendering’ni cheklashi mumkin, ammo Node.js yana worker pool va native operatsiyalardan foydalanadi. Yagona konteyner sakkiz yadrodan yettasi bekor qolganini o‘zi ko‘rsatmaydi. To‘g‘ri jarayonlar soni profiling va load testing orqali aniqlanadi.

Mavjudlikni bajarish mumkin bo‘lgan test sifatida belgilang

Butun platformani “yuqori mavjudlikka ega” deb belgilash o‘rniga, aniq bir nosozlik paytida inson nimani boshdan kechirishi kerakligini so‘radik.

  • Web-node nosozligi: Sog‘l‘ node’lar xizmatda davom etadi; nosoz node’lar yangi trafikni qabul qilmaydi.
  • Database nosozligi: Hujjatlashtirilgan failover yo‘li xizmatni tiklaydi va ilova vaqtinchalik uzilishlarni qayta ishga tushiradi.
  • Deploy: Almashinuvchi node eski node trafikni qabul qilishdan to‘xtashidan oldin tayyor bo‘ladi; faol so‘rovlarga tugash uchun vaqt beriladi.
  • Rejalashtirilgan yuqori yuk: Hodisa boshlanishidan oldin yetarli sig‘im sog‘l‘ bo‘ladi va teng bo‘lmagan trafik uchun zaxira imkoniyat qoldiriladi.

Mavjudlik va ma’lumotning uzoq muddatli saqlanishi uchun alohida dalil kerak. Stateless web node’lar almashtirish imkonini beradi, ammo javobning saqlanishini o‘zlari kafolatlaydi. Bu javobning yashirinishi database commitlari, replikatsiya va persistence sozlamalari, retry’ni boshqarish, backup’lar hamda tiklash testlariga ham bog‘liq. Bir regionli dizayn regional uzilishdan tiklanishni ham kafolatlaydi.

Uchta topilma, uchta turlicha javob

1. HTTP 429: limiter noto‘g‘ri identifikatsiyani hisobga oldi

25-sentabrda maktab yoki operator tarmog‘idan foydalanuvchi talabalar “too many requests” xabari olayotgan edi. API limiter ularning IP manzilidan foydalangan, chunki kutilgan autentifikatsiyalangan identifikatsiya aniqlanmayotgan edi. Shu sababli ko‘p odam bitta ruxsat chegarasidan foydalandi.

Tuzatishda autentifikatsiyalangan limitlar student yoki instructor hisobi bog‘langan, mehmonlar uchun esa IP asosidagi zaxira variant saqlanib qoldi. Qo‘shimcha serverlar bu qoidani o‘zgartirmagan bo‘lardi. Identifikatsiya asosidagi limitlar uchun abuse himoyasi alohida talab qilinadi; ular throttling’ni olib tashlash uchun sabab bo‘lmaydi.

2. Valkey ulanish vaqti chegaralari: umumiy bog‘liqlik yuk ostida ishdan chiqdi

6-oktabrdagi testda qayd etilgan 2 854 ilova xatosi Valkey bilan ulanish vaqti chegarasi tufayli yuzaga keldi. Keys hujjatlarida yangi TLS ulanishlarining qo‘shimcha vaqti va 4 GB asosiy-zaxira konfiguratsiyasidan har bir node uchun 8 GB’ga resize qilish tasvirlangan.

Resize’dan keyin 25–500 requests/second’ga bosqichli ravishda ko‘tarilgan yukda ilova xatoları yo‘q, lekin 143 load-balancer xatosi qayd etildi, chunki backend CPU to‘ldi. Bu ilova vaqti chegarasi nosozligining ushbu testda bartaraf etilganini ko‘rsatadi. Bu maksimal yukda toza uchdan uchgacha muvaffaqiyatli test emas: so‘rovlar yana xato qildi.

Faqat timeout xotira yetishmovchiligini tasdiqlamaydi. Boshqa tizimda katta tarif javob deb faraz qilishdan oldin ulanishlar tez-tez almashishi, limitlar, tarmoq xulqi va xizmat ko‘rsatkichlarini tekshiring.

3. Backend CPU: sig‘im keyingi cheklovga aylangan

Sinovdagi API aralashuvi uchun 4 vCPU backend node CPU to‘liq ishlanganda taxminan 65–70 requests/second’ni qayta etdi. Bu kuzatilgan to‘yinganlik nuqtasi, xavfsiz ishlash maqsadi yoki ko‘chiriladigan benchmark emas. CPU yukini kamaytirish va sig‘imni oshirish — ikkalasini ham baholash uchun variantlar.

Bitta testda CPU 99%’ga yetganidan taxminan yetti daqiqa keyin birinchi qo‘shimcha avtomatik masshtablangan node keldi. Bu kechikish aynan ushbu qurilmaga xos edi. Rejalashtirilgan imtihon uchun amaliy javob boshlanishdan oldin oldindan masshtablash va tayyorligini tekshirish bo‘ldi.

Xarajatlar taqqoslashini halol saqlang

Dastlabki keys byudjetida web tier taxminan $416/oy, jumladan $112/oy o‘chirilgan Droplet’lar uchun edi. Bular 2026-yil sentabr–oktabr tarixiy raqamlari; database’lar, Valkey va storage hisobga olinmagan. Ular keyingi full-stack hisobi bilan taqqoslanmasligi kerak.

DigitalOcean rezerv qilingan CPU Droplet’larni ular o‘chirilgan bo‘lsa ham hisoblaydi. Sovuq sig‘im qiymatga ega yoki yo‘qligi uni tiklashga qancha vaqt sarflanishiga bog‘liq. Resurs qaysi nosozlikni qoplaydi, qanchalik tez yordam bera oladi va protsedura oxirgi marta qachon tekshirilganini so‘rang.

Provider tariflari ham o‘zgaradi. DigitalOcean’ning joriy hujjatida PostgreSQL va MySQL Standard Edition tariflariga cheklovlar kiritilishi haqida e’lon qilingan: hech qachon PostgreSQL yoki MySQL cluster yaratmagan account’lar uchun 2026-yil 15-oktabrdan, barcha account’lar uchun esa 2026-yil 30-noyabrdan. Tarixiy konfiguratsiyani takrorlashdan oldin joriy tarif shartlari va narxlarini tekshiring.

Keyingi yuqori yukdan oldin ham shu tahlildan foydalaning

Imtihon, mahsulot ishga tushirish yoki checkout yukining ko‘tarilishi uchun muhim so‘rov yo‘lini yozib qo‘ying. Har bir umumiy bog‘liqlikni aniqlang va u mavjud bo‘lmaganda nima bo‘lishini so‘rang. Keyin kutilgan yukni test qilib, butun yo‘l bo‘ylab muvaffaqiyatli javoblar, tail latency va nosozliklarni o‘lchang.

Dalil ko‘rsatgan qatlamni o‘zgartiring va testni takrorlang. Maqsad — belgilangan nosozlik va tiklash byudjeti doirasida biznes hodisasini qayta ishlaydigan xizmat.

Keyingi qism: 2-qism frontend va backend pool’lari, oldindan masshtablash va deploy ketma-ketligini kuzatadi. Biznes uchun muhim yukda Store Console’ni baholayotgan bo‘lsangiz, avval uning deploy talablarini ko‘rib chiqing va o‘z trafik modelingizni tasdiqlang.

Manbalar va dalillar

Keys konfiguratsiyasi, hodisa sonlari va test kuzatuvlari tarixiy loyiha hujjatlaridir. Quyidagi manbalar umumiy tushuntirishlarni qo‘llab-quvvatlaydi, lekin shu maxfiy o‘lchovlarni emas.

2026-yil 6-noyabrda ko‘rib chiqilgan. Qabul qilingan javob uchun aniq uzoq muddatli saqlash tasdig‘i, operatsiya identifikatori va idempotent retry yo‘li kerak. Queue’ga qo‘yilgan job javobning yagona nusxasi emas. Zaxira node, backup va muvaffaqiyatli restore testi turlicha muammolarni hal qiladi; hech biri o‘zi ma’lumot yo‘qotilmasligini tasdiqlamaydi. Quyidagi tarixiy hodisa sonlari mavjud keys hujjatidan saqlangan, ushbu tahririy tahlilda mustaqil ravishda qayta o‘lchanmagan.

Muallif haqida

Anichur Rahaman

O'qishni davom ettirish