High Availability for Exam-Day Traffic: NovaCommerce, Part 1

A practical case study in finding failure points, defining availability and testing scheduled traffic before buying more servers.

Szerző

Anichur Rahaman

1 hónapja7 perc olvasás340 megtekintés
High Availability for Exam-Day Traffic: NovaCommerce, Part 1

Egy vizsga egy meghatározott időpontban kezdődik. A hallgatók egyszerre érkeznek, a platformnak pedig fogadnia kell a munkájukat, miközben az időzítő is fut. Egy nagyobb szerver vásárlása nem válaszol a fontos kérdésekre: mi történik, ha egy csomópont meghibásodik, egy megosztott szolgáltatás lassul le, vagy egy deploy megszakítja a folyamatban lévő kérést?

Ebben az öt részes esettanulmányban végigkövetjük egy online kurzus- és vizsgaplatform eredeti felépítését, valamint az ütemezett csúcsidőszakhoz igazított módosításokat. Az 1. rész bemutatja, hogyan azonosítottuk a kockázatokat az infrastruktúra kiválasztása előtt.

Az esettanulmányról: A NovaCommerce anonimizált név. Az alábbi konfiguráció és mérési adatok a 2026. szeptember–októberi projekt dokumentumaiból származnak. Ezek az adott platformot és terhelést írják le, nem a Store Console benchmarkját. Az általános technikai útmutatást 2026. november 3-án vizsgáltuk felül.

Kezdd az üzleti eseménnyel

Egy átlagos nap forgalma nem jó támpont a vizsgakapacitás meghatározásához. A legigényesebb esemény az indulás perce volt: a hallgatók kérdéseket töltöttek be, ellenőrizték a munkamenetüket, és közel egyszerre kezdték el a vizsgát.

Négy követelménnyé fordítottuk az eseményt:

  • Legyél készen az indulás előtt. A kapacitásnak már akkor is megfelelő állapotban kell lennie, amikor a hallgatók megérkeznek.
  • Védd a nyugtázott beküldéseket. Határozd meg, mikor kerül egy válasz tartósan elmentésre, és hogyan kerüli el az újrapróbálás a duplikációkat.
  • Ne hagyd, hogy a változtatások megszakítsák a folyamatban lévő munkát. A deployok és a csomópontok eltávolítása egészségügyi ellenőrzést és a folyamatban lévő kérések leürítését igényli.
  • Tedd magyarázhatóvá a költségeket. Minden ismétlődő erőforrásnak egy mért kapacitási igényt vagy egy meghatározott meghibásodást kell kezelnie.

Ezek követelmények voltak, nem állítások arról, hogy minden meghibásodási forgatókönyvet már teszteltünk volna.

Az eredeti architektúra és annak gyenge pontjai

A vizsgaplatform függőségi és döntési térképe: eredeti egyetlen frontend és MySQL, két backend, megosztott Valkey és worker, majd diagnózis, tartós mentési nyugták és csúcsidőszaki készenlét.
Az eredeti meghibásodási pontok és a vizsga előtt szükséges elfogadási bizonyítékok. Ez a történeti eset oktatási térképe, nem mért rendelkezésreállási garancia.

A frontend egyetlen Next.js konténert futtatott egy 8 vCPU, 16 GB Dropleten, load balancer nélkül. Ennek elvesztése可以让 a nyilvános webhely elérhetetlenné váljon. A backend jobban elkülönült: két 4 vCPU, 8 GB csomópont szolgált ki a Laravelt nginxen és PHP-FPM-en keresztül, míg a háttérfeladatok, az ütemező és a WebSockets egy külön workeren futottak.

A backend load balancer fix Droplet ID-kre célozott. Új szerver hozzáadásához ezért regisztrálni kellett; a konfiguráció nem fedezte fel automatikusan az új kapacitást. A munkamenetek, a cache és a queue-ok már külön, menedzselt Valkeyben voltak, ami egyszerűbbé tette a webes csomópontok cseréjét.

A MySQL egyetlen 8 vCPU, 32 GB menedzselt csomóponttal rendelkezett, konfigurált tartalék nélkül. A menedzselt szolgáltatás helyettesítheti a hibás csomópontot, de ez nem ugyanaz, mint egy replikált tartalékot promotionre készen tartani. Az egyetlen worker az aszinkron munkák további meghibásodási pontja volt.

Két további Droplet volt kikapcsolva, helyreállítási kapacitásként. Segíthettek egy helyreállítási eljárásban, de nem szolgáltak ki forgalmat, és nem biztosítottak automatikus failovert.

Egy hasznos különbségtétel: egyetlen JavaScript event loop korlátozhatja a CPU-igényes renderelést, de a Node.js worker poolt és natív műveleteket is használ. Az, hogy egyetlen konténer futott önmagában nem bizonyítja, hogy a nyolc magból hét üresen járt. A megfelelő folyamatszámot profilinggel és load testinggel kell meghatározni.

A rendelkezésre állást futtatható tesztként határozd meg

Ahelyett, hogy az egész platformot „magas rendelkezésre állásúnak” neveznénk, azt kérdeztük meg, mit tapasztaljon egy ember egy adott meghibásodás során.

  • Webes csomópont meghibásodása: az egészséges csomópontok továbbra is kiszolgálják a kéréseket; a hibás csomópontok már nem kapnak új forgalmat.
  • Adatbázis meghibásodása: a dokumentált failover útvonal helyreállítja a szolgáltatást, az alkalmazás pedig kezeli az átmeneti kapcsolatszakadásokat.
  • Deploy: a helyettesítő csomópont a régi forgalomfogadásának leállítása előtt készen áll; a folyamatban lévő kérések befejezésére időt kap.
  • Ütemezett csúcsidőszak: az esemény előtt megfelelő, egészséges kapacitás áll rendelkezésre, tartalék mozgástérrel az egyenlőtlen forgalomhoz.

A rendelkezésre álláshoz és az adatok tartósságához külön bizonyíték szükséges. A stateless webes csomópontok lehetővé teszik a cserét, önmagukban azonban nem garantálják, hogy egy válasz túléli a meghibásodást. Ez a adatbázis commitoktól, a replikációtól és a perzisztenciabeállításoktól, az újrapróbálás kezelésétől, a backupoktól és a helyreállítási tesztekektől is függ. Az egyetlen régiós kialakítás sem bizonyítja a|regionális kimaradásból való helyreállíthatóságot sem.

Három megállapítás, három különböző intézkedés

1. HTTP 429: a limiter a hibás identitást számolta

Szeptember 25-én azok a hallgatók, akik ugyanazon iskolai vagy szolgáltatói hálózaton osztoztak, „túl sok kérést” kaptak. Az API limiter az IP-címüket használta, mert a várt, hitelesített identitást nem sikerült meghatározni. Így sok ember egy közös kvótát használt.

A javítás után a hitelesített kérések limiteit a hallgató vagy az oktató fiókjához kötöttük, miközben a vendégek számára megmaradt az IP-alapú tartalék megoldás. További szerverek nem változtatták volna meg ezt a szabályt. Az identitásalapú limitekhez továbbra is szükség van külön visszaéléselleni védelemre; ez nem ok a throttling megszüntetésére.

2. Valkey kapcsolati timeoutok: a megosztott függőség terhelés alatt hibásodott

Az október 6-i teszt rögzítette 2854 alkalmazáshibát Valkey kapcsolati timeoutokkal. Az eset dokumentumai szerint az új TLS-kapcsolatok többletköltséget okoztak, illetve a 4 GB-os elsődleges–tartalék konfigurációt node-onként 8 GB-ra méretezték át.

Átméretezés után a fokozatos, 25–500 kérés/másodperces terhelésnövelés során nulla alkalmazáshibát, de 143 load balancer hibát jelzett, miközben a backend CPU-ja telítődött. Ez arra utal, hogy az adott futásban megszűnt az alkalmazásszintű timeout miatti meghibásodás. Nem tiszta, végponttól végpontig tartó sikeres teszt ez a legmagasabb terhelésnél: a kérések továbbra is meghiúsultak.

Egy timeout önmagában nem bizonyít memóhiányt. Más rendszernél a nagyobb csomag feltételezése előtt vizsgáld meg a kapcsolatok terhelését, a limiteket, a hálózati viselkedést és a szolgáltatás metrikáit.

3. Backend CPU: a kapacitás lett a következő korlát

A tesztelt API-keveréknél a 4 vCPU backend csomópont teljes CPU-terhelés mellett körülbelül 65–70 kérést kezelt másodpercenként. Ez egy megfigyelt telítési pont, nem biztonságos üzemeltetési cél vagy más környezetben használható benchmark. A CPU-munka csökkentése és a kapacitásnövelés egyaránt értékelendő lehetőség.

Egy tesztben az első további, autoscalinggel kialakított csomópont körülbelül hét perccel a 99%-os CPU-terhelés elérése után jelent meg. A késés ehhez a konfigurációhoz volt specifikus. Ütemezett vizsgánál a gyakorlati intézkedés az volt, hogy előre skáláztunk, és indulás előtt ellenőriztük a készenlétet.

Tedd őszintén összehasonlíthatóvá a költségvetést

Az eredeti eset költségvetése a webes réteget körülbelül 416 USD/hónapértékre becsülte, amelybe beleszámított 112 USD/hónap a kikapcsolt Dropletek költsége. Ezek a történeti 2026. szeptember–októberi számok; nem tartalmazzák az adatbázisokat, a Valkeyt és a tárhelyet. Nem hasonlíthatók össze egy későbbi, teljes stackre vonatkozó számlával.

A DigitalOcean a fenntartott CPU-val rendelkező Dropleteket akkor is számlázza, amikor kikapcsolva vannak. Az, hogy a hideg kapacitás megéri-e, attól függ, milyen helyreállítási időt biztosít valójában. Tedd fel a kérdést: milyen meghibásodást fedez le az erőforrás, milyen gyorsan tud segíteni, és mikor tesztelték utoljára az eljárást?

A szolgáltatói csomagok is változnak. A DigitalOcean aktuális dokumentációja szerint 2026. október 15-től a PostgreSQL és MySQL Standard Edition csomagokra korlátozások vonatkoznak azoknál a fiókoknál, amelyek soha nem hoztak létre PostgreSQL- vagy MySQL-fürtöt, 2026. november 30-tól pedig minden fióknál. A történeti konfiguráció reprodukálása előtt ellenőrizd az aktuális csomagok jogosultságát és árait.

Alkalmazd ugyanezt az értékelést a következő csúcsidőszak előtt

Vizsga, termékbevezetés vagy checkout-roham esetén írd le a kritikus kérési útvonalat. Azonosítsd az összes megosztott függőséget, és tedd fel a kérdést, mi történik, ha elérhetetlenné válik. Ezután teszteld a várható terhelést, és mérd a sikeres válaszokat, a farokkéslelenséget és a meghibásodásokat a teljes útvonal mentén.

A bizonyítékok által azonosított rétegen változtass, majd ismételd meg a tesztet. Az a cél, hogy a szolgáltatás egy meghatározott meghibásodási és helyreállítási keretösszegben kezelje az üzleti eseményt.

Következik: A 2. rész áttekinti a frontend és a backend poolokat, az előzetes skálázást és a deploy sorrendjét. Ha üzletkritikus terhelésre értékeled a Store Console-t, kezdd az alábbiakkal: deploy követelményei és validáld a saját forgalmi mintádat.

Források és bizonyítékok

Az eset konfigurációja, incidensszámai és tesztbeli megfigyelései történeti projekt dokumentumokból származnak. Az alábbi források az általános magyarázatokat támasztják alá, nem ezeket a privát méréseket.

2026. november 6-án felülvizsgálva. Az elfogadott válaszhoz explicit, tartós mentési nyugta, műveletazonosító és idempotens újrapróbálási útvonal szükséges. A sorba helyezett job nem lehet a válasz egyetlen másolata. A tartalék, a backup és a sikeres restore teszt különböző problémákat old meg; egyik sem bizonyítja önmagában az adatvesztés nélküliséget. Az alábbi történeti incidensszámokat a meglévő eseti dokumentumból őriztük meg, és a jelenlegi szerkesztői felülvizsgálat során nem mértük újra függetlenül.

A szerzőről

Anichur Rahaman

Folytatás