
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.
Autor
Anichur Rahaman

O 22:59 5 października 2026 r. zakończyło się planowane okno serwisowe bazy danych. Witryna wróciła po 26 minutach. O 23:24 zespół odkrył, że stary panel administracyjny nadal zapisywał dane w poprzedniej bazie. Aplikacja została przeniesiona, ale nie przeniesiono całej populacji procesów zapisujących.
NovaCommerce to zanonimizowana platforma kursów i egzaminów. Część 3 zachowuje istniejący zapis projektu z okresu wrzesień–październik i poprawia ogólne zalecenia dotyczące tego projektu. Te historyczne wartości nie są nowymi, zweryfikowanymi pomiarami środowiska produkcyjnego ani benchmarkami StoreConsole.
Stara zarządzana baza MySQL składała się z jednego węzła 8 vCPU/32 GB bez węzła standby. Nowa historyczna konfiguracja obejmowała MySQL 8.4 Standard, po 4 vCPU/16 GB na węzeł, węzeł główny i węzeł standby, z około 11 GB danych. Rozwiązało to scenariusz awarii pojedynczego węzła, ale nie potwierdziło zerowej utraty danych, zerowego opóźnienia przełączenia ani odtworzenia regionalnego.
Para kosztująca około 389 USD miesięcznie była historycznym budżetem przypadku, a nie aktualną ofertą. DigitalOcean obecnie dokumentuje ograniczenia Standard Edition od 15 października 2026 r. dla nowych kont spełniających warunki oraz od 30 listopada dla wszystkich kont. Przed odtworzeniem konfiguracji sprawdź uprawnienia konta, planu i węzła standby. Węzeł standby replikuje zmiany danych, w tym przypadkowe usunięcia, ale nie jest kopią zapasową.
Zapis opisuje kierowanie ruchu na konserwację o 22:33, opróżnianie kolejek, zatrzymywanie zaplanowanych zadań, 30 sekund bez obserwowanych zapisów, około dziesięciominutowe kopiowanie, walidację i utworzenie nowych obrazów aplikacji przed godziną 22:59. Ciche okno obserwacji nie jest barierą: zapomniany klient może zapisać dane później. Sprawdź aplikację webową inventory, procesy robocze, harmonogramy, wywołania zwrotne, importy i panele zewnętrzne, a następnie zablokuj wszystkie stare zapisy przed wykonaniem spójnej kopii.
W przypadku odnotowano zgodne sumy tabel i wierszy, późniejsze kontrole zawartości tabel oraz szczegółowe porównanie dużej tabeli wyników. Zachowaj informacje o tym, co porównywano, w której migawce i jaką metodą. Same liczby nie dowodzą równoważnej zawartości, a porównania po przełączeniu wymagają wyraźnej granicy uzgadniania. Sprawdź także role, schemat, procedury i zdarzenia, jeśli są używane, zestawy znaków oraz rzeczywiste przepływy zapisywania i odczytu odpowiedzi. Standardowy mysqldump nie jest silnikiem równoległego zrzucania danych; nie traktuj nieudokumentowanej otoczki wielostrumieniowej jako powtarzalnej procedury zapewniającej spójność.
| Obserwacja historyczna | Zarejestrowana wartość | Czego nie dowodzi |
|---|---|---|
| Sumy skopiowanych danych | 341 tabel; 18 727 244 wiersze | Równe liczby ≠ równy stan biznesowy |
| Porównanie największej tabeli wyników | Około 2,76 mln wierszy | Zakres i metoda muszą zostać zachowane |
| Pierwsze cztery minuty po ponownym otwarciu | Około 2900 żądań; 0 5xx | Nie każdy późniejszy przepływ ani proces zapisujący |
| Późne zapisy w starym systemie | 48 =44 scalone +4 zachowane | Nie jest ogólną zasadą scalania |
| Szacowanie połączeń tylko dla aplikacji internetowej | 10 ×80 =800 | Pominięto odczyty i zapisy, procesy robocze oraz nakładanie się systemów |
Stary panel dodał 48 wierszy po starej stronie. Historyczne naprawienie scaliło 44 z nich i zachowało cztery nowsze wersje docelowe, a następnie przeniosło panel i zmieniło stare dane dostępowe. Rozliczenie 44+4=48 opisuje ten incydent, a nie bezpieczny ogólny algorytm oparty na zasadzie „najnowszy znacznik czasu wygrywa”. Zegary, usunięcia, wiersze zależne i równoległe edycje wymagają uzgadniania uwzględniającego logikę biznesową oraz ścieżki audytowej.
Zatrzymaj pominięte procesy zapisujące i zakończ istniejące połączenia lub w inny sposób je odetnij; samo zmiana hasła może nie zamknąć już uwierzytelnionej sesji. Sprawdź, czy stare zapisy są odrzucane. Według relacji stary klaster pozostawiono zamrożony na 48 godzin. Gdy nowa strona zacznie przyjmować zadania, stara kopia jest materiałem do odtworzenia, a nie natychmiastowym celem wycofania. Powrót do niej bez uzgodnienia nowych odpowiedzi może spowodować utratę zaakceptowanej pracy. Retencja powinna wynikać z przetestowanego odtwarzania i obowiązków, a nie z uniwersalnej reguły 48-godzinnej.

W przypadku węzeł standby i węzeł główny pełniły rolę hostów odczytu, a zapisy były kierowane wyłącznie do węzła głównego; proces roboczy również korzystał z odczytów na węźle głównym. Obsługiwany punkt końcowy odczytu ze standby może wykorzystywać opłaconą moc obliczeniową, ale współdzieli też zasoby awarii i odtwarzania. Sprawdź obsługę, opóźnienie i zachowanie podczas awarii u dostawcy; dedykowany host odczytu nie zawsze oznacza marnowanie zasobów.
Ustawienie Laravel sticky=true kieruje późniejsze odczyty do połączenia zapisującego po zapisie wykonanym w ramach tego samego żądania. Samo nie chroni następnego żądania ani każdej sesji użytkownika. Aktualność danych między żądaniami wymaga jawnego, przetestowanego mechanizmu albo odczytów z węzła głównego w celu uzyskania autorytatywnych odpowiedzi. Wiele hostów odczytu nie gwarantuje uniwersalnego dwusekundowego przełączenia ani bezpiecznego ponownego wykonania dowolnych zapytań. Testuj awarię połączenia oddzielnie od zapytania, które już się wykonało.
Stare szacowanie 10 węzłów ×80 procesów potomnych PHP-FPM=800 uwzględnia tylko jedno połączenie na proces potomny. Proces potomny może otworzyć połączenia do odczytu i zapisu; dwa połączenia na proces dają 1600, nie licząc procesu roboczego, sesji administracyjnych ani nakładania się systemów podczas wdrożenia, wobec historycznego limitu 1601. Uwzględnij w budżecie każde źródło połączeń i generację węzłów. Limit połączeń nie gwarantuje przepustowości.
Osobna instancja PostgreSQL 17/pgvector przechowywała embeddingi AI, historycznie przy zasobach 2 vCPU/4 GB. próbę z 1 vCPU/2 GB cofnięto, gdy jej obciążenie wymagało większej mocy. Osobne instancje zapewniają osobne budżety CPU i pamięci, ale wspólne pule aplikacji, sieć lub dostawcy mogą nadal sprzyjać powiązanym awariom. To wybór dotyczący obciążenia, a nie stwierdzenie, że każda oferta MySQL pozbawiona jest funkcji wektorowych.
Wieczorem 7 października podczas egzaminu zapis raportuje maksymalne obciążenie CPU na poziomie 24,5%, średnie 13,4%, maksymalnie pięć uruchomionych zapytań i zero obserwowanych oczekiwań na blokady. Potwierdzają one jedynie węższy wniosek, że mierzony zakres czasu nie wykorzystał w pełni tych wskaźników. Nie dowodzą limitu 450 żądań/s ani sześciokrotnej wydajności: mieszanka zapytań, rywalizacja o zapisy, operacje I/O i przełączenie awaryjne zmieniają wynik.
Oddziel dane dostępowe aplikacji o minimalnych uprawnieniach od uprawnień migracyjnych, ogranicz dostęp do bazy danych i testuj przywracanie kopii zapasowych za pomocą kontroli aplikacji oraz zmierzonych celów odtwarzania. Skonfigurowany węzeł standby, udane kopiowanie i udane przywrócenie to trzy różne rodzaje dowodów. Część 4 omawia kolejki i proces roboczy, które nadal łączą się z tą flotą.
Sprawdzono 6 listopada 2026 r. Anichur Rahaman, założyciel StoreConsole. Liczby i ceny w przypadku pozostają historyczne; obecne źródła główne potwierdzają kwalifikacje techniczne.
O autorze
Anichur Rahaman
Czytaj dalej