
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
Два реальных экзамена, одна ошибка при уменьшении ресурсов и полезная модель планирования. Итоговый разбор отделяет наблюдения от оценок, операционных расходов и ещё не проведённых тестов восстановления.
Автор
Anichur Rahaman

7 октября 2026 года два экзамена прошли один за другим. В журнале одного из них зафиксировано 661 начало и 638 отправок, другого — 439 начал и 425 отправок. Затем в середине экзамена снизили минимальный размер пула: обслуживающий узел исчез без ожидаемого завершения работы, и примерно 360 запросов завершились ошибкой за две минуты. И работающий сервис, и этот сбой относятся к результату.
NovaCommerce — это обезличенная платформа для курсов и экзаменов. В этой заключительной части сохранены прежние наблюдения за сентябрь–октябрь, пересчитаны опубликованные значения и указано, что еще не доказано. Это не повторный нагрузочный тест и не бенчмарк StoreConsole.
В ходе исследования 25 сентября обнаружили ограничитель на основе IP-адреса, 6 октября — сбои подключения к Valkey, а также перегрузку CPU backend при тестируемом сочетании запросов. Для разных причин потребовались разные изменения. «Больше серверов» было уместно при некоторой нагрузке на пропускную способность, но не заменяло корректную идентификацию или работоспособный общий сервис.
В журналах представлен frontend-прогон примерно с 356 запросами/с, p95 0,05 с и нулевым числом зафиксированных ошибок; 5 октября — прогон автомасштабирования на основе GET с примерно 750 запросами/с, без зафиксированных серверных ошибок и тайм-аутов, но с примерно 4% HTTP 429; также — нарастание нагрузки от 25 до 500 с нулевыми ошибками приложения и 143 ошибками балансировщика нагрузки. Эти прогоны различаются по составу и охвату запросов. Не объединяйте их лучшие показатели в одно утверждение об успешной пропускной способности.
При последующем поэтапном развертывании было выполнено 219 проверок каждые две секунды без ошибок. Это полезные выборочные данные, но не доказательство того, что каждый запрос, каждая запись и каждое долгое соединение сохранились. Полный тест бизнес-сценария должен подтвердить прием авторизованных ответов, надежное сохранение подтверждений, безопасные повторные попытки и корректность итоговых результатов, а не только коды HTTP или быструю загрузку кэшированной главной страницы.
638/661 — это 96,5%; 425/439 — 96,8%. Это доли отправленных ответов, а не показатели доступности. Отсутствие отправки может иметь несколько причин; по этим числам нельзя связать каждую недостающую отправку с техническим сбоем или подтвердить отсутствие потери данных.
По журналам за минуты пиковая нагрузка на backend составила примерно 69 запросов/с, тогда как агрегированные данные провайдера за две минуты показывают 63. CPU пула достиг 47% по указанному среднему значению, а на одном узле в течение минуты поднялся до 86%. Максимальная загрузка CPU MySQL составила 24,5%, средняя — 13,4%; у worker — максимум 46% при отсутствии зафиксированных неудачных заданий. Необходимо сохранять видимыми интервалы агрегации и знаменатели. Отсутствие неудачных заданий не означает отсутствия незавершенной или потерянной работы.
Прежняя оценка загрузки CPU составляла около 59 мс/запрос. При 63 запросах/с это 3,717 CPU-секунд/с; при делении на восемь vCPU — около 46,5%. Близость к 47% служит проверкой согласованности при этих допущениях, но не доказывает причинно-следственную связь или линейное масштабирование. Инцидент со снижением количества узлов показал, что готовность, нагрузка на отдельные узлы и их вывод из эксплуатации требуют отдельных данных. Runbook для экзаменационных часов был ручной мерой контроля, а не технически обеспеченным запретом.
Историческая модель планирования предполагала 50 backend-запросов/с на узел, базовый трафик 30 запросов/с, коэффициент дисбаланса 1,3, 15 запросов/с на студента при открытии и 0,025 запроса/с на каждого присутствующего студента. Считайте значением 50 гипотезу для того же сочетания запросов и согласованного целевого уровня задержки, а не доказанным универсально безопасным пределом.
Для N исправных узлов бюджет для студентов составляет N×50÷1,3−30 запросов/с. При 600-секундном окне подключения каждый студент создает 15÷600+0,025=0,05 запроса/с. При 120 секундах — 0,15. Для четырех узлов (4×50÷1,3−30)÷0,05≈2 477; в таблице для обучения результат округляется вниз до 2 400. Это динамическая средняя модель: пиковые всплески, неравномерное прибытие, паузы и корреляции все еще могут превысить ее пределы.
Делитель 1,3 — это коэффициент планирования, а не утверждение о наличии 30% свободной емкости или автоматическом покрытии отказа узла. Моделируйте потерю узла отдельно. Строка со значениями выше наблюдаемых при нескольких узлах являются экстраполяциями, а не сертифицированной пропускной способностью для студентов. Загрузка PDF, очереди worker, конкуренция за ресурсы базы данных и лимиты провайдера не входят в эту модель backend. Низкая загрузка CPU базы данных не подтверждает потолок в 450 запросов/с или шестикратный запас емкости.
| Исправные узлы backend | Бюджет модели, запросов/с | Подключение за 600 секунд: округленное число студентов | Подключение за 120 секунд: округленное число студентов |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2 400 | 800 |
| 6 | ≈231 | 4 000 | 1 300 |
Историческая архитектура включала независимые пулы frontend и backend, от двух до десяти узлов в каждом; primary/standby MySQL; общий Valkey; отдельные PostgreSQL/pgvector; объектное хранилище; а также журналы backend в OpenSearch. Один выделенный worker по-прежнему обслуживал очереди, планирование, WebSockets и SMS. Этот worker оставался единой точкой отказа; были запланированы доставка frontend-журналов и резервный worker.
Реплицируемая база данных, stateless-веб-узлы и образы улучшают отдельные сценарии восстановления. Они не делают каждую зависимость избыточной и не защищают от регионального сбоя, ошибки развертывания, несанкционированного доступа или ошибочного удаления. Тестируйте fencing для записи и восстановление отдельно. Старые замороженные данные не обеспечивают текущий откат после новых записей; для отката образа также требуются совместимые схема, сессии и payloads очередей.
Итоговая стоимость перечисленных исторических ежемесячных web-ресурсов составляет $272: backend $112 + frontend $56 + worker $56 + два балансировщика $48. Данные и журналы — $709: MySQL $389 + Valkey $240 + PostgreSQL $60 + OpenSearch $20. С учетом снимков $5 и базовой стоимости Spaces $5 получается $991 до учета переменного потребления. Прежняя оценка «около $990» была округленной, а не точной суммой счета.
Прежние $416 описывали web-уровень, включая выключенные Droplet для восстановления, и не являлись прежней полной стоимостью всего стека. Сравнивайте $416 с $272 только после подтверждения одинакового охвата и сервисных допущений, а не с новой общей суммой $991. В этот перечень не входят затраты на персонал, поддержку, налоги, AI/SMS провайдера, превышение лимитов и временную емкость для развертывания и пиковых нагрузок; это не полная стоимость владения и не текущее коммерческое предложение.
Проверьте текущие тарифы провайдера и условия соответствия аккаунта. Изменения MySQL Standard, описанные в части 3, делают историческую конфигурацию непригодной в качестве непроверенного рецепта закупок на 2026 год. Более значительный бюджет на обеспечение надежности может быть оправдан, однако утверждение об экономии подтверждается только сопоставимым сервисом и полной моделью эксплуатации.
| Историческая ежемесячная группа | Итог по перечню | Охват |
|---|---|---|
| Web-уровень | $272 | 2 backend + 2 frontend + worker + 2 балансировщика |
| Данные и журналы | $709 | MySQL + Valkey + PostgreSQL + OpenSearch |
| Снимки и базовая стоимость хранилища | $10 | $5 + $5; потребление оплачивается отдельно |
| Итоговая базовая стоимость по перечню | $991 | До учета потребления, персонала, налогов и других сервисов |
В журнале по-прежнему были запланированы официальный многочасовой soak-тест и полный нагрузочный тест смешанного пути записи. Двухчасовое наблюдение во время экзамена не было контролируемым soak-тестом. 24-часовое наблюдение без локальных записей не исключает утечек памяти, роста числа соединений или увеличения очередей. Не переименовывайте эти пробелы молча в «пройдено».
Перед следующим крупным мероприятием согласуйте пороги успешности ответов и задержки; используйте репрезентативные идентификаторы и профиль прибытия; проверьте повторные отправки и поведение при наступлении срока; поддерживайте нагрузку достаточно долго, чтобы отследить память, соединения, хранилище и возраст самой старой задачи. Включите отказ узла, безопасное снижение количества узлов, переподключение к базе данных/failover, восстановление worker и восстановление из резервной копии. Фиксируйте версии инструментов, скрипты, настройки ресурсов, ошибки и сверку принятой работы. Проводите разрушительные тесты в изолированной репрезентативной среде или в согласованное окно с критериями остановки.
Цикл завершается пригодным для использования циклом принятия решений: измерить бизнес-результат, определить ограничение, изменить соответствующий уровень, затем повторно проверить результат и восстановление. Его наиболее ценный артефакт — реестр данных, позволяющий четко различать «наблюдалось», «смоделировано» и «еще не тестировалось».

Проверено 6 ноября 2026 года. Anichur Rahaman, основатель StoreConsole. Исторические наблюдения сохранены; расчеты проверены; экстраполяции и запланированные тесты явно разделены.
Об авторе
Anichur Rahaman
Читать далее