
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.
Автор
Anichur Rahaman

В 22:59 5 октября 2026 года запланированное окно работ с базой данных завершилось. Сайт заработал снова через 26 минут. В 23:24 команда обнаружила, что устаревшая административная панель всё ещё записывает данные в старую базу. Приложение переехало, но вся его активная популяция писателей — нет.
NovaCommerce — обезличенная платформа для курсов и экзаменов. Часть 3 сохраняет существующую запись проекта за сентябрь–октябрь и корректирует общие рекомендации. Эти исторические показатели не являются новыми результатами аудита продуктивной среды или тестами StoreConsole.
Старая управляемая MySQL состояла из одного узла 8 vCPU/32 GB без резервного узла. Новая историческая конфигурация — MySQL 8.4 Standard, 4 vCPU/16 GB на узел, основной и резервный узлы, около 11 GB данных. Это устранило риск отказа единственного узла, но не доказало отсутствие потери данных, задержки аварийного переключения или возможности регионального восстановления.
Пара примерно за $389/месяц была историческим бюджетом кейса, а не текущим предложением. DigitalOcean теперь указывает ограничения Standard Edition с 15 октября 2026 года для новых подходящих аккаунтов и с 30 ноября для всех аккаунтов. Перед воспроизведением конфигурации проверьте допустимость аккаунта, тарифа и резервного узла. Резервный узел повторяет изменения данных, включая случайное удаление; это не резервная копия.
В записи описаны маршрутизация обслуживания в 22:33, освобождение очередей, остановка запланированных задач, 30 секунд без записи, копирование примерно за десять минут, проверка и создание новых образов приложения до 22:59. Спокойное окно наблюдения — не изоляция: забытый клиент может выполнить запись позже. Нужно отключить веб-интернет, workers, schedulers, callbacks, импорт и внешние панели от всех старых операций записи, а затем снять согласованную копию.
В кейсе указаны совпадающие итоги по таблицам и строкам, последующие проверки содержимого таблиц и подробное сравнение крупной таблицы результатов. Сохраните подтверждение того, что сравнивалось, на каком снимке и каким методом. Одних количественных показателей недостаточно для доказательства равного содержимого, а сравнения после переключения требуют явной границы согласования. Также проверьте роли, схему, используемые routines/events, наборы символов и реальные сценарии сохранения и чтения ответов. Стандартный mysqldump не является средством параллельного дампа; не рассматривайте недокументированную много потоковую обёртку как воспроизводимый способ обеспечения согласованности.
| Историческое наблюдение | Зафиксированное значение | Что это не доказывает |
|---|---|---|
| Итоги копирования | 341 таблица; 18 727 244 строки | Равные количества ≠ равное состояние бизнеса |
| Сравнение крупнейшей таблицы результатов | Около 2,76 млн строк | Необходимо сохранить объём и метод проверки |
| Первые четыре минуты после возобновления работы | Около 2 900 запросов; 0 ошибок 5xx | Не каждый последующий сценарий или писатель |
| Поздние записи устаревшей системы | 48 =44 объединено +4 сохранено | Не универсальная политика объединения |
| Оценка подключений только веб-приложения | 10 ×80 =800 | Не учтены чтение/запись, worker и период перекрытия |
Устаревшая панель добавила 48 строк на старой стороне. Историческое восстановление объединило 44 строки и сохранило четыре более новые версии на стороне назначения, после чего перенесло панель и изменило учётные данные для доступа к старой системе. Такое учётное соотношение 44+4=48 описывает конкретный инцидент, а не безопасный универсальный алгоритм «побеждает самая поздняя временная метка». Часы, удаления, зависимые строки и параллельные изменения требуют бизнес-ориентированного согласования и журнала аудита.
Остановите незамеченных писателей и завершите либо иным образом изолируйте существующие подключения; смена пароля сама по себе может не закрыть уже аутентифицированную сессию. Проверьте, что запись в старую базу запрещена. Сообщается, что старый кластер оставался замороженным 48 часов. После того как новая сторона начнёт принимать работу, старая копия становится материалом для восстановления, а не пригодным для немедленного отката адресатом. Возврат к ней без согласования новых ответов может привести к потере принятой работы. Срок хранения должен определяться проверенным восстановлением и обязательствами, а не универсальным правилом в 48 часов.

В кейсе резервный и основной узлы использовались как хосты чтения, при этом запись велась только на основной узел, а worker использовал основной узел и для чтения. Поддерживаемая точка подключения для чтения с резервного узла позволяет задействовать оплаченные ресурсы, но также использует общие ресурсы отказа и восстановления. Проверьте поддержку провайдером, отставание и поведение при сбоях; выделенный узел чтения не всегда является избыточным.
Laravel sticky=true направляет последующие операции чтения на подключение для записи после записи в рамках одного запроса. Само по себе это не защищает следующий запрос или каждую пользовательскую сессию. Для свежести между запросами нужен явный, проверенный механизм или чтение с основного узла для получения достоверных ответов. Несколько хостов чтения не обеспечивают универсальное двухсекундное аварийное переключение или безопасное повторное выполнение произвольных запросов. Отдельно тестируйте отказ подключения и запрос, который уже был выполнен.
Старая оценка 10 узлов ×80 дочерних процессов PHP-FPM=800 учитывала только одно подключение на процесс. Один процесс может открыть подключения для чтения и записи; два подключения на процесс дают 1 600 до учёта worker, административных сессий и периода перекрытия при последовательном обновлении, что превышает исторический предел в 1 601. Учитывайте все источники подключений и поколения узлов. Ограничение на количество подключений не гарантирует пропускную способность.
В отдельном экземпляре PostgreSQL 17/pgvector хранились embeddings для AI; исторически это было 2 vCPU/4 GB. Эксперимент с 1 vCPU/2 GB отменили, когда его рабочей нагрузке потребовалось больше ресурсов. Раздельные экземпляры позволяют задать отдельные бюджеты CPU и памяти, но общие пулы приложений, сеть или провайдеры всё ещё могут связывать сбои. Это решение для конкретной рабочей нагрузки, а не утверждение о том, что каждому предложению MySQL не хватает векторных возможностей.
В записи за экзаменационный вечер 7 октября указано, что максимальная загрузка CPU MySQL составила 24,5%, средняя — 13,4%, одновременно выполнялось не более пяти запросов и не наблюдалось ни одного ожидания блокировок. Это подтверждает более узкий вывод: в измеренном окне соответствующие показатели не достигли предела. Данные не доказывают потолок в 450 запросов/с или шестикратную пропускную способность: состав запросов, конкуренция записи, I/O и аварийное переключение меняют результат.
Отделяйте учётные данные приложений с минимальными привилегиями от прав миграции, ограничивайте доступ к базе данных и тестируйте восстановление из резервных копий с проверками приложения и измерением целей восстановления. Настроенный резервный узел, успешное копирование и успешное восстановление — три разных подтверждения. Часть 4 продолжает рассказ об очередях и worker, которые всё ещё подключаются к этому парку серверов.
Проверено 6 ноября 2026 года. Anichur Rahaman, основатель StoreConsole. Данные и цены кейса остаются историческими; технические оговорки подтверждаются текущими первоисточниками.
Об авторе
Anichur Rahaman
Читать далее