The Database Moved. One Old Client Did Not — NovaCommerce 3

A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.

작성자

Anichur Rahaman

1개월 전읽는 데 6분401회 조회
The Database Moved. One Old Client Did Not — NovaCommerce 3

2026년 10월 5일 22:59에 예정된 데이터베이스 작업 시간이 끝났습니다. 사이트는 26분 만에 복구됐습니다. 23:24에 팀은 기존 데이터베이스에 계속 쓰고 있는 레거시 관리자 패널을 발견했습니다. 애플리케이션은 이전했지만, 이를 쓰는 모든 클라이언트는 이전하지 않았습니다.

NovaCommerce는 개인정보를 익명화한 과정·시험 플랫폼입니다. 3부에서는 기존 9~10월 프로젝트 기록을 보존하고 관련 일반 지침을 바로잡습니다. 이러한 과거 수치는 새로 감사한 운영 환경 측정값이나 StoreConsole 벤치마크가 아닙니다.

더 작은 쌍이 해결한 또 다른 위험

기존 관리형 MySQL은 standby 없이 8 vCPU/32 GB 노드 하나로 구성돼 있었습니다. 당시의 새 구성은 MySQL 8.4 Standard로, 노드당 4 vCPU/16 GB에 primary와 standby를 포함했으며 약 11 GB의 데이터를 처리했습니다. 이는 단일 노드 장애 경로를 완화했지만, 데이터 손실 없음, 페일오버 지연 없음 또는 리전 복구를 입증한 것은 아닙니다.

월 약 389달러였던 두 노드 구성은 과거 사례 예산이며 현재 제공 상품이 아닙니다. DigitalOcean은 이제 신규 적격 계정에는 2026년 10월 15일부터, 모든 계정에는 11월 30일부터 Standard Edition 제한 사항을 안내합니다. 같은 구성을 재현하기 전에 계정, 요금제 및 standby 적격 여부를 확인하세요. Standby는 실수로 삭제한 경우를 포함한 데이터 변경을 따라가며 백업이 아닙니다.

컷오버는 일부 검사를 통과했지만 writer 하나를 놓쳤습니다

기록에는 22:33의 유지보수 라우팅, queue 비우기, 예약 작업 중지, 30초간 쓰기 없음 관찰, 약 10분의 복사, 검증 및 새 애플리케이션 이미지 적용이 22:59 전에 수행됐다고 되어 있습니다. 조용히 관찰하는 시간만으로 쓰기를 차단할 수는 없습니다. forgets된 클라이언트가 나중에 쓸 수 있습니다. Inventory web, worker, scheduler, callback, import 및 외부 패널을 모두 확인한 뒤, 일관된 사본을 获取하기 전에 모든 기존 쓰기를 차단하세요.

사례에서는 table/row 총계가 일치했고, 이후 table 내용 검사와 대규모 결과 테이블의 상세 비교가 수행됐습니다. 무엇을, 어느 시점의 스냅샷에서, 어떤 방법으로 비교했는지에 관한 증거를 보존하세요. 개수만 같다고 내용이 같은 것은 아니며, 컷오버 후 비교에는 명시적인 조정 경계가 필요합니다. Role, schema, 사용 중인 routine/event, character set 및 실제 정답 저장·조회 흐름도 확인하세요. 표준 mysqldump은 병렬 덤프 엔진이 아니므로, 문서화되지 않은 multi-stream wrapper를 재현 가능한 일관성 절차로 취급하지 마세요.

과거 관찰 기록기록된 값입증하지 못하는 것
복사 총계table 341개; row 18,727,244개개수 같음 ≠ 업무 상태 같음
가장 큰 결과 비교약 276만 row범위/방법을 반드시 보존해야 함
재개 후 첫 4분약 2,900개 request; 5xx 0건이후의 모든 흐름 또는 writer는 아님
늦게 발생한 레거시 쓰기48 =44개 통합 +4개 유지범용 병합 정책이 아님
Web 연결 수 추정치10 ×80 =800읽기/쓰기, worker 및 중복 구간 제외

48개의 늦게 발생한 row가 롤백 스토리를 바꿨습니다

레거시 패널이 기존 측에 48개 row를 추가했습니다. 당시의 복구는 44개를 통합하고 최신 목적지 버전 4개를 유지한 뒤, 해당 패널을 이전하고 기존 접근 자격 증명을 변경했습니다. 이러한 44+4=48 정산은 이 사고에 대한 설명일 뿐, 안전한 범용 “최신 timestamp 우선” 알고리즘이 아닙니다. Clock, 삭제, 종속 row 및 동시 편집은 업무를 고려한 조정과 감사 추적이 필요합니다.

놓친 writer를 차단하고 기존 연결을 종료하거나 다른 수단으로 격리하세요. 비밀번호 변경만으로 이미 인증된 세션을 종료하지 못할 수 있습니다. 기존 쓰기가 거부되는지 확인하세요. 기존 클러스터는 reportedly 48시간 동안 동결된 것으로 기록돼 있습니다. 새 측이 작업을 수용하기 시작하면 기존 사본은 즉시 사용할 수 있는 롤백 목적지가 아니라 복구 자료입니다. 새 정답을 조정하지 않고 기존 사본으로 되돌리면 수용된 작업을 잃을 수 있습니다. 보존 기간은 검증된 복구 조건과 의무에 따라 정해야 하며, 모든 환경에 적용되는 48시간 규칙은 아닙니다.

데이터베이스 컷오버 증거 지도: inventory client 확인, 기존 writer 차단, 일관된 복사, 검증, writer 하나 전환 및 복구 전 늦게 발생한 row 조정.
놓친 레거시 패널은 writer 관리에 대한 교훈입니다. 기록된 26분은 재사용 가능한 마이그레이션 소요 시간 약속이 아닙니다.

read replica는 최신성 계약이 있을 때만 유용합니다

사례에서는 standby와 primary를 읽기 호스트로 사용하고, 쓰기는 primary에만 허용했으며 worker에는 primary에서 읽었습니다. 지원되는 standby read endpoint를 사용하면 유료 용량을 재활용할 수 있지만, 장애·복구 자원도 공유하게 됩니다. 제공업체 지원, 지연 시간 및 장애 동작을 확인하세요. 전용 reader가 항상 낭비인 것은 아닙니다.

Laravel의 sticky=true는 같은 요청 안에서 쓰기 이후의 읽기를 write connection으로 라우팅합니다. 이것만으로 다음 요청이나 모든 사용자 세션을 보호할 수는 없습니다. 요청 간 최신성이 필요하면 명시적으로 검증된 메커니즘을 사용하거나 권위 있는 정답을 위해 primary에서 읽어야 합니다. 여러 read host가 범용 2초 페일오버나 임의 query의 안전한 재실행을 보장하지는 않습니다. 연결 실패와 이미 실행된 query를 별도로 테스트하세요.

기존 10개 노드 ×80 PHP-FPM 자식=800 추정치는 child당 연결 하나만 계산한 값입니다. 한 child가 read와 write 연결을 각각 열 수 있으므로 child당 두 개라면 worker, 관리자 세션 또는 rolling overlap를 제외해도 1,600개이며, 당시 한도 1,601개에 근접합니다. 모든 연결 발생원과 노드 세대를 계산에 포함하세요. 연결 수 상한은 처리량 보장이 아닙니다.

완전한 격리를 약속하지 않으면서 vector 작업을 분리하세요

별도의 PostgreSQL 17/pgvector 인스턴스가 AI embedding을 보유했으며, 당시에는 2 vCPU/4 GB 구성이었습니다. 1 vCPU/2 GB 시험 구성은 workload에 더 많은 자원이 필요해 되돌렸습니다. 별도 인스턴스는 CPU/메모리 예산을 분리하지만, 공유 애플리케이션 pool, network 또는 provider를 통해 장애가 연쇄될 수 있습니다. 이는 workload 선택이며, 모든 MySQL 제공 상품이 vector 기능을 갖지 못한다는 주장이 아닙니다.

10월 7일 시험 당일 저녁 기록에는 MySQL CPU 최대 24.5%, 평균 13.4%, 실행 중 query 최대 5개 및 관찰된 lock wait 0건으로 나타났습니다. 이를 근거로Measured 구간에서 해당 지표가 포화되지 않았다는 제한된 결론을 내릴 수 있습니다. 450 requests/s 상한이나 6배 용량을 입증한 것은 아닙니다. query 구성, write 경합, I/O 및 페일오버에 따라 결과가 달라집니다.

최소 권한 애플리케이션 자격 증명을 마이그레이션 권한과 분리하고, 데이터베이스 접근을 제한하며, 애플리케이션 검사와 측정된 복구 목표를 사용해 백업 복원을 테스트하세요. 구성된 standby, 성공한 복사 및 성공한 복원은 서로 다른 세 가지 증거입니다. 4부에서는 이 클러스터에 계속 연결되는 queue와 worker를 다룹니다.

연재

주요 참고 자료

2026년 11월 6일 검토. Anichur Rahaman, StoreConsole founder. 사례 수치와 가격은 과거 기록이며, 현재 주요 출처를 바탕으로 기술적 한계를 보완했습니다.

작성자 소개

Anichur Rahaman

계속 읽기