
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
Hai kỳ thi thực tế, một lỗi thu hẹp quy mô và một mô hình lập kế hoạch hữu ích. Bài tổng kết tách bạch quan sát, suy luận, chi phí vận hành và các bài kiểm thử còn thiếu.
Tác giả
Anichur Rahaman

Ngày 7 tháng 10 năm 2026, hai kỳ thi diễn ra liên tiếp. Hồ sơ tình huống ghi nhận 661 lượt bắt đầu và 638 lượt nộp bài ở một kỳ, 439 lượt bắt đầu và 425 lượt nộp bài ở kỳ còn lại. Sau đó, số node tối thiểu của pool bị giảm giữa kỳ thi: một node phục vụ biến mất mà không thu hồi lưu lượng như dự kiến, khiến khoảng 360 request thất bại trong hai phút. Cả dịch vụ vẫn hoạt động lẫn sự cố đều thuộc phạm vi kết quả.
NovaCommerce là nền tảng khóa học và thi đã được ẩn danh. Phần cuối này giữ nguyên các quan sát từ tháng 9–10, tính lại các phép tính đã công bố và nêu rõ điều gì vẫn chưa được chứng minh. Đây không phải một load test được lặp lại mới hay benchmark của StoreConsole.
Quá trình điều tra phát hiện bộ giới hạn theo IP vào ngày 25 tháng 9, lỗi kết nối Valkey trong lần chạy ngày 6 tháng 10 và CPU backend bị bão hòa với tổ hợp request được test. Mỗi nguyên nhân đòi hỏi một thay đổi khác nhau. “Thêm server” phù hợp với một số áp lực về capacity, nhưng không thể thay thế cơ chế định danh đúng hoặc một dịch vụ dùng chung hoạt động ổn định.
Các bản ghi gồm một lần chạy frontend khoảng 356 request/s, p95 0,05 giây, không ghi nhận lỗi; một lần chạy autoscale dựa trên GET ngày 5 tháng 10 đạt khoảng 750 request/s, không ghi nhận lỗi server hoặc timeout nhưng có khoảng 4% HTTP 429; và một lần ramp 25–500 không có lỗi ứng dụng nhưng có 143 lỗi load balancer. Các lần chạy này có tổ hợp request và phạm vi khác nhau. Không nên gộp những con số tốt nhất của chúng thành một tuyên bố duy nhất về throughput thành công.
Sau đó, lần triển khai có kiểm soát ghi nhận 219 lần probe, cứ hai giây một lần, không có lỗi. Đây là bằng chứng lấy mẫu hữu ích, không phải bằng chứng rằng mọi request, thao tác ghi hoặc kết nối dài đều không bị gián đoạn. Test toàn bộ luồng nghiệp vụ phải xác nhận việc chấp nhận câu trả lời có xác thực, biên nhận bền vững, retry an toàn và kết quả cuối cùng, chứ không chỉ kiểm tra HTTP status hoặc một trang chủ được cache nhanh.
638/661 cho 96,5%; 425/439 cho 96,8%. Đây là tỷ lệ nộp bài, không phải tỷ lệ availability. Việc không nộp bài có thể do nhiều nguyên nhân; các số liệu không quy cho mọi lượt nộp bị thiếu là do sự cố kỹ thuật hoặc chứng minh rằng không có dữ liệu nào bị mất.
Hồ sơ tình huống báo cáo backend đạt đỉnh khoảng 69 request/s theo log từng phút, so với 63 request/s trong số liệu provider tổng hợp trong hai phút. CPU của pool đạt đỉnh 47% theo mức trung bình được báo cáo, trong khi một node chạm 86% trong một phút. CPU MySQL tối đa 24,5%, trung bình 13,4%; worker tối đa 46% và không ghi nhận job thất bại. Cần thể hiện rõ cửa sổ tổng hợp và mẫu số. Không có job thất bại không có nghĩa là không có công việc đang chờ hoặc bị mất.
Ước tính CPU trước đây là khoảng 59 ms/request. Ở 63 request/s, giá trị này tương đương 3,717 CPU-giây/s; chia cho tám vCPU, khoảng 46,5%. Mức gần với 47% là một phép kiểm tra tính nhất quán dưới các giả định đó, không phải bằng chứng về quan hệ nhân quả hoặc khả năng scale tuyến tính. Sự cố scale-in cho thấy readiness, tải trên từng node và quá trình retirement cần có bằng chứng riêng biệt. Runbook trong giờ thi là biện pháp kiểm soát thủ công, không phải lệnh cấm được áp dụng tự động.
Mô hình lập kế hoạch lịch sử giả định 50 request/s backend trên mỗi node, lưu lượng nền 30 request/s, hệ số mất cân bằng 1,3, 15 request mở đầu/học sinh và 0,025 request/s cho mỗi học sinh đang dự. Hãy xem 50 là một giả thuyết cho cùng tổ hợp request và một mục tiêu độ trễ đã thống nhất, không phải giới hạn an toàn phổ quát đã được chứng minh.
Với N node khỏe mạnh, ngân sách phục vụ học sinh là N×50÷1,3−30 request/s. Với cửa sổ tham gia 600 giây, mỗi học sinh đóng góp 15÷600+0,025=0,05 request/s. Với 120 giây, giá trị này là 0,15. Với bốn node, (4×50÷1,3−30)÷0,05≈2.477; bảng giảng dạy làm tròn xuống 2.400. Đây là mô hình trung bình động: burst, thời điểm đến không đều, khoảng dừng và tương quan vẫn có thể vượt mức này.
Số chia 1,3 là hệ số lập kế hoạch, không phải tuyên bố về 30% capacity nhàn rỗi hay khả năng tự động phủ node failure. Hãy mô hình hóa riêng việc mất một node. Các hàng vượt quá số node trong các test quan sát được chỉ là ngoại suy, không phải capacity học sinh được chứng nhận. Tải lên PDF, worker queue, tranh chấp database và giới hạn provider nằm ngoài mô hình backend này. CPU database thấp không chứng minh giới hạn ceiling 450 request/s hay headroom gấp sáu lần.
| Số node backend khỏe mạnh | Ngân sách request/s theo mô hình | Cửa sổ tham gia 600 giây: số học sinh làm tròn | Cửa sổ tham gia 120 giây: số học sinh làm tròn |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2,400 | 800 |
| 6 | ≈231 | 4,000 | 1,300 |
Thiết kế lịch sử có các pool frontend/backend độc lập, mỗi pool tối thiểu hai và tối đa mười node; MySQL primary/standby; Valkey dùng chung; PostgreSQL/pgvector riêng; object storage; và log backend trong OpenSearch. Một worker cố định vẫn phụ trác queue, scheduling, WebSockets và SMS. Worker đó tiếp tục là single point of failure; việc gửi log frontend và worker standby chỉ mới được lên kế hoạch.
Database được replicate, web node stateless và image có thể cải thiện một số phương án khôi phục cụ thể. Chúng không làm cho mọi dependency trở nên dự phòng hoặc bảo vệ trước regional failure, triển khai lỗi, truy cập trái phép hoặc xóa nhầm. Hãy test write fencing và restore riêng biệt. Dữ liệu đóng băng cũ không phải cơ chế rollback hiện hành sau các lần ghi mới; rollback image cũng cần schema, session và queued payload tương thích.
Các khoản web hàng tháng theo bảng lịch sử có tổng $272: backend $112 + frontend $56 + worker $56 + hai load balancer $48. Data và log có tổng $709: MySQL $389 + Valkey $240 + PostgreSQL $60 + OpenSearch $20. Cộng snapshot $5 và phí lưu trữ Spaces cơ sở $5 thành $991 trước khi tính mức sử dụng biến động. Mức “khoảng $990” trước đây là số làm tròn, không phải hóa đơn chính xác.
Mức $416 trước đó mô tả tầng web, bao gồm các Droplet dự phòng đang tắt; đó không phải toàn bộ chi phí full-stack cũ. Chỉ so sánh $416 với $272 sau khi xác nhận phạm vi và giả định dịch vụ giống nhau, không so sánh với mức $991 tổng hợp mới. Danh sách này không bao gồm nhân sự, hỗ trợ, thuế, AI/SMS của provider, chi phí vượt mức và capacity tạm thời cho triển khai/đỉnh; đây không phải tổng chi phí sở hữu hay báo giá hiện hành.
Hãy kiểm tra các gói provider hiện tại và điều kiện tài khoản đủ điều kiện. Những thay đổi về MySQL Standard được mô tả trong Phần 3 khiến cặp instance lịch sử không còn phù hợp để dùng nguyên xi trong công thức mua hàng năm 2026 mà không kiểm tra. Ngân sách lớn hơn cho độ tin cậy có thể đáng dùng, nhưng chỉ có dịch vụ tương đương và toàn bộ mô hình vận hành mới hỗ trợ cho tuyên bố tiết kiệm.
| Nhóm chi phí hàng tháng theo dữ liệu lịch sử | Tổng phụ theo bảng | Phạm vi |
|---|---|---|
| Tầng web | $272 | 2 backend +2 frontend +worker +2 balancers |
| Data và log | $709 | MySQL +Valkey +PostgreSQL +OpenSearch |
| Snapshot và phí lưu trữ cơ sở | $10 | $5 +$5; chi phí sử dụng phát sinh thêm |
| Tổng chi phí cơ sở theo bảng | $991 | Trước chi phí sử dụng, nhân sự, thuế và các dịch vụ khác |
Hồ sơ vẫn ghi kế hoạch thực hiện soak chính thức trong nhiều giờ và load test đầy đủ trên các luồng ghi hỗn hợp. Quan sát kỳ thi trong hai giờ không phải soak có kiểm soát. Quan sát 24 giờ không ghi cục bộ không loại trừ memory leak, tăng số kết nối hoặc queue phình to. Không nên âm thầm gọi những khoảng trống đó là “đã đạt”.
Trước một sự kiện lớn hơn, hãy thống nhất ngưỡng về câu trả lời được chấp nhận và độ trễ; sử dụng danh tính đại diện và mô hình thời điểm request đến; test gửi trùng và hành vi khi hết hạn; duy trì tải đủ lâu để quan sát bộ nhớ, kết nối, lưu trữ và tuổi của job lâu nhất. Bao gồm node failure, scale-in an toàn, reconnect/failover database, phục hồi worker và khôi phục backup. Ghi lại phiên bản công cụ, script, thiết lập tài nguyên, lỗi và đối soát công việc đã được chấp nhận. Chạy test gây gián đoạn trong môi trường tách biệt, đại diện hoặc trong khung thời gian được duyệt kèm tiêu chí dừng.
Series kết thúc với một vòng lặp quyết định có thể sử dụng: đo kết quả kinh doanh, xác định ràng buộc, thay đổi lớp liên quan, sau đó test lại kết quả và khả năng phục hồi. Tài sản giá trị nhất là sổ đăng ký bằng chứng có thể phân biệt rõ “đã quan sát”, “đã mô hình hóa” hoặc “chưa test” mà không gây nhầm lẫn.

Đã rà soát ngày 6 tháng 11 năm 2026. Anichur Rahaman, nhà sáng lập StoreConsole. Giữ nguyên các quan sát lịch sử; đã kiểm tra phép tính; tách biệt rõ các ngoại suy và test được lên kế hoạch.
Chuyên đề
From One Server to Exam-Day ReadyGiới thiệu tác giả
Anichur Rahaman
Tiếp tục đọc