
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
実際の試験が2回、スケール縮小のミスが1つ、役立つ計画モデルが1つ。最終レビューでは観測結果、推定、運用コスト、未実施の復旧テストを分けます。
著者
Anichur Rahaman

5パート中 5 パート目
From One Server to Exam-Day Ready2026年10月7日、2つの試験が連続して実施されました。ケース記録では、一方で開始661件、提出638件、もう一方で開始439件、提出425件となっています。随后、試験中にプールの最小ノード数が下げられました。想定されるドレインなしにサービングノードが消失し、2分間でおよそ360件のリクエストが失敗しました。稼働していたサービスと、この障害はともに結果に含めなければなりません。
NovaCommerceは、コースと試験のための匿名化プラットフォームです。最終部では、既存の9月~10月の観測値を維持し、公開済みの算術を再計算What's remaining unprovedを明記します。負荷テストを新たに繰り返した記録でも、StoreConsoleのベンチマークでもありません。
調査では、9月25日のIP単位のリミッター、10月6日の実行におけるValkeyの接続障害、試験したリクエスト構成でのバックエンドCPU飽和が見つかりました。原因ごとに必要な対策は異なります。容量が逼迫した一部の場合には「サーバー増強」が適切ですが、適切なID管理や正常な共有サービスの代替にはなりません。
記録には、約356 requests/s、p95 0.05 s、報告されたエラー0件というフロントエンドの実行結果、10月5日のGETベースのオートスケール実行で到達した約750 requests/s、報告されたサーバーエラーやタイムアウトは0件でしたが約4%のHTTP 429,以及、アプリケーションエラーは0件でしたがロードバランサーエラーが143件あった25~500のランプ負荷テストが含まれます。各実行のリクエスト構成と対象範囲は異なります。各々の最良の数値をまとめて、成功したスループット性能を示すことはできません。
その後の保護された段階展開では、2秒ごとに219回のプローブを行い、エラーは0件でした。これはサンプリングによる有用な証拠ですが、すべてのリクエスト、書き込み、長時間接続が問題なく完了したことを証明するものではありません。完全な業務フローのテストでは、HTTPステータスや高速に返るキャッシュ済みトップページだけでなく、認証済みの回答受付、耐久性のある受信記録、安全な再試行、最終結果の検証が必要です。
638/661は96.5%、425/439は96.8%です。これらは提出率であり、可用率ではありません。未提出には複数の原因が考えられます。提出件数の不足をすべて技術的障害に帰属させることも、データ損失が0件だったとも证明できません。
ケース報告では、分単位のログによるバックエンドのピークは約69 requests/sだった一方、プロバイダーの2分集計では63 requests/sでした。報告された平均値でのプールCPUピークは47%でしたが、あるノードでは1分間にわたり86%に達しました。MySQLのCPUは最大24.5%、平均13.4%、ワーカーは最大46%で、記録された失敗ジョブは0件でした。集計窓と分母は明示してください。失敗ジョブが0件でも、保留中または失われた処理がないことを意味しません。
以前のCPU見積もりは、約59 ms/requestでした。63 requests/sでは3.717 CPU-seconds/sとなり、8 vCPUで割ると約46.5%です。この値が47%に近いことは、その前提の下での整合性確認にはなりますが、因果関係や線形スケールの証明ではありません。スケールイン障害からは、readiness、ノード単位の負荷、退役について、それぞれ別の根拠が必要であることが示されました。試験時間の運用手順書は人が実行する統制であり、自動的に禁止する仕組みではありません。
以前の計画モデルでは、ノード当たりバックエンド50 requests/s、ベースライントラフィック30 requests/s、不均衡係数1.3、開始時の15 requests/student、出席中の学生1人当たり0.025 requests/sと仮定しています。50は、同じリクエスト構成と合意したレイテンシ目標の下での仮説として扱いuniversallyに安全な上限として証明された値とは扱わないでください。
正常なノードがN個ある場合、学生に割り当てられる容量はN×50÷1.3−30 requests/sです。600秒の参加受付時間では、学生1人当たり15÷600+0.025=0.05 requests/sとなります。120秒では0.15です。4ノードの場合、(4×50÷1.3−30)÷0.05≈2,477となり、授業用テーブルでは2,400まで切り下げます。これは流動的な平均値に基づくモデルであり、バースト、偏った到着、停止、相関現象によって依然として超える可能性があります。
1.3の除数はこの計画上の係数であり、30%のアイドル容量やノード障害を自動的にカバーできるという意味ではありません。ノード1台の損失は別にモデル化してください。観測した少ノードのテストより上にある行は外挿値であり、認証済みの学生数ではありません。PDFアップロード、ワーカーのキュー、データベースの競合、プロバイダーの制限は、このバックエンドモデルの対象外です。データベースCPUが低いだけでは、450 requests/sの上限や6倍の余裕が証明されたわけではありません。
| 正常なバックエンドノード数 | モデル上の許容requests/s | 600秒の参加受付:丸めた学生数 | 120秒の参加受付:丸めた学生数 |
|---|---|---|---|
| 2 | ≈77 | 900 | 300 |
| 4 | ≈154 | 2,400 | 800 |
| 6 | ≈231 | 4,000 | 1,300 |
以前の設計では、フロントエンドとバックエンドのプールを独立させ、それぞれ最小2、最大10ノードとしました。MySQLはプライマリ/スタンバイ、Valkeyは共有、PostgreSQL/pgvectorは別構成で、object storageとOpenSearchへのバックエンドログも備えていました。固定のワーカー1台が、キュー、スケジュール、WebSockets、SMSをすべてホストし続けていました。このワーカーは単一障害点であり、フロントエンドログの転送とワーカーのスタンバイは計画されていました。
レプリケーションされたデータベース、ステートレスなWebノード、イメージは、特定のリカバリ経路を改善します。すべての依存関係を冗長化したり、リージョン障害、不適切なdeploy、未承認アクセス、誤った削除から保護したりできるわけではありません。書き込みフェンスと復元は、それぞれ別にテストしてください。古い凍結データは、新しい書き込みの後のロールバックにはなりません。イメージのロールバックにも、互換性のあるschema、session、キュー内のペイロードが必要です。
記載された過去の月次Web項目は合計$272です。バックエンド$112+フロントエンド$56+ワーカー$56+ロードバランサー2台$48となります。データとログは合計$709で、MySQL $389+Valkey $240+PostgreSQL $60+OpenSearch $20です。スナップショット$5とSpaces基礎料金$5を加えると、従量使用分を除く合計は$991です。以前の「約$990」は丸めた値であり、正確な請求書ではありません。
以前の$416は、電源を落とした復旧用Dropletsを含むWeb层的費用であり、過去のフルスタックコストではありません。$416と$272を比較できるのは、対象範囲とサービスの前提が同一であることを確認した場合に限ります。現在の合計$991とは比較できません。この一覧には、人員、サポート、税額、プロバイダーのAI/SMS、超過分、一時的な段階展開・ピーク容量は含まれていません。Total Cost of Ownershipや現在の見積額ではありません。
現在のプロバイダープランとアカウントの適用条件を確認してください。第3部で説明したMySQL Standardの変更により、過去の構成を未確認のまま2026年の購入手順として使うことはできません。より大きな信頼性予算が有効な場合がありますが、節約を主張できるのは、比較可能なサービスと完全な運用モデルがそろっている場合だけです。
| 過去の月間グループ | 掲載小計 | 対象範囲 |
|---|---|---|
| Web層 | $272 | backend 2台 +frontend 2台 +worker 1台 +balancer 2台 |
| データとログ | $709 | MySQL +Valkey +PostgreSQL +OpenSearch |
| スナップショットとストレージベース | $10 | $5 +$5; 使用分は別途 |
| 掲載の合計ベース | $991 | 使用料、人件費、税金、その他のサービス料を除く前 |
正式な複数時間のsoak testと、書き込み経路をmixした全面的なload testは、記録上も引き続き計画されていた。2時間の試験観測は、管理されたsoak testではなかった。24時間のローカル書き込みなし観測では、memory leak、接続数の増加、queueの増加を否定できない。そうしたgapを黙って「合格」に書き換えてはならない。
次のイベントを開く前に、成功とlatencyのthreshold agreeingし、代表的なidentityとarrival shapeを使用し、duplicate submissionとdeadlineの挙動を試験する。memory、connection、storage、oldest job ageを観測できる十分な時間を確保する。node failure、safe scale-in、database reconnect/failover、worker recovery、backup restorationを含める。tool version、script、resource setting、error、accepted workの照合を記録する。破壊的な試験は、分離した代表環境、またはstop criteriaを定めた承認済みの時間枠で実施する。
このffelfkfkfinalで concl…

2026年11月6日 reviewed。Anichur Rahaman、StoreConsole founder。過去の観測結果を保持し、算術を確認。推測と計画中の試験は明確に区別した。
著者について
Anichur Rahaman
続きを読む