Ready Before the Exam: Scaling and Replacing Web Nodes — NovaCommerce 2

Two application pools helped a timed-exam platform grow. The harder work was proving readiness, draining old nodes and keeping one version of the service.

نویسنده

Anichur Rahaman

1 ماه پیش5 دقیقه مطالعه339 بازدید
Ready Before the Exam: Scaling and Replacing Web Nodes — NovaCommerce 2

یک ساعت پس از تغییر DNS فرانت‌اند، سرور قدیمی همچنان حدود ۳۶٪ از ترافیک ثبت‌شده را دریافت می‌کرد. تیم TTL را به ۳۰۰ ثانیه کاهش داده و مسیر جدید را با فایل hosts بررسی کرده بود. با این حال، مهاجرت دو ورودی فعال داشت. حفظ عملکرد ورودی قدیمی مهم‌تر از اعلام پایان تغییر DNS بود.

NovaCommerce یک پلتفرم ناشناس‌سازی‌شده برای دوره‌ها و آزمون‌هاست. این بخش دوم مشاهدات موردی سپتامبر تا اکتبر ۲۰۲۶ را حفظ می‌کند؛ این داده‌ها benchmarkهای StoreConsole یا آزمون‌های مستقل و تکرارشده نیستند. بخش اول محدودیت‌های متفاوت محدودسازی نرخ، فشار اتصال Valkey و سپس CPU بک‌اند را مشخص کرد. این بخش لایه اپلیکیشن را دنبال می‌کند.

لایه‌هایی را که به تصمیم‌های متفاوت نیاز دارند از هم جدا کنید

طراحی اجراشده برای فرانت‌اند از یک load balancer و یک استخر autoscale و برای بک‌اند از یک جفت مشابه استفاده می‌کرد. از پیش نام‌های DNS مستقل وجود داشت. بررسی‌های سلامت مستقل، اندازه نودها و سیاست‌های جایگزینی، این طراحی را برای استقرار مذکور به گزینه‌ای منطقی تبدیل می‌کردند؛ دو load balancer الزامی جهانی برای هر اپلیکیشن نیستند.

کشف بک‌اند بر پایه tag جایگزین فهرست ثابت IDهای Droplet شد. نودهای جدید tagged می‌توانستند وارد استخر موردنظر و محدوده قوانین firewall شوند. tag یک پیکربندی است، نه مدرکی از آمادگی اپلیکیشن یا مجوز دسترسی. بودجه تاریخی ترکیبی load balancer برابر ۴۸ دلار در ماه بود، نه قیمت‌گذاری فعلی.

ظرفیت سالم را بشمارید، نه ماشین‌های درخواستی را

هر دو استخر برای ۲ تا ۱۰ نود پیکربندی شده بودند. نودهای فرانت‌اند از nginx و دو کانتینر Next.js روی ۲ vCPU/4 GB استفاده می‌کردند؛ نودهای بک‌اند از nginx/PHP-FPM روی ۴ vCPU/8 GB. این‌ها گزینه‌های استقرار اندازه‌گیری‌شده بودند. یک event loop تنها در Node.js ثابت نمی‌کند که هر CPU دیگری بی‌کار است: worker pool و کارهای native نیز اهمیت دارند.

اجرای تاریخی فرانت‌اند حدود ۳۵۶ درخواست بر ثانیه، p95 برابر ۰٫۰۵ ثانیه، صفر خطای گزارش‌شده و ۵۵ تا ۶۰٪ مصرف CPU روی دو نود را ثبت کرد. این نتیجه از آزمایش کم‌هزینه‌تر با CPU اشتراکی پشتیبانی می‌کرد؛ اما ظرفیت همه مسیرها، رفتار noisy neighbour یا ظرفیت مسیر نوشتن را مشخص نمی‌کرد. ارقام تاریخی ۲۸/۵۶ دلار ماهانه برای نودها، ورودی‌های برنامه‌ریزی تاریخی بودند.

پیکربندی تاریخیفرانت‌اندبک‌اند
محدوده استخر۲ تا ۱۰ نود۲ تا ۱۰ نود
به‌ازای هر نود۲ vCPU / 4 GB؛ ۲ کانتینر Next.js۴ vCPU / 8 GB؛ PHP-FPM
هدف CPU۷۰٪۷۰٪، بعداً ۵۵٪
آستانه سلامتپاسخ Next.js بررسی شدفقط nginx؛ آمادگی اپلیکیشن جداگانه بررسی می‌شود
سایر وضعیت‌هاهماهنگی cache عمومی لازم استیک worker ثابت خارج از استخرها

برای زمان آزمون از پیش مقیاس بگیرید و ترکیب کامل پاسخ‌ها را تشخیص دهید

اجرای k6 در ۵ اکتبر ساعت ۲۱:۱۷ تا ۲۱:۳۳ از replay با تعداد بالای GET استفاده کرد: ۳۰۰ تا ۴۵۰ درخواست بر ثانیه و سپس حدود ۷۵۰ درخواست بر ثانیه به مدت شش دقیقه. فرانت‌اند و بک‌اند هر کدام از دو نود به سه نود رسیدند. خطاها و timeoutهای سرور صفر گزارش شد، اما حدود ۴٪ پاسخ‌ها از یک IP آزمایشی مشترک با کد HTTP 429 برگشتند. درخواست ردشده دانشجو همچنان ناموفق است؛ این اجرا یک تست موفق در جریان کسب‌وکار نبود و نوشتن پایدار پاسخ‌ها را نیز آزمایش نکرد.

p95 کلی بین ۱۳۲ تا ۱۵۳ میلی‌ثانیه بود، درحالی‌که p95 API بین ۳۲۰ تا ۷۰۵ میلی‌ثانیه قرار داشت. این مورد تأخیر ۵ تا ۸ دقیقه‌ای معیارها و حدود هفت دقیقه فاصله از رسیدن CPU بک‌اند به ۹۹٪ تا افزوده‌شدن نخستین نود در اجرایی دیگر را ثبت کرد. این‌ها مشاهدات مربوط به همین پیکربندی‌اند و تضمین زمانی برای کل ارائه‌دهنده محسوب نمی‌شوند. تیم حدود ۴۵ دقیقه پیش از آزمون‌ها از پیش مقیاس‌گیری کرد و ظرفیت سالم را بررسی کرد. Kubernetes بررسی شد، اما اجرا نشد؛ این فناوری نیز ظرفیت اپلیکیشنِ آماده و فوری را تضمین نمی‌کند.

جریان ایمن جایگزینی اپلیکیشن: استخرهای مستقل، مقیاس‌گیری پیشاپیش، آمادگی اپلیکیشن، پذیرش جایگزین‌ها، تخلیه و بررسی نتیجه.
نمایی آموزشی از رویه این مورد. آمادگی و تخلیه، دروازه‌های شواهد هستند؛ زمان‌های انتظار تاریخی تضمین‌های جهانی نیستند.

نود را تنها پس از آن جایگزین کنید که جانشین بتواند همان کار را انجام دهد

نخستین rollout قالب، موجی کوتاه از خطاهای ۵۰۳ ایجاد کرد. رویه‌ای بعدی منتظر جایگزین‌ها ماند، آن‌ها را در load balancer پذیرفت و سپس پیش از حذف، نودهای قدیمی را تخلیه کرد. انتظارهای ثبت‌شده ۳۰ تا ۴۰ ثانیه‌ای به همان تنظیمات بررسی سلامت وابسته بودند؛ یک دروازه ایمن، پذیرش واقعی و کار فعال را بررسی می‌کند، نه صرفاً یک زمان‌سنج. درخواست‌های طولانی، WebSocketها و scale-in آغازشده توسط ارائه‌دهنده به مدیریت جداگانه نیاز دارند.

endpoint بک‌اند برای /lb-health فقط از nginx استفاده می‌کرد. این روش برای liveness و کلید تخلیه مفید است، اما ثابت نمی‌کند که PHP یا مسیر وابسته به پایگاه داده کار می‌کند. آن را با آمادگی محدود اپلیکیشن و بررسی‌های مسیر واقعی ترکیب کنید، بدون اینکه هر بررسی سلامت به یک query پرهزینه تبدیل شود. rollout بعدی ۲۱۹ بررسی، هر دو ثانیه یک‌بار و با صفر خطا را ثبت کرد؛ این نمونه‌گیری ثابت نمی‌کند که هیچ کاربری قطعی نخواهد داشت.

imageهای تغییرناپذیر و آزمایش‌شده و تغییرات سازگار پایگاه داده/صف را حفظ کنید. برای چند نمونه Next.js، ساخت، کلیدهای action قابل‌اعمال، ابطال cache و اختلاف نسخه را هماهنگ کنید. فقط پاسخ‌های عمومی واجد شرایط را cache کنید؛ session دانشجو یا صفحه خصوصی را هرگز به اشتراک نگذارید. هدرهای proxy مورد اعتماد را به ingress کنترل‌شده محدود کنید. IP منتقل‌شده، هویت یا مجوز دسترسی دانشجو نیست.

نودهای یک‌بارمصرف نیز به برنامه وضعیت و بازیابی نیاز دارند

sessionها، cacheها و صف‌ها به Valkey منتقل شدند، فایل‌های upload به Spaces رفتند و لاگ‌های بک‌اند از نود خارج شدند. مشاهده ۲۴ ساعته نبودِ نوشتن فایل در بک‌اند از این طراحی پشتیبانی کرد؛ اما ثابت نکرد که همه مسیرهای آینده بدون وضعیت‌اند یا حذف ناگهانی ایمن است. صف‌ها و کارهای زمان‌بندی‌شده روی یک worker ثابت باقی ماندند که نقطه شکستی شناخته‌شده بود؛ متمرکزکردن آن‌ها به‌تنهایی اثر exactly-once ایجاد نمی‌کند.

فرانت‌اند قدیمی باید تا زمانی که اتصال‌های قدیمی و آدرس‌های cache‌شده باقی بودند، سازگار بماند. TTL برابر ۳۰۰ ثانیه اتصال‌های برقرارشده را نمی‌بندد و مشاهده ۳۶٪ به‌تنهایی نمی‌تواند همه علل را مشخص کند. بازگرداندن DNS، rollback فوری نیست و نباید دو نویسنده پایگاه داده ایجاد کند. پس از نوشتن‌های جدید، بازیابی باید همان نوشتن‌ها را حفظ کند.

نتیجه مفید، رویه‌ای تکرارپذیر برای آمادگی و تخلیه بود، نه وعده اینکه هیچ‌کس هرگز جایگزینی نود را متوجه نخواهد شد. در ادامه، بخش ۳ انتقال پایگاه داده و کلاینت legacyای را دنبال می‌کند که تیم از آن غافل بود.

سری

منابع اصلی

بازبینی‌شده در ۶ نوامبر ۲۰۲۶. Anichur Rahaman، بنیان‌گذار StoreConsole. مشاهدات تاریخی مورد از سوابق پروژه‌های موجود حفظ شده‌اند؛ راهنمای عمومی بر پایه منابع اصلی است، نه آزمون زنده جدید.

درباره نویسنده

Anichur Rahaman

ادامهٔ مطالعه