
NovaCommerce 5: شب آزمون مدرک بود، نه تضمین ظرفیت
دو آزمون واقعی، یک اشتباه در کاهش منابع و یک مدل برنامهریزی کاربردی. بررسی پایانی مشاهدات را از برآوردها، هزینههای عملیاتی و آزمونهای بازیابیِ باقیمانده جدا میکند.
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
نویسنده
Anichur Rahaman

دانشآموز آزمون را تمام میکند و منتظر کارت امتیاز میماند. محاسبه مجدد واقعی حدود 0.34 ثانیه طول میکشد. در سابقه مورد ۶ اکتبر، برخی کارتها با تأخیر 10 تا 115 دقیقه رسیدند. کار کوتاه پشت حدود 2,000 کار AI با میانگین تقریبی 10 ثانیه برای هر کار در صف منتظر بود و دو worker مسیر را بهاشتراک گذاشته بودند.
NovaCommerce یک پلتفرم ناشناسسازیشده برای دوره و آزمون است. بخش ۴ مشاهدات موجود مهر و شهریور 1405 را حفظ میکند و تغییرات پیادهسازیشده را از اقدامات پیشنهادی جدا میکند. این بخش، ممیزی تازه یک رخداد یا benchmark عملکرد StoreConsole نیست.
بیرونیسازی sessionها، cache و صفها به Valkey مدیریتشده کمک کرد nodeهای وب جایگزین شوند. اما یک وابستگی مشترک نیز ایجاد کرد: آزمون بار ۶ اکتبر 2,854 تایماوت اتصال را ثبت کرد. در مطالعه موردی، اتصالهای TLS جدید و افزایش منابع هر node از 4 GB به 8 GB، شامل primary و standby، ذکر شده بود. بعداً در افزایش تدریجی بار از 25 تا 500 درخواست بر ثانیه، هیچ خطای application گزارش نشد، اما هنگام اشباع CPU، 143 خطای load balancer ثبت شد. الگوی خرابی اتصال تغییر کرد؛ بااینحال، کل مسیر همچنان درخواستها را ناموفق میکرد.
تایماوت بهتنهایی نشان نمیدهد حافظه تمام شده یا هزینه مشخص CPU در handshake ثابت شده است. چرخش اتصالها، محدودیتها، شبکه و شاخصهای server را بررسی کنید. مصرف ثبتشده 12.5٪ حافظه در زمان آزمون فقط یک مشاهده است، نه تضمین ظرفیت. noeviction از حذف دادهها تحت فشار حافظه جلوگیری میکند، اما میتواند نوشتنهای جدید را رد کند؛ persistence صف، failover بدون از دست رفتن داده یا جداسازی cache، session و job را فراهم نمیکند.
تیم مسیر روایتهای AI را از کارهای مربوط به merit و جایگاه دانشآموزان جدا کرد. طبق گزارش مطالعه موردی، کارتهای امتیاز پس از آن حدود یک دقیقه رسیدند. صرفِ جدا کردن نامها برای تضمین این نتیجه کافی نیست: تخصیص پردازنده، اتصالهای پایگاه داده و CPU مشترک نیز باید برای کارهای فوری جا باقی بگذارند.
محاسبه قدیمی، علت انباشت کار را توضیح میدهد: 2,000×10=20,000 ثانیه پردازش worker؛ تقسیم میان دو worker، حدود 10,000 ثانیه یا 166.7 دقیقه، پیش از هزینههای جانبی. این محاسبه زمان احتمالی انتظار را نشان میدهد، نه پیشبینی دقیق زمان تکمیل. مستقل از محدودکننده بعدی ارائهدهنده است. با سقف مشترک هشت فراخوانی در دقیقه، 2,000 job تکفراخوانی حداقل به 250 دقیقه—4 ساعت و 10 دقیقه—نیاز دارند، بدون تلاش مجدد یا ورود کار جدید.
| دسته خرابی | پاسخ | شواهد تکمیل کار |
|---|---|---|
| محدودسازی موقت | سقف مشترک؛ Retry-After؛ jitter محدود | عملیات اصلی تطبیق داده شد |
| مشکل credit یا احراز هویت ارائهدهنده | توقف موقت؛ هشدار؛ رفع علت | ازسرگیری کنترلشده، بررسی deadline |
| نتیجه نامشخص در سرویس بیرونی | پیش از اجرای دوباره، وضعیت را بررسی و تطبیق دهید | بدون اثر جانبی تکراری |
| به مهلت تلاش مجدد رسیدیم | رکورد ناموفق یا در انتظار را نگه دارید؛ بررسی کنید | اجرای دوباره ممیزیشده یا وضعیت نهایی صریح |
| worker از دست رفت | پردازش را بازیابی و ledger را تطبیق دهید | کار پذیرفتهشده در حساب لحاظ شده است |
مسیر تاریخی از rate limiter مشترک با سقف هشت فراخوانی در دقیقه، backoff نمایی 1 تا 15 دقیقهای همراه با jitter، پنجره تلاش مجدد تا 12 ساعت و متن موقت قالب استفاده میکرد. مطالعه موردی همچنین حدود 3,800 روایت تأخیری را در دوران کمبود credit ثبت کرد؛ پس از افزوده شدن credit، پردازش از سر گرفته شد. این یک مشاهده از بازیابی است، نه اثباتی که همه jobهای تأخیری تکمیل شدهاند یا هیچکدام منقضی نشدهاند.
نرخ تنظیمشده را یک پارامتر مورد مطالعه بدانید، نه سهمیه تضمینشده ارائهدهنده: محدودیتهای token و concurrency نیز ممکن است اعمال شوند. هرجا Retry-After ارائه شده، آن را رعایت کنید. محدودسازی موقت و خطاهای گذرا را تا یک deadline مطلق دوباره تلاش کنید؛ در خطاهای دائمی احراز هویت، payload نامعتبر و اتمام credit متوقف شوید یا کار را به موقت متوقف کنید و به مسئول هشدار دهید. وضعیت pending یا متن قالب را صادقانه نمایش دهید. در رسیدن به deadline، یک خرابی قابل بررسی و مسیر اجرای دوباره کنترلشده نگه دارید تا کارها بیصدا از دست نروند.
تایماوت شبکه ممکن است فراخوانی تکمیلشده ارائهدهنده را پنهان کند. پیش از ایجاد اثر جانبی تکراری، از شناسه پایدار عملیات، idempotency پشتیبانیشده توسط ارائهدهنده یا تطبیق وضعیت استفاده کنید. اعتبار داخلی را فقط در صورتی برگردانید که رزرو قطعاً مصرف نشده باشد؛ تغییر شمارنده application صورتحساب ارائهدهنده را برنمیگرداند. رزروهای صورتحساب و رکوردهای تکمیل باید قابل ممیزی باشند. اینها بررسیهای لازم در طراحیاند، نه پیادهسازی تازهتأییدشده در این سیستم تاریخی.

یک worker ثابت با 4 vCPU/8 GB، صفها، زمانبندی، WebSocketها و SMS را اداره میکرد؛ gateway فقط یک IP خروجی مجاز داشت. snapshot آن موجود بود، اما بازیابی با IP رزروشده، worker standby و ظرفیت برای جهش آزمون برنامهریزی شده بودند. یک نشانی رزروشده باید واقعاً از خروجی موردنیاز و allowlist ارائهدهنده پشتیبانی کند؛ صرفِ تخصیص آن ثابت نمیکند که SMS کار میکند.
اگر آن worker خراب شود، تکمیل کارهای پسزمینه متوقف میشود. پاسخهای پذیرفتهشده باید از پیش در یک رکورد مرجع و پایدار ثبت شده باشند؛ نگهداری آنها در Valkey بهتنهایی برای تضمین ایمنی کافی نیست. persistence، تطبیق کارهای تأییدشده و اجرای دوباره پس از failover را آزمایش کنید. وقتی رزروهای ایمن و اثرهای idempotent وجود داشته باشند، چند worker متداول است. یک scheduler یا distributed lock بهتنهایی نمیتواند اثرهای تجاری exactly-once را پس از crash تضمین کند. در صورت کاربرد، job timeout را کمتر از مدت نمایانبودن رزرو و retry_after تنظیم کنید و این بازه را از backoff تفکیک کنید.
دو لایه rate limiter بهجای شمارش دانشآموز احرازهویتشده، IP را میشمردند. طبق گزارش، در ۷ اکتبر، 74٪ فراخوانیهای یک endpoint از dashboard با خطای 429 مواجه شدند؛ کلیدهای مبتنی بر حساب و مسیر بعداً برای آن endpoint به کار رفتند. این به معنای حذف همه محدودیتهای سوءاستفاده نیست. محدودیتهای هر حساب، مهمان/شبکه و ارائهدهنده را حفظ کنید و به headerهای forwarded فقط از طریق proxyهای کنترلشده اعتماد کنید. حتی IP امضاشده نیز مجوز دسترسی محسوب نمیشود.
لاگهای backend از طریق Fluent Bit به OpenSearch ارسال میشدند. ارسال لاگ frontend همچنان در مرحله برنامهریزی بود و حدود 440 MB/day از دادههای محلی هنگام حذف در معرض خطر قرار داشت. ارسال لاگ به بیرون از node به بافر محدود، پایش تحویل، دسترسی کنترلشده و حذف اطلاعات محرمانه از پاسخها، tokenها و دادههای خصوصی نیاز دارد؛ خارجبودن از node به معنای تحویل فوری و بدون از دست رفتن داده نیست.
گزارش خلاصه آزمون، شروعها/ارسالها، درخواستهای هر node و خطاهای 5xx، CPU، سلامت صف و jobهای ناموفق را زیر نظر داشت. کاهش حداقل pool در زمان آزمون طبق گزارش حدود 360 خرابی درخواست در دو دقیقه ایجاد کرد. runbook «در زمان آزمون scale in نکنید» ریسک را کاهش داد، اما قفل اجباری نبود. سن قدیمیترین job و نتایج در انتظار را پایش کنید، نه فقط CPU یا صفر بودن تعداد jobهای ناموفق. بخش ۵ بررسی میکند که آزمونها واقعاً چه چیزی را اثبات کردند.
بررسیشده در ۶ نوامبر 2026. Anichur Rahaman، بنیانگذار StoreConsole. مشاهدات موجود مطالعه موردی حفظ شدهاند؛ منابع اصلی رفتار کلی را توضیح میدهند، نه تأیید تازه سیستم خصوصی را.
درباره نویسنده
Anichur Rahaman
ادامهٔ مطالعه