The Result Was Fast. Its Queue Was Not — NovaCommerce 4

A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.

نویسنده

Anichur Rahaman

1 ماه پیش6 دقیقه مطالعه370 بازدید
The Result Was Fast. Its Queue Was Not — NovaCommerce 4

دانش‌آموز آزمون را تمام می‌کند و منتظر کارت امتیاز می‌ماند. محاسبه مجدد واقعی حدود 0.34 ثانیه طول می‌کشد. در سابقه مورد ۶ اکتبر، برخی کارت‌ها با تأخیر 10 تا 115 دقیقه رسیدند. کار کوتاه پشت حدود 2,000 کار AI با میانگین تقریبی 10 ثانیه برای هر کار در صف منتظر بود و دو worker مسیر را به‌اشتراک گذاشته بودند.

NovaCommerce یک پلتفرم ناشناس‌سازی‌شده برای دوره و آزمون است. بخش ۴ مشاهدات موجود مهر و شهریور 1405 را حفظ می‌کند و تغییرات پیاده‌سازی‌شده را از اقدامات پیشنهادی جدا می‌کند. این بخش، ممیزی تازه یک رخداد یا benchmark عملکرد StoreConsole نیست.

اشتراک state مرز خرابی را جابه‌جا کرد

بیرونی‌سازی sessionها، cache و صف‌ها به Valkey مدیریت‌شده کمک کرد nodeهای وب جایگزین شوند. اما یک وابستگی مشترک نیز ایجاد کرد: آزمون بار ۶ اکتبر 2,854 تایم‌اوت اتصال را ثبت کرد. در مطالعه موردی، اتصال‌های TLS جدید و افزایش منابع هر node از 4 GB به 8 GB، شامل primary و standby، ذکر شده بود. بعداً در افزایش تدریجی بار از 25 تا 500 درخواست بر ثانیه، هیچ خطای application گزارش نشد، اما هنگام اشباع CPU، 143 خطای load balancer ثبت شد. الگوی خرابی اتصال تغییر کرد؛ بااین‌حال، کل مسیر همچنان درخواست‌ها را ناموفق می‌کرد.

تایم‌اوت به‌تنهایی نشان نمی‌دهد حافظه تمام شده یا هزینه مشخص CPU در handshake ثابت شده است. چرخش اتصال‌ها، محدودیت‌ها، شبکه و شاخص‌های server را بررسی کنید. مصرف ثبت‌شده 12.5٪ حافظه در زمان آزمون فقط یک مشاهده است، نه تضمین ظرفیت. noeviction از حذف داده‌ها تحت فشار حافظه جلوگیری می‌کند، اما می‌تواند نوشتن‌های جدید را رد کند؛ persistence صف، failover بدون از دست رفتن داده یا جداسازی cache، session و job را فراهم نمی‌کند.

برای نتایج فوری ظرفیت پردازش مستقل در نظر بگیرید

تیم مسیر روایت‌های AI را از کارهای مربوط به merit و جایگاه دانش‌آموزان جدا کرد. طبق گزارش مطالعه موردی، کارت‌های امتیاز پس از آن حدود یک دقیقه رسیدند. صرفِ جدا کردن نام‌ها برای تضمین این نتیجه کافی نیست: تخصیص پردازنده، اتصال‌های پایگاه داده و CPU مشترک نیز باید برای کارهای فوری جا باقی بگذارند.

محاسبه قدیمی، علت انباشت کار را توضیح می‌دهد: 2,000×10=20,000 ثانیه پردازش worker؛ تقسیم میان دو worker، حدود 10,000 ثانیه یا 166.7 دقیقه، پیش از هزینه‌های جانبی. این محاسبه زمان احتمالی انتظار را نشان می‌دهد، نه پیش‌بینی دقیق زمان تکمیل. مستقل از محدودکننده بعدی ارائه‌دهنده است. با سقف مشترک هشت فراخوانی در دقیقه، 2,000 job تک‌فراخوانی حداقل به 250 دقیقه—4 ساعت و 10 دقیقه—نیاز دارند، بدون تلاش مجدد یا ورود کار جدید.

دسته خرابیپاسخشواهد تکمیل کار
محدودسازی موقتسقف مشترک؛ Retry-After؛ jitter محدودعملیات اصلی تطبیق داده شد
مشکل credit یا احراز هویت ارائه‌دهندهتوقف موقت؛ هشدار؛ رفع علتازسرگیری کنترل‌شده، بررسی deadline
نتیجه نامشخص در سرویس بیرونیپیش از اجرای دوباره، وضعیت را بررسی و تطبیق دهیدبدون اثر جانبی تکراری
به مهلت تلاش مجدد رسیدیمرکورد ناموفق یا در انتظار را نگه دارید؛ بررسی کنیداجرای دوباره ممیزی‌شده یا وضعیت نهایی صریح
worker از دست رفتپردازش را بازیابی و ledger را تطبیق دهیدکار پذیرفته‌شده در حساب لحاظ شده است

مسئله طبقه‌بندی‌شده را دوباره تلاش کنید، نه هر رد درخواست را

مسیر تاریخی از rate limiter مشترک با سقف هشت فراخوانی در دقیقه، backoff نمایی 1 تا 15 دقیقه‌ای همراه با jitter، پنجره تلاش مجدد تا 12 ساعت و متن موقت قالب استفاده می‌کرد. مطالعه موردی همچنین حدود 3,800 روایت تأخیری را در دوران کمبود credit ثبت کرد؛ پس از افزوده شدن credit، پردازش از سر گرفته شد. این یک مشاهده از بازیابی است، نه اثباتی که همه jobهای تأخیری تکمیل شده‌اند یا هیچ‌کدام منقضی نشده‌اند.

نرخ تنظیم‌شده را یک پارامتر مورد مطالعه بدانید، نه سهمیه تضمین‌شده ارائه‌دهنده: محدودیت‌های token و concurrency نیز ممکن است اعمال شوند. هرجا Retry-After ارائه شده، آن را رعایت کنید. محدودسازی موقت و خطاهای گذرا را تا یک deadline مطلق دوباره تلاش کنید؛ در خطاهای دائمی احراز هویت، payload نامعتبر و اتمام credit متوقف شوید یا کار را به موقت متوقف کنید و به مسئول هشدار دهید. وضعیت pending یا متن قالب را صادقانه نمایش دهید. در رسیدن به deadline، یک خرابی قابل بررسی و مسیر اجرای دوباره کنترل‌شده نگه دارید تا کارها بی‌صدا از دست نروند.

تایم‌اوت شبکه ممکن است فراخوانی تکمیل‌شده ارائه‌دهنده را پنهان کند. پیش از ایجاد اثر جانبی تکراری، از شناسه پایدار عملیات، idempotency پشتیبانی‌شده توسط ارائه‌دهنده یا تطبیق وضعیت استفاده کنید. اعتبار داخلی را فقط در صورتی برگردانید که رزرو قطعاً مصرف نشده باشد؛ تغییر شمارنده application صورتحساب ارائه‌دهنده را برنمی‌گرداند. رزروهای صورتحساب و رکوردهای تکمیل باید قابل ممیزی باشند. این‌ها بررسی‌های لازم در طراحی‌اند، نه پیاده‌سازی تازه‌تأییدشده در این سیستم تاریخی.

نقشه قابلیت اطمینان: پذیرش پایدار پاسخ، مسیرهای merit و AI، نرخ محدود مشترک، تلاش مجدد محدود، تطبیق وضعیت و بازیابی صریح.
نتایج فوری و روایت‌های اختیاری نیازهای سرویس متفاوتی دارند. این نقشه علاوه بر تنظیمات تاریخی مورد، بررسی‌های پیشنهادی را نیز دربرمی‌گیرد.

یک worker منفرد، شکافی قابل بازیابی است؛ نه تضمین exactly-once

یک worker ثابت با 4 vCPU/8 GB، صف‌ها، زمان‌بندی، WebSocketها و SMS را اداره می‌کرد؛ gateway فقط یک IP خروجی مجاز داشت. snapshot آن موجود بود، اما بازیابی با IP رزروشده، worker standby و ظرفیت برای جهش آزمون برنامه‌ریزی شده بودند. یک نشانی رزروشده باید واقعاً از خروجی موردنیاز و allowlist ارائه‌دهنده پشتیبانی کند؛ صرفِ تخصیص آن ثابت نمی‌کند که SMS کار می‌کند.

اگر آن worker خراب شود، تکمیل کارهای پس‌زمینه متوقف می‌شود. پاسخ‌های پذیرفته‌شده باید از پیش در یک رکورد مرجع و پایدار ثبت شده باشند؛ نگهداری آن‌ها در Valkey به‌تنهایی برای تضمین ایمنی کافی نیست. persistence، تطبیق کارهای تأییدشده و اجرای دوباره پس از failover را آزمایش کنید. وقتی رزروهای ایمن و اثرهای idempotent وجود داشته باشند، چند worker متداول است. یک scheduler یا distributed lock به‌تنهایی نمی‌تواند اثرهای تجاری exactly-once را پس از crash تضمین کند. در صورت کاربرد، job timeout را کمتر از مدت نمایان‌بودن رزرو و retry_after تنظیم کنید و این بازه را از backoff تفکیک کنید.

شناسه‌ها را اصلاح و شواهد را حفظ کنید

دو لایه rate limiter به‌جای شمارش دانش‌آموز احرازهویت‌شده، IP را می‌شمردند. طبق گزارش، در ۷ اکتبر، 74٪ فراخوانی‌های یک endpoint از dashboard با خطای 429 مواجه شدند؛ کلیدهای مبتنی بر حساب و مسیر بعداً برای آن endpoint به کار رفتند. این به معنای حذف همه محدودیت‌های سوءاستفاده نیست. محدودیت‌های هر حساب، مهمان/شبکه و ارائه‌دهنده را حفظ کنید و به headerهای forwarded فقط از طریق proxyهای کنترل‌شده اعتماد کنید. حتی IP امضاشده نیز مجوز دسترسی محسوب نمی‌شود.

لاگ‌های backend از طریق Fluent Bit به OpenSearch ارسال می‌شدند. ارسال لاگ frontend همچنان در مرحله برنامه‌ریزی بود و حدود 440 MB/day از داده‌های محلی هنگام حذف در معرض خطر قرار داشت. ارسال لاگ به بیرون از node به بافر محدود، پایش تحویل، دسترسی کنترل‌شده و حذف اطلاعات محرمانه از پاسخ‌ها، tokenها و داده‌های خصوصی نیاز دارد؛ خارج‌بودن از node به معنای تحویل فوری و بدون از دست رفتن داده نیست.

گزارش خلاصه آزمون، شروع‌ها/ارسال‌ها، درخواست‌های هر node و خطاهای 5xx، CPU، سلامت صف و jobهای ناموفق را زیر نظر داشت. کاهش حداقل pool در زمان آزمون طبق گزارش حدود 360 خرابی درخواست در دو دقیقه ایجاد کرد. runbook «در زمان آزمون scale in نکنید» ریسک را کاهش داد، اما قفل اجباری نبود. سن قدیمی‌ترین job و نتایج در انتظار را پایش کنید، نه فقط CPU یا صفر بودن تعداد jobهای ناموفق. بخش ۵ بررسی می‌کند که آزمون‌ها واقعاً چه چیزی را اثبات کردند.

سری

منابع اصلی

بررسی‌شده در ۶ نوامبر 2026. Anichur Rahaman، بنیان‌گذار StoreConsole. مشاهدات موجود مطالعه موردی حفظ شده‌اند؛ منابع اصلی رفتار کلی را توضیح می‌دهند، نه تأیید تازه سیستم خصوصی را.

درباره نویسنده

Anichur Rahaman

ادامهٔ مطالعه