
The Result Was Fast. Its Queue Was Not — NovaCommerce 4
A 0.34-second result job waited behind slow AI work. Separate lanes helped, but durable submissions, bounded retries and worker recovery still mattered.
A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.
نویسنده
Anichur Rahaman

در ساعت ۲۲:۵۹ روز ۵ اکتبر ۲۰۲۶، بازه برنامهریزیشده پایگاهداده پایان یافت. سایت پس از ۲۶ دقیقه دوباره در دسترس بود. ساعت ۲۳:۲۴ تیم متوجه شد یک پنل مدیریتی قدیمی همچنان در پایگاهداده قبلی مینویسد. برنامه منتقل شده بود، اما همه سرویسهای نوشتن آن نه.
NovaCommerce یک پلتفرم ناشناسسازیشده دوره و آزمون است. بخش ۳ سوابق پروژه موجود در بازه سپتامبر تا اکتبر را حفظ میکند و راهنمایی عمومی پیرامون آن را اصلاح میکند. این آمار تاریخی، اندازهگیریهای تازه ممیزیشده از محیط عملیاتی یا benchmarkهای StoreConsole نیستند.
MySQL مدیریتشده قدیمی یک نود ۸ vCPU/32 GB بدون standby بود. چیدمان تاریخی جدید MySQL 8.4 Standard با ۴ vCPU/16 GB برای هر نود، شامل primary و standby و حدود ۱۱ گیگابایت داده بود. این چیدمان مسیر خرابی تکنودی را پوشش داد؛ اما نبود هیچ دادهای، تأخیر صفر در failover یا بازیابی منطقهای را ثابت نکرد.
جفت تقریباً ۳۸۹ دلار در ماه، بودجه تاریخی یک پرونده بود، نه پیشنهاد فعلی. DigitalOcean اکنون محدودیتهای Standard Edition را از ۱۵ اکتبر ۲۰۲۶ برای حسابهای واجد شرایط جدید و از ۳۰ نوامبر برای همه حسابها اعلام کرده است. پیش از بازسازی این چیدمان، واجد شرایط بودن حساب، طرح و standby را بررسی کنید. standby تغییرات داده، از جمله حذفهای تصادفی، را دنبال میکند؛ پس backup نیست.
سابقه ثبتشده، مسیریابی تعمیرات در ساعت ۲۲:۳۳، تخلیه صفها، توقف کارهای زمانبندیشده، مشاهده نبود نوشتن برای ۳۰ ثانیه، کپی تقریباً دهدقیقهای، اعتبارسنجی و ساخت imageهای جدید برنامه پیش از ۲۲:۵۹ را توصیف میکند. بازه آرام مشاهده، یک fence نیست: ممکن است کلاینتی فراموششده بعدها بنویسد. ابتدا موجودی وب، workerها، schedulerها، callbackها، importها و پنلهای خارجی را بررسی کنید، سپس همه نوشتنهای قدیمی را مسدود و تنها پس از آن یک کپی سازگار تهیه کنید.
پرونده، تطابق مجموع تعداد جدولها و ردیفها، بررسیهای بعدی محتوای جدولها و مقایسهای دقیق از یک جدول نتایج بزرگ را گزارش کرد. شواهد مربوط به موارد مقایسهشده، snapshot مورد استفاده و روش مقایسه را حفظ کنید. صرفاً تطابق تعدادها ثابت نمیکند محتوا برابر است و مقایسههای پس از cutover به مرز روشنی برای reconciliation نیاز دارند. نقشها، schema، routine/eventهای مورد استفاده، character setها و جریانهای واقعی ذخیره و خواندن پاسخ را نیز بررسی کنید. mysqldump استاندارد، موتور dump موازی نیست؛ یک wrapper چندجریانی مستندنشده را نیز نباید دستورالعمل قابل بازتولید برای سازگاری دانست.
| مشاهده تاریخی | مقدار ثبتشده | آنچه ثابت نمیکند |
|---|---|---|
| مجموع تعدادهای کپیشده | ۳۴۱ جدول؛ ۱۸٬۷۲۷٬۲۴۴ ردیف | تعداد برابر ≠ وضعیت کسبوکار برابر |
| بزرگترین مقایسه نتایج | حدود ۲٫۷۶ میلیون ردیف | دامنه و روش باید حفظ شوند |
| چهار دقیقه نخست پس از بازگشایی | حدود ۲٬۹۰۰ درخواست؛ بدون 5xx | نه هر جریان یا writer بعدی |
| نوشتنهای دیرهنگام سامانه قدیمی | ۴۸ = ۴۴ ادغامشده + ۴ نگهداشتهشده | یک سیاست عمومی برای merge نیست |
| برآورد اتصال فقط برای وب | ۱۰ × ۸۰ = ۸۰۰ | خواندن/نوشتن، worker و همپوشانی مستثنا هستند |
پنل قدیمی ۴۸ ردیف به سمت قدیمی اضافه کرد. تعمیر تاریخی، ۴۴ ردیف را ادغام کرد و چهار نسخه جدیدتر مقصد را نگه داشت؛ سپس آن پنل را منتقل و اطلاعات دسترسی قدیمی را تغییر داد. این حسابداری ۴۴+۴=۸، مربوط به همین رخداد است، نه الگوریتمی عمومی و ایمن که در آن «آخرین timestamp برنده شود». ساعتها، حذفها، ردیفهای وابسته و ویرایشهای همزمان به reconciliation آگاه از کسبوکار و سابقه ممیزی نیاز دارند.
writerهای از قلم افتاده را متوقف و اتصالهای موجود را terminate یا به شیوهای دیگر fence کنید؛ تغییر رمز عبور بهتنهایی ممکن است نشستی را که پیشتر احراز هویت شده بسته نکند. بررسی کنید که نوشتن به سامانه قدیمی رد میشود. گزارش شده که کلاستر قدیمی برای ۴۸ ساعت frozen نگه داشته شد. پس از آنکه سمت جدید کار را بپذیرد، نسخه قدیمی صرفاً مادهای برای بازیابی است، نه مقصد فوری rollback. بازگشت به آن بدون reconciliation پاسخهای جدید میتواند کارهای پذیرفتهشده را از دست ببرد. مدت نگهداری باید تابع بازیابی آزمایششده و تعهدات باشد، نه یک قاعده عمومی ۴۸ ساعته.

در این پرونده، standby و primary بهعنوان میزبان خواندن استفاده شدند؛ نوشتنها فقط روی primary و خواندن worker نیز از primary انجام میشد. یک endpoint پشتیبانیشده برای standby read میتواند از ظرفیت پرداختشده استفاده کند، اما منابع خرابی و بازیابی را نیز بهاشتراک میگذارد. پشتیبانی ارائهدهنده، lag و رفتار هنگام خرابی را بررسی کنید؛ reader اختصاصی همیشه اتلاف منابع نیست.
sticky=true در Laravel خواندنهای بعدی را پس از یک نوشتن، در همان request، به اتصال نوشتن هدایت میکند. این تنها بهتنهایی request بعدی یا همه نشستهای کاربران را محافظت نمیکند. تازگی داده میان requestها به سازوکاری صریح و آزمایششده یا خواندن از primary برای پاسخهای مرجع نیاز دارد. چند میزبان خواندن، failover دوثانیهای عمومی یا replay ایمن queryهای دلخواه را تضمین نمیکنند. خرابی اتصال را جدا از queryی که پیشتر اجرا شده آزمایش کنید.
برآورد قدیمی ۱۰ نود × ۸۰ فرزند PHP-FPM = ۸۰۰، فقط یک اتصال برای هر فرزند را در نظر میگیرد. هر فرزند میتواند اتصال خواندن و نوشتن باز کند؛ دو اتصال برای هر فرزند، پیش از worker، نشستهای مدیریتی یا همپوشانی هنگام جابهجایی، ۱٬۶۰۰ اتصال میشود؛ در برابر سقف تاریخی ۱٬۶۰۱. بودجهبندی را برای همه منابع اتصال و نسلهای نود انجام دهید. سقف اتصال، تضمین throughput نیست.
یک نمونه جداگانه PostgreSQL 17/pgvector با تاریخی ۲ vCPU/4 GB، embeddingهای AI را نگه میداشت. آزمایش ۱ vCPU/2 GB پس از آنکه بار کاری آن به منابع بیشتری نیاز پیدا کرد، برگشت. نمونههای جداگانه بودجه CPU و حافظه مستقلی ایجاد میکنند؛ با این حال، poolهای مشترک برنامه، شبکه یا ارائهدهندگان همچنان میتوانند خرابیها را به هم مرتبط کنند. این انتخابی مربوط به بار کاری است، نه ادعایی درباره نبود قابلیتهای vector در همه سرویسهای MySQL.
در شب آزمون ۷ اکتبر، سابقه، بیشینه CPU مربوط به MySQL را ۲۴٫۵٪، میانگین را ۱۳٫۴٪، حداکثر پنج query در حال اجرا و صفر انتظار مشاهدهشده برای lock گزارش میکند. این دادهها از نتیجهگیری محدودتری پشتیبانی میکنند: بازه اندازهگیریشده این سیگنالها را اشباع نکرده بود. آنها سقف ۴۵۰ درخواست بر ثانیه یا ظرفیت ششبرابر را ثابت نمیکنند؛ ترکیب queryها، رقابت نوشتن، I/O و failover نتیجه را تغییر میدهند.
اعتبارنامههای برنامه با کمترین سطح دسترسی را از حقوق مهاجرت جدا نگه دارید، دسترسی به پایگاهداده را محدود و بازیابی backupها را همراه با بررسیهای برنامه و اهداف اندازهگیریشده بازیابی آزمایش کنید. standby پیکربندیشده، کپی موفق و restore موفق، سه نوع شاهد متفاوتاند. بخش ۴ به صفها و workerی میپردازد که هنوز به این fleet متصلاند.
بازبینیشده در ۶ نوامبر ۲۰۲۶. Anichur Rahaman، بنیانگذار StoreConsole. ارقام و قیمتهای پرونده تاریخی باقی ماندهاند؛ منابع اصلی فعلی محدودیتهای فنی را تأیید میکنند.
درباره نویسنده
Anichur Rahaman
ادامهٔ مطالعه