The Database Moved. One Old Client Did Not — NovaCommerce 3

A 26-minute database cutover looked complete until a legacy panel wrote to the old copy. The lesson is writer control, reconciliation and honest recovery.

نویسنده

Anichur Rahaman

1 ماه پیش6 دقیقه مطالعه401 بازدید
The Database Moved. One Old Client Did Not — NovaCommerce 3

در ساعت ۲۲:۵۹ روز ۵ اکتبر ۲۰۲۶، بازه برنامه‌ریزی‌شده پایگاه‌داده پایان یافت. سایت پس از ۲۶ دقیقه دوباره در دسترس بود. ساعت ۲۳:۲۴ تیم متوجه شد یک پنل مدیریتی قدیمی همچنان در پایگاه‌داده قبلی می‌نویسد. برنامه منتقل شده بود، اما همه سرویس‌های نوشتن آن نه.

NovaCommerce یک پلتفرم ناشناس‌سازی‌شده دوره و آزمون است. بخش ۳ سوابق پروژه موجود در بازه سپتامبر تا اکتبر را حفظ می‌کند و راهنمایی عمومی پیرامون آن را اصلاح می‌کند. این آمار تاریخی، اندازه‌گیری‌های تازه ممیزی‌شده از محیط عملیاتی یا benchmarkهای StoreConsole نیستند.

یک جفت کوچک‌تر، ریسک متفاوتی را پوشش داد

MySQL مدیریت‌شده قدیمی یک نود ۸ vCPU/32 GB بدون standby بود. چیدمان تاریخی جدید MySQL 8.4 Standard با ۴ vCPU/16 GB برای هر نود، شامل primary و standby و حدود ۱۱ گیگابایت داده بود. این چیدمان مسیر خرابی تک‌نودی را پوشش داد؛ اما نبود هیچ داده‌ای، تأخیر صفر در failover یا بازیابی منطقه‌ای را ثابت نکرد.

جفت تقریباً ۳۸۹ دلار در ماه، بودجه تاریخی یک پرونده بود، نه پیشنهاد فعلی. DigitalOcean اکنون محدودیت‌های Standard Edition را از ۱۵ اکتبر ۲۰۲۶ برای حساب‌های واجد شرایط جدید و از ۳۰ نوامبر برای همه حساب‌ها اعلام کرده است. پیش از بازسازی این چیدمان، واجد شرایط بودن حساب، طرح و standby را بررسی کنید. standby تغییرات داده، از جمله حذف‌های تصادفی، را دنبال می‌کند؛ پس backup نیست.

انتقال، چند بررسی را با موفقیت پشت سر گذاشت اما یک writer را از قلم انداخت

سابقه ثبت‌شده، مسیریابی تعمیرات در ساعت ۲۲:۳۳، تخلیه صف‌ها، توقف کارهای زمان‌بندی‌شده، مشاهده نبود نوشتن برای ۳۰ ثانیه، کپی تقریباً ده‌دقیقه‌ای، اعتبارسنجی و ساخت imageهای جدید برنامه پیش از ۲۲:۵۹ را توصیف می‌کند. بازه آرام مشاهده، یک fence نیست: ممکن است کلاینتی فراموش‌شده بعدها بنویسد. ابتدا موجودی وب، workerها، schedulerها، callbackها، importها و پنل‌های خارجی را بررسی کنید، سپس همه نوشتن‌های قدیمی را مسدود و تنها پس از آن یک کپی سازگار تهیه کنید.

پرونده، تطابق مجموع تعداد جدول‌ها و ردیف‌ها، بررسی‌های بعدی محتوای جدول‌ها و مقایسه‌ای دقیق از یک جدول نتایج بزرگ را گزارش کرد. شواهد مربوط به موارد مقایسه‌شده، snapshot مورد استفاده و روش مقایسه را حفظ کنید. صرفاً تطابق تعدادها ثابت نمی‌کند محتوا برابر است و مقایسه‌های پس از cutover به مرز روشنی برای reconciliation نیاز دارند. نقش‌ها، schema، routine/eventهای مورد استفاده، character setها و جریان‌های واقعی ذخیره و خواندن پاسخ را نیز بررسی کنید. mysqldump استاندارد، موتور dump موازی نیست؛ یک wrapper چندجریانی مستندنشده را نیز نباید دستورالعمل قابل بازتولید برای سازگاری دانست.

مشاهده تاریخیمقدار ثبت‌شدهآنچه ثابت نمی‌کند
مجموع تعدادهای کپی‌شده۳۴۱ جدول؛ ۱۸٬۷۲۷٬۲۴۴ ردیفتعداد برابر ≠ وضعیت کسب‌وکار برابر
بزرگ‌ترین مقایسه نتایجحدود ۲٫۷۶ میلیون ردیفدامنه و روش باید حفظ شوند
چهار دقیقه نخست پس از بازگشاییحدود ۲٬۹۰۰ درخواست؛ بدون 5xxنه هر جریان یا writer بعدی
نوشتن‌های دیرهنگام سامانه قدیمی۴۸ = ۴۴ ادغام‌شده + ۴ نگه‌داشته‌شدهیک سیاست عمومی برای merge نیست
برآورد اتصال فقط برای وب۱۰ × ۸۰ = ۸۰۰خواندن/نوشتن، worker و هم‌پوشانی مستثنا هستند

چهل‌وهش ردیف دیرهنگام، روایت rollback را تغییر داد

پنل قدیمی ۴۸ ردیف به سمت قدیمی اضافه کرد. تعمیر تاریخی، ۴۴ ردیف را ادغام کرد و چهار نسخه جدیدتر مقصد را نگه داشت؛ سپس آن پنل را منتقل و اطلاعات دسترسی قدیمی را تغییر داد. این حسابداری ۴۴+۴=۸، مربوط به همین رخداد است، نه الگوریتمی عمومی و ایمن که در آن «آخرین timestamp برنده شود». ساعت‌ها، حذف‌ها، ردیف‌های وابسته و ویرایش‌های هم‌زمان به reconciliation آگاه از کسب‌وکار و سابقه ممیزی نیاز دارند.

writerهای از قلم افتاده را متوقف و اتصال‌های موجود را terminate یا به شیوه‌ای دیگر fence کنید؛ تغییر رمز عبور به‌تنهایی ممکن است نشستی را که پیش‌تر احراز هویت شده بسته نکند. بررسی کنید که نوشتن به سامانه قدیمی رد می‌شود. گزارش شده که کلاستر قدیمی برای ۴۸ ساعت frozen نگه داشته شد. پس از آنکه سمت جدید کار را بپذیرد، نسخه قدیمی صرفاً ماده‌ای برای بازیابی است، نه مقصد فوری rollback. بازگشت به آن بدون reconciliation پاسخ‌های جدید می‌تواند کارهای پذیرفته‌شده را از دست ببرد. مدت نگهداری باید تابع بازیابی آزمایش‌شده و تعهدات باشد، نه یک قاعده عمومی ۴۸ ساعته.

نقشه شواهد cutover پایگاه‌داده: کلاینت‌های موجودی، fence کردن writerهای قدیمی، کپی سازگار، اعتبارسنجی، انتقال یک writer و reconciliation ردیف‌های دیرهنگام پیش از بازیابی.
پنل قدیمی از قلم افتاده، درسی برای کنترل writerهاست. بازه ثبت‌شده ۲۶ دقیقه‌ای، وعده‌ای قابل استفاده مجدد برای زمان مهاجرت نیست.

Read replica تنها با یک قرارداد تازگی داده مفید است

در این پرونده، standby و primary به‌عنوان میزبان خواندن استفاده شدند؛ نوشتن‌ها فقط روی primary و خواندن worker نیز از primary انجام می‌شد. یک endpoint پشتیبانی‌شده برای standby read می‌تواند از ظرفیت پرداخت‌شده استفاده کند، اما منابع خرابی و بازیابی را نیز به‌اشتراک می‌گذارد. پشتیبانی ارائه‌دهنده، lag و رفتار هنگام خرابی را بررسی کنید؛ reader اختصاصی همیشه اتلاف منابع نیست.

sticky=true در Laravel خواندن‌های بعدی را پس از یک نوشتن، در همان request، به اتصال نوشتن هدایت می‌کند. این تنها به‌تنهایی request بعدی یا همه نشست‌های کاربران را محافظت نمی‌کند. تازگی داده میان requestها به سازوکاری صریح و آزمایش‌شده یا خواندن از primary برای پاسخ‌های مرجع نیاز دارد. چند میزبان خواندن، failover دوثانیه‌ای عمومی یا replay ایمن queryهای دلخواه را تضمین نمی‌کنند. خرابی اتصال را جدا از queryی که پیش‌تر اجرا شده آزمایش کنید.

برآورد قدیمی ۱۰ نود × ۸۰ فرزند PHP-FPM = ۸۰۰، فقط یک اتصال برای هر فرزند را در نظر می‌گیرد. هر فرزند می‌تواند اتصال خواندن و نوشتن باز کند؛ دو اتصال برای هر فرزند، پیش از worker، نشست‌های مدیریتی یا هم‌پوشانی هنگام جابه‌جایی، ۱٬۶۰۰ اتصال می‌شود؛ در برابر سقف تاریخی ۱٬۶۰۱. بودجه‌بندی را برای همه منابع اتصال و نسل‌های نود انجام دهید. سقف اتصال، تضمین throughput نیست.

کارهای vector را جدا نگه دارید، اما جداسازی کامل را وعده ندهید

یک نمونه جداگانه PostgreSQL 17/pgvector با تاریخی ۲ vCPU/4 GB، embeddingهای AI را نگه می‌داشت. آزمایش ۱ vCPU/2 GB پس از آنکه بار کاری آن به منابع بیشتری نیاز پیدا کرد، برگشت. نمونه‌های جداگانه بودجه CPU و حافظه مستقلی ایجاد می‌کنند؛ با این حال، poolهای مشترک برنامه، شبکه یا ارائه‌دهندگان همچنان می‌توانند خرابی‌ها را به هم مرتبط کنند. این انتخابی مربوط به بار کاری است، نه ادعایی درباره نبود قابلیت‌های vector در همه سرویس‌های MySQL.

در شب آزمون ۷ اکتبر، سابقه، بیشینه CPU مربوط به MySQL را ۲۴٫۵٪، میانگین را ۱۳٫۴٪، حداکثر پنج query در حال اجرا و صفر انتظار مشاهده‌شده برای lock گزارش می‌کند. این داده‌ها از نتیجه‌گیری محدودتری پشتیبانی می‌کنند: بازه اندازه‌گیری‌شده این سیگنال‌ها را اشباع نکرده بود. آن‌ها سقف ۴۵۰ درخواست بر ثانیه یا ظرفیت شش‌برابر را ثابت نمی‌کنند؛ ترکیب queryها، رقابت نوشتن، I/O و failover نتیجه را تغییر می‌دهند.

اعتبارنامه‌های برنامه با کمترین سطح دسترسی را از حقوق مهاجرت جدا نگه دارید، دسترسی به پایگاه‌داده را محدود و بازیابی backupها را همراه با بررسی‌های برنامه و اهداف اندازه‌گیری‌شده بازیابی آزمایش کنید. standby پیکربندی‌شده، کپی موفق و restore موفق، سه نوع شاهد متفاوت‌اند. بخش ۴ به صف‌ها و workerی می‌پردازد که هنوز به این fleet متصل‌اند.

سری

منابع اصلی

بازبینی‌شده در ۶ نوامبر ۲۰۲۶. Anichur Rahaman، بنیان‌گذار StoreConsole. ارقام و قیمت‌های پرونده تاریخی باقی مانده‌اند؛ منابع اصلی فعلی محدودیت‌های فنی را تأیید می‌کنند.

درباره نویسنده

Anichur Rahaman

ادامهٔ مطالعه