پاد Evicted در Kubernetes؛ فشار نود رو از OOM و زمان‌بندی جدا کن

در حافظه، محاسبهٔ memory.available توسط kubelet با یک عدد دلخواه free یا limit کانتینر قابل‌جایگزینی نیست. برای دیسک، اول بدونیم هر نام به چه چیزی اشاره می‌کنه: nodefs فایل‌سیستم اصلی نود برای کارهایی مثل دادهٔ محلی، emptyDir دیسکی و لاگ است؛ imagefs فضای اختیاری imageهاست و اگر containerfs جدا نباشه، لایهٔ نوشتنی کانتینر رو هم نگه می‌داره. containerfs در چیدمان جداشدهٔ پشتیبانی‌شده برای لایه‌های نوشتنی به کار می‌ره. آستانهٔ بایت و inode رو جدا بخون و وجود این چیدمان رو از runtime، قابلیت نسخه و mount واقعی تأیید کن؛ دو یا سه نام می‌تونن به همان فایل‌سیستم زیرین اشاره کنن و الزاماً دیسک فیزیکی جدا نیستن.

لایهٔ نوشتنی کانتینر، لاگ و emptyDir دیسکی می‌تونن در ذخیره‌سازی محلی موقت نقش داشته باشن؛ emptyDir حافظه‌ای به‌جاش حافظه مصرف می‌کنه. PIDPressure از شناسهٔ پردازشِ در دسترس می‌گه، نه مصرف CPU. از مسئول نود، آستانهٔ مؤثر همان نسخهٔ kubelet، مهلت حالت soft، روش آزادسازی، رزرو منبع و اندازه‌گیری تاریخی متناظر رو با runbook موجود بخواه.

پیش‌فرض upstream رو برای همه فرض نکن و از OS میزبان مدیریت هم این تنظیم‌ها رو نتیجه نگیر. اینجا فرمان شل نود، دریافت proxy/config، پاک‌کردن cache یا پوشهٔ runtime و تعمیر فایل‌سیستم نمی‌دیم. حذف فایل یا image پشت سر runtime ممکنه برنامهٔ فعال رو خراب کنه و علت رو هم بپوشونه.

eviction ناشی از فشار نود تصمیم kubelet است و با Eviction API در کار مدیریتی فرق داره. PodDisruptionBudget جلوی کمبود منبع از پاد محافظت نمی‌کنه. آستانهٔ hard می‌تونه با مهلت صفر فوری متوقف کنه؛ رسیدگی به آستانهٔ soft هم به سیاست مهلت تنظیم‌شدهٔ eviction محدود می‌شه، نه قول همیشگیِ رعایت مهلت معمول خود پاد.

scheduler با شرط و taint می‌تونه از نود پرفشار دوری کنه، ولی kubelet هنوز ممکنه بعد از تخصیص نود پاد رو نپذیره. toleration فقط اجازهٔ بررسی جای‌گیری می‌ده؛ حافظه رزرو نمی‌کنه و فشار رو رفع نمی‌کنه. اولویت و preemption در scheduler برای جا بازکردن به پاد تازه است؛ انتخاب پاد برای eviction هنگام فشار نود، تصمیم جداگانهٔ kubelet است. برای جابه‌جاکردن هشدار، taint رو پاک نکن، toleration گسترده نده، اولویت رو بالا نبر و نود رو کورکورانه drain نکن.

در رشد پایدار بار، مسئول برنامه ممکنه هم‌زمانی batch قابل‌شروع‌مجدد رو کم کنه یا request/limit رو از منبع استقرار خودش اصلاح کنه؛ اثر روی سرعت و صف عقب‌افتاده و مقدار قبلی باید معلوم باشه. برای ظرفیت نود یا فشار runtime/فایل‌سیستم، مسئول نود و ذخیره‌ساز بر اساس اندازه‌گیری واقعی برنامهٔ پشتیبانی‌شدهٔ ظرفیت یا آزادسازی رو انتخاب می‌کنه. برچسب Evicted به‌تنهایی فرمان عمومی برای هیچ‌کدام نمی‌ده.

فرایند مهمی که داده تغییر می‌ده، قبل از جابه‌جایی یا قطع‌شدن به روش سازگاری داده، quorum، fencing و شروع/بازیابی خودش نیاز داره. اول ظرفیت جایگزین رو هماهنگ کن. حذف، drain یا eviction کور، detach اجباری، پاک‌کردن پوشهٔ runtime، بالابردن آستانهٔ eviction یا خاموش‌کردن حفاظت می‌تونه فشار قابل‌حل رو به از دست‌رفتن داده یا قطعی گسترده تبدیل کنه.

اگر اقدام مصوب خطا رو بیشتر کرد یا مشکل رو به نودهای دیگر برد، تنظیم قبلیِ ثبت‌شده رو از همان مسیر مالک برگردون و کارهای در صف یا تکرارشده رو رسیدگی کن. برگشت request یا تنظیم scheduler، پاد متوقف‌شده رو زنده نمی‌کنه و اثر بیرونی برنامه رو هم معکوس نمی‌کنه.

هر پنل فقط وضعیت رو می‌خونه. زمان، UID و پیام شکست اولیه رو نگه دار و دید نود یا عرضه‌کنندهٔ غایب رو به مسئولش بسپار؛ برای ساخت شاهد تازه، مجوز رو کلی باز نکن و شکست تولید نکن.

k get pod 'example-app' -n 'apps' -o jsonpath='{.spec.nodeName}{"\n"}{.status.phase}{"\t"}{.status.reason}{"\n"}{.status.conditions}{"\n"}'
k events -n 'apps' --for 'pod/example-app'

k get node 'worker-a' -o jsonpath='{range .status.conditions[*]}{.type}{"="}{.status}{"\t"}{.lastTransitionTime}{"\t"}{.reason}{"\n"}{end}'

k auth can-i get nodes.metrics.k8s.io
k api-resources --api-group=metrics.k8s.io

k get pod 'example-app' -n 'apps' -o jsonpath='{.metadata.uid}{"\n"}{.metadata.ownerReferences}{"\n"}{.spec.nodeName}{"\n"}{.status.phase}{"\t"}{.status.reason}{"\n"}{.status.conditions}{"\n"}'
k get node 'worker-a' -o jsonpath='{range .status.conditions[*]}{.type}{"="}{.status}{"\t"}{.lastTransitionTime}{"\n"}{end}'