بازگشت به آرشیو مقالات
هوش مصنوعی Vayu Engine v2.4 بررسی شده توسط تیم پلتفرم

استقرار مقیاس‌پذیر مدل‌های زبانی بزرگ (LLM) با vLLM و Triton Inference Server

پ‌ک
پارسا کاویانیتیم مهندسی وایو کلود
۳ خرداد ۱۴۰۳• زمان مطالعه: ۱۴ دقیقه
Paged attention on shared GPU nodes

چکیده راهبردی و نکات کلیدی

تکنیک‌های PagedAttention و بهینه‌سازی حافظه VRAM روی کلاسترهای GPU وایو کلود برای کاهش هزینه استقرار مدل‌های منبع‌باز تا ۶۰ درصد.

مسئله: تکنیک‌های PagedAttention و بهینه‌سازی حافظه VRAM روی کلاسترهای GPU وایو کلود برای کاهش هزینه استقرار مدل‌های منبع‌باز تا ۶۰ درصد.
روش: سنجش روی کلاستر داخلی وایو کلود، بدون تغییر در قرارداد API سرویس.
نتیجه: استقرار بعدی از Git انجام می‌شود و نسخه سالم تا آماده شدن نسخه جدید می‌ماند.

۱. زمینه مسئله

تکنیک‌های PagedAttention و بهینه‌سازی حافظه VRAM روی کلاسترهای GPU وایو کلود برای کاهش هزینه استقرار مدل‌های منبع‌باز تا ۶۰ درصد.

در الگوی قدیمی، تغییر زیرساخت به معنای دست‌کاری سرور و پروکسی در زمان ترافیک زنده بود. روی سکوی وایو کلود همان تصمیم به تنظیم سرویس و مسیر انتشار محدود می‌شود.

نکته اجرایی

قبل از اتکا به مقیاس خودکار، وضعیت را از حافظه محلی پاد خارج کنید. نشست و فایل موقت روی دیسک محلی، قطع و وصل نسخه را غیرقابل پیش‌بینی می‌کند.

۲. روشی که در وایو کلود استفاده شد

مخزن سرویس به ران‌تایم مناسب وصل شد و متغیرهای حساس بیرون از گیت ماند. سنجه اصلی، زمان پاسخ و نرخ خطا در طول انتشار بود نه فقط سبز شدن بیلد.

۳. آنچه بعد از اعمال دیدیم

نسخه قبلی تا عبور سلامت‌سنجی نسخه جدید ترافیک را نگه داشت. بازگشت به نسخه قبل از همان پنل، بدون ساخت مجدد ماشین، ممکن بود.

برچسب‌ها و تگ‌های تخصصی:

پ‌ک

پارسا کاویانی

مهندس MLOps

سرویس‌دهی مدل روی GPUهای وایو کلود و هزینه هر توکن را بهینه می‌کند.

دیدگاه‌های متخصصان و مهندسان (۰)

به بحث تخصصی بپیوندید

ارسال نظر یا پرسش فنی