نحوه استقرار مدل زبان بزرگ (LLM) Deepseek V3 با استفاده از SGLang
یاد بگیرید که چگونه مدل زبان بزرگ قدرتمند Deepseek V3 را با استفاده از SGLang مستقر کنید. این راهنمای گام به گام، نصب، پیکربندی و تکنیک های بهینه سازی را پوشش می دهد.
Deepseek V3 یک مدل زبانی ترکیبی از متخصصان (MoE) با کارایی بالا است که برای استنتاج کارآمد و آموزش مقرون به صرفه طراحی شده است. با ۶۷۱ میلیارد پارامتر و معماری های پیشرفته مانند Multi-head Latent Attention (MLA) و DeepseekMoE، عملکرد، پایداری و مقیاس پذیری را بهینه می کند. Deepseek V3 که روی ۱۴.۸ تریلیون توکن از پیش آموزش دیده و با یادگیری تقویتی تنظیم شده است، قابلیت های استدلال و زبان پیشرفته را با کارایی قابل توجهی ارائه می دهد.
در این مقاله، شما Deepseek V3 را به دلیل نیازهای زیاد VRAM با استفاده از SGlang بر روی پردازنده گرافیکی MI300X Vultr Cloud مستقر کرده و مدل را برای استنتاج پیکربندی خواهید کرد. با بهره گیری از زیرساخت ابری با کارایی بالای Vultr، می توانید Deepseek V3 را به طور موثر برای کارهای استدلال و زبان پیشرفته راه اندازی کنید.
پیش نیازها #
- برای دسترسی به نمونه AMD Instinct™ MI300X با بخش فروش تماس بگیرید.
مراحل نصب #
در این بخش، شما وابستگی های لازم را نصب خواهید کرد، یک تصویر کانتینر با پشتیبانی ROCm خواهید ساخت و سرور استنتاج SGlang را با Deepseek V3 روی Vultr Cloud GPU مستقر خواهید کرد. سپس با ارسال یک درخواست HTTP برای آزمایش پاسخ استنتاج مدل، استقرار را تأیید خواهید کرد.
- بسته رابط خط فرمان (CLI) مربوط به Hugging Face را نصب کنید.console
$ pip install huggingface_hub[cli]
- مدل Deepseek V3 را دانلود کنید.console
$ huggingface-cli download deepseek-ai/DeepSeek-V3دستور بالا مدل را در دایرکتوری
$HOME/.cache/huggingfaceدانلود می کند. توصیه می شود مدل را در پس زمینه دانلود کرده و مراحل بعدی را ادامه دهید، زیرا اندازه مدل بسیار بزرگ است و تا زمانی که تصویر کانتینر را اجرا نکنید، نیازی به آن نیست. - مخزن سرور استنتاج SGLang را کلون کنید.console
$ git clone https://github.com/sgl-project/sglang.git - یک ایمیج کانتینر پشتیبانی شده با ROCm بسازید.console
$ cd sglang/docker $ docker build --build-arg SGL_BRANCH=v0.4.2 -t sglang:v0.4.2-rocm620 -f Dockerfile.rocm .
دستور بالا یک تصویر کانتینر با نام
sglang:v0.4.2-rocm620با استفاده از مانیفستDockerfile.rocmمی سازد. این مرحله ممکن است تا ۳۰ دقیقه طول بکشد.اگر در زمان ساخت تصویر کانتینر با خطای :
error: RPC failed; curl 56 GnuTLS recv errorمواجه شدید، می توانید خطوط زیر را قبل از دستورات مربوط به کلون کردن مخازن به فایلDockerfile.rocmاضافه کنید.DockerfileRUN git config --global http.postBuffer 1048576000 RUN git config --global https.postBuffer 1048576000
علاوه بر این، اگر در طول زمان ساخت با وقفه های اتصال مواجه شدید، می توانید دوباره فرآیند را اجرا کنید تا اتصال برقرار شود. داکر قادر است بخش هایی از فرآیند ساخت را ذخیره کند تا از استفاده بهینه از زمان و منابع اطمینان حاصل شود.
- کانتینر سرور استنتاج SGlang را اجرا کنید.console
$ docker run -d --device=/dev/kfd --device=/dev/dri --ipc=host \ --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined \ -v $HOME/dockerx:/dockerx -v $HOME/.cache/huggingface:/root/.cache/huggingface \ --shm-size 16G -p 30000:30000 sglang:v0.4.2-rocm620 \ python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code --host 0.0.0.0 --port 30000
دستور فوق، کانتینر سرور استنتاج SGlang را در حالت جدا با پشتیبانی ROCm اجرا می کند و دسترسی به GPU و مجوزهای لازم را فعال می کند. این دستور دایرکتوری های مورد نیاز را مانت می کند، حافظه مشترک اختصاص می دهد و سرور را روی پورت
30000با استفاده از مدل DeepSeek V3 با موازی سازی تنسور (TP) تنظیم شده روی ۸، راه اندازی می کند. - یک درخواست HTTP برای تأیید پاسخ استنتاج ارسال کنید.console
$ curl http://localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d "{\"model\": \"deepseek-ai/DeepSeek-V3\", \"messages\": [{\"role\": \"user\", \"content\": \"I am running Deepseek on Vultr powered by AMD Instinct MI300X. What's next?\"}], \"temperature\": 0.7}"
- اختیاری: اتصالات ورودی را روی پورت ۳۰۰۰۰ مجاز کنید.console
$ sudo ufw allow 30000
نتیجه گیری #
در این مقاله، شما با موفقیت Deepseek V3 را با استفاده از SGlang روی پردازنده گرافیکی MI300X Vultr Cloud مستقر کردید و مدل را برای استنتاج آماده کردید. با بهره گیری از زیرساخت با کارایی بالای Vultr، یک محیط بهینه برای اجرای کارآمد Deepseek V3 راه اندازی کرده اید. اکنون که مدل آماده است، می توانید از قابلیت های پیشرفته استدلال و زبان آن برای برنامه های مختلف استفاده کنید.
