نحوه استقرار مدل زبان بزرگ (LLM) Deepseek V3 با استفاده از SGLang #

پیش نیازها #

• برای دسترسی به نمونه AMD Instinct™ MI300X با بخش فروش تماس بگیرید.

مراحل نصب #

در این بخش، شما وابستگی‌های لازم را نصب خواهید کرد، یک تصویر کانتینر با پشتیبانی ROCm خواهید ساخت و سرور استنتاج SGlang را با Deepseek V3 روی Vultr Cloud GPU مستقر خواهید کرد. سپس با ارسال یک درخواست HTTP برای آزمایش پاسخ استنتاج مدل، استقرار را تأیید خواهید کرد.

سرور مجازی امریکا

1. بسته رابط خط فرمان (CLI) مربوط به Hugging Face را نصب کنید.
   consoleCopy

   $ pip install huggingface_hub[cli]

2. مدل Deepseek V3 را دانلود کنید.
   consoleCopy

   $ huggingface-cli download deepseek-ai/DeepSeek-V3

   دستور بالا مدل را در دایرکتوری $HOME/.cache/huggingface دانلود می‌کند. توصیه می‌شود مدل را در پس‌زمینه دانلود کرده و مراحل بعدی را ادامه دهید، زیرا اندازه مدل بسیار بزرگ است و تا زمانی که تصویر کانتینر را اجرا نکنید، نیازی به آن نیست.

3. مخزن سرور استنتاج SGLang را کلون کنید.
   consoleCopy

   $ git clone https://github.com/sgl-project/sglang.git

4. یک ایمیج کانتینر پشتیبانی‌شده با ROCm بسازید.
   consoleCopy

   $ cd sglang/docker
   $ docker build --build-arg SGL_BRANCH=v0.4.2 -t sglang:v0.4.2-rocm620 -f Dockerfile.rocm .

   دستور بالا یک تصویر کانتینر با نام sglang:v0.4.2-rocm620  با استفاده از مانیفست Dockerfile.rocm می‌سازد. این مرحله ممکن است تا ۳۰ دقیقه طول بکشد.

   اگر در زمان ساخت تصویر کانتینر با خطای :  error: RPC failed; curl 56 GnuTLS recv error   مواجه شدید، می‌توانید خطوط زیر را قبل از دستورات مربوط به کلون کردن مخازن به فایل Dockerfile.rocm  اضافه کنید.

   DockerfileCopy

   RUN git config --global http.postBuffer ۱۰۴۸۵۷۶۰۰۰
   RUN git config --global https.postBuffer ۱۰۴۸۵۷۶۰۰۰

   علاوه بر این، اگر در طول زمان ساخت با وقفه‌های اتصال مواجه شدید، می‌توانید دوباره فرآیند را اجرا کنید تا اتصال برقرار شود. داکر قادر است بخش‌هایی از فرآیند ساخت را ذخیره کند تا از استفاده بهینه از زمان و منابع اطمینان حاصل شود.

5. کانتینر سرور استنتاج SGlang را اجرا کنید.
   consoleCopy

   $ docker run -d --device=/dev/kfd --device=/dev/dri --ipc=host \
       --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined \
       -v $HOME/dockerx:/dockerx -v $HOME/.cache/huggingface:/root/.cache/huggingface \
       --shm-size 16G -p ۳۰۰۰۰:۳۰۰۰۰ sglang:v0.4.2-rocm620 \
       python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V3 --tp ۸ --trust-remote-code --host ۰.۰.۰.۰ --port ۳۰۰۰۰

   دستور فوق، کانتینر سرور استنتاج SGlang را در حالت جدا با پشتیبانی ROCm اجرا می‌کند و دسترسی به GPU و مجوزهای لازم را فعال می‌کند. این دستور دایرکتوری‌های مورد نیاز را مانت می‌کند، حافظه مشترک اختصاص می‌دهد و سرور را روی پورت  ۳۰۰۰۰ با استفاده از مدل DeepSeek V3 با موازی‌سازی تنسور (TP) تنظیم شده روی ۸، راه‌اندازی می‌کند.

6. یک درخواست HTTP برای تأیید پاسخ استنتاج ارسال کنید.
   consoleCopy

   $ curl http://localhost:30000/v1/chat/completions \
        -H "Content-Type: application/json" \
        -d "{\"model\": \"deepseek-ai/DeepSeek-V3\", \"messages\": [{\"role\": \"user\", \"content\": \"I am running Deepseek on Vultr powered by AMD Instinct MI300X. What's next?\"}], \"temperature\": 0.7}"

7. اختیاری: اتصالات ورودی را روی پورت ۳۰۰۰۰ مجاز کنید.
   consoleCopy

   $ sudo ufw allow ۳۰۰۰۰

نتیجه گیری #

در این مقاله، شما با موفقیت Deepseek V3 را با استفاده از SGlang روی پردازنده گرافیکی MI300X Vultr Cloud مستقر کردید و مدل را برای استنتاج آماده کردید. با بهره‌گیری از زیرساخت با کارایی بالای Vultr، یک محیط بهینه برای اجرای کارآمد Deepseek V3 راه‌اندازی کرده‌اید. اکنون که مدل آماده است، می‌توانید از قابلیت‌های پیشرفته استدلال و زبان آن برای برنامه‌های مختلف استفاده کنید.