نگاهی عمیق به بسته‌های مهم پایتون در حوزه هوش مصنوعی / یادگیری ماشین #

مقدمه #

هوش مصنوعی (AI) و یادگیری ماشین (ML) زمینه‌های مهم محاسبات ابری هستند که شامل پیاده‌سازی بسته‌های نرم‌افزاری متعدد می‌شوند. این بسته‌ها مجموعه‌ای از برنامه‌های آماده برای استقرار را در اختیار توسعه‌دهندگان قرار می‌دهند که وظایف خاصی را انجام می‌دهند. به این ترتیب، می‌توانید به جای نوشتن کد اساسی و پیاده‌سازی الگوریتم‌های پیچیده از ابتدا، بر ساخت راه‌حل‌ها تمرکز کنید.

این مقاله بسته‌های مهمی را که معمولاً برای ساخت برنامه‌های یادگیری ماشین و هوش مصنوعی آماده برای تولید استفاده می‌شوند، توضیح می‌دهد.

چارچوب‌ها و کتابخانه‌ ها #

TensorFlow #

TensorFlow یک کتابخانه متن‌باز از ابزارهایی است که برای تسریع وظایف یادگیری ماشینی طراحی شده است. این کتابخانه در هر دو مدل یادگیری ماشینی و یادگیری عمیق با پشتیبانی از CPUها، GPUها و TPUها استفاده می‌شود. از نظر کاربرد، TensorFlow معمولاً برای وظایفی مانند موارد زیر استفاده می‌شود:

• مسائل سنتی یادگیری ماشین مانند طبقه‌بندی و رگرسیون
• کاربردهای هوش مصنوعی مولد مانند انتشار پایدار
• مدل‌های بینایی کامپیوتر (CV) مانند تشخیص اشیا
• استقرار مدل‌های تولیدی با استفاده از TensorFlow Serving

برای نصب TensorFlow در محیط پایتون، از یک مدیر بسته مانندpip

$ pip install tensorflow

پس از نصب، TensorFlow را به برنامه‌های خود وارد کنید تا بتوانید از بسته استفاده کنید.

>>> import tensorflow as tf

PyTorch #

پای‌تورچ (PyTorch) یک چارچوب متن‌باز مبتنی بر کتابخانه یادگیری ماشین تورچ است که معمولاً در وظایف بینایی کامپیوتر (CV) و پردازش زبان طبیعی (NLP) استفاده می‌شود. بسته‌های پای‌تورچ هم روی سیستم‌های GPU و هم CPU کار می‌کنند و قابلیت انجام موارد زیر را دارند:

• کار با مجموعه داده‌های بزرگ
• ساخت مدل‌های چندوجهی مانند تشخیص دستخط
• ساخت مدل‌های یادگیری عمیق
• استقرار مدل‌های یادگیری عمیق در محیط عملیاتی با استفاده از TorchServe

برای نصب PyTorch در محیط پایتون، از یک مدیر بسته مانند استفاده کنید pipو نوع سیستم، چه GPU و چه CPU، را مشخص کنید. به عنوان مثال، PyTorch را با پشتیبانی از GPU نصب کنید.

$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

نصب PyTorch با پشتیبانی از CPU

$ pip install torch torchvision torchaudio

PyTorch Lightning #

پای‌تورچ لایتنینگ (PyTorch Lightning) یک نسخه مبتنی بر جامعه از پای‌تورچ است که برای انجام انعطاف‌پذیر وظایف یادگیری عمیق بدون تأثیر بر عملکرد سیستم طراحی شده است. این برنامه از چند پردازنده گرافیکی (multi-GPU)، TPU و اعداد اعشاری (float) دقیق ۱۶ بیتی و ۳۲ بیتی برای انجام وظایفی مانند موارد زیر پشتیبانی می‌کند:

• آموزش مدل‌های یادگیری ماشین روی خوشه‌های CPU یا GPU
• ارزیابی عملکرد مدل یادگیری عمیق
• بهبود عملکرد مدل با کشف گلوگاه‌ها
• کاهش اندازه مدل با استفاده از کوانتیزاسیون

برای نصب PyTorch Lighting در محیط پایتون، از یک مدیر بسته مانند pipیا استفاده کنید conda:

• Python Pip
  کنسولکپی

  $ pip install lightning

• Conda
  کنسولکپی

  $ conda install lightning -c conda-forge

برای اطلاعات بیشتر در مورد نحوه استفاده از PyTorch Lightning، به مستندات رسمی مراجعه کنید .

Keras #

کِرَس (Keras) یک کتابخانه یادگیری عمیق متن‌باز سطح بالا برای پیاده‌سازی شبکه‌های عصبی است. این کتابخانه بر اساس TensorFlow ساخته شده و بسیاری از توابع سطح پایین‌تر را در نقاط انتهایی API واحد بسته‌بندی می‌کند. کِرَس شامل ماژول‌هایی برای پیاده‌سازی انواع مختلف لایه‌های شبکه عصبی و ترکیب لایه‌ها برای ایجاد مدل‌ها است. این امر به توسعه‌دهندگان اجازه می‌دهد تا از بین بهینه‌سازها، توابع فعال‌سازی و معیارهای ارزیابی مختلف انتخاب کنند. کِرَس در کاربردهای مختلفی مانند موارد زیر استفاده می‌شود:

• پروژه‌های پردازش زبان طبیعی (NLP) مانند تحلیل احساسات
• پروژه‌های یادگیری عمیق مانند هوش مصنوعی مولد
• ساخت ابزارهای یادگیری عمیق برای دستگاه‌های تلفن همراه
• طبقه‌بندی تصویر

برای استفاده از Keras، آن را از بسته TensorFlow در پروژه خود وارد کنید.

>>> from tensorflow import keras

KerasCV #

KerasCV یک افزونه افقی از کتابخانه اصلی Keras است که شامل اجزای ماژولار بینایی کامپیوتر (CV) می‌شود. مدل‌های Keras CV برای دسترسی به بسیاری از مدل‌های از پیش آموزش‌دیده مانند Stable Diffusion و Vision Transformer برای انجام وظایف یادگیری ماشینی مانند موارد زیر استفاده می‌شوند:

• کاربردهای بینایی کامپیوتر مانند تشخیص اشیا و قطعه‌بندی تصویر
• هوش مصنوعی مولد و کاربردهای پردازش تصویر

برای نصب آخرین نسخه KerasCV در محیط پایتون خود، از pipمدیر بسته استفاده کنید و Tensorflow را ارتقا دهید.

$ pip install keras-cv tensorflow --upgrade

پس از نصب، بسته را به همراه هسته Keras در برنامه خود وارد کنید

>>> import keras_cv
>>> import keras_core as keras

NumPy #

پایتون عددی (NumPy) یک کتابخانه محاسبات علمی عددی متن‌باز است که در برنامه‌های پایتون استفاده می‌شود. این کتابخانه از عملیات جبر خطی روی بردارها و تانسورهای با ابعاد بالا پشتیبانی می‌کند، عملیات ریاضی مانند حساب، مثلثات و اعداد مختلط را انجام می‌دهد که آن را به یک بسته ضروری برای انجام وظایف محاسباتی تبدیل می‌کند. NumPy مستقیماً روی سیستم‌های CPU کار می‌کند و هیچ پشتیبانی مستقیمی از GPUها، TPUها یا سیستم‌های خوشه‌ای چند GPU برای انجام وظایفی مانند موارد زیر ندارد:

• یادگیری ماشین
• هوش مصنوعی مولد
• سیستم‌های توصیه‌گر
• کاربردهای تصویربرداری مانند طبقه‌بندی و قطعه‌بندی تصویر

برای نصب NumPy، از یک مدیر بسته مانند Pip یا Conda مطابق توضیحات زیر استفاده کنید:

• PIP:
  کنسولکپی

  $ pip install numpy

• Conda:
  کنسولکپی

  $ conda install numpy

SciPy #

ساینتیفیک پایتون (SciPy) مجموعه‌ای متن‌باز از کتابخانه‌ها است که برای انجام وظایف ریاضی، علوم و مهندسی طراحی شده و برای گسترش قابلیت‌های NumPy ساخته شده است. این زبان از زیربسته‌هایی برای انجام وظایف محاسبات علمی سطح پایین مانند انتگرال‌گیری و مشتق‌گیری عددی، معادلات دیفرانسیل و مسائل مقدار ویژه، پردازش سیگنال و تبدیل فوریه در کاربردهایی مانند موارد زیر استفاده می‌کند:

• تحلیل آماری
• مسائل بهینه‌سازی صنعتی
• پردازش صدا
• کاربردهای محاسبات علمی، مانند مدل‌سازی و شبیه‌سازی

شما می‌توانید SciPy را به عنوان یک ماژول پایتون نصب کنید، یا از یک مدیر بسته (package manager) همانطور که در زیر توضیح داده شده است استفاده کنید:

• Python Module:Debian/Ubuntu:
  کنسولکپی

  $ sudo apt install python3-scipy

  CentOS/ RHEL:

  کنسولکپی

  $ sudo dnf install python3-scipy

• PIP:
  کنسولکپی

  $ pip install scipy

• Conda:
  کنسولکپی

  $ conda install scipy

برای اطلاعات بیشتر در مورد نحوه استفاده از SciPy، به راهنمای کاربر رسمی مراجعه کنید .

JAX #

JAX یک کتابخانه با کارایی بالا برای محاسبات عددی است و به شما امکان می‌دهد توابع NumPy را روی سیستم‌های GPU و TPU اجرا کنید. این کتابخانه از همان سینتکس NumPy استفاده می‌کند و از توابع پیچیده سطح پایین مانند مشتق‌گیری خودکار و مرتبه بالاتر پشتیبانی می‌کند. با این حال، JAX از یک الگوی برنامه‌نویسی تابعی خالص پیروی می‌کند و در پروژه‌هایی مانند موارد زیر پیاده‌سازی شده است:

• تحقیق در مورد یادگیری ماشین و یادگیری عمیق
• کاربردهای پیچیده یادگیری عمیق

برای نصب JAX، از مدیر بسته پایتون استفاده کنید pipو از بسته CPU یا GPU سیستم منطبق استفاده کنید.

$ pip install --upgrade "jax[cpu]"

در یک سیستم مبتنی بر GPU، [cpu]مقدار را با درایور GPU خود جایگزین کنید. برای مثال، CUDA 12 و برای نصب وابستگی‌های اضافی، به فایل releases مراجعه کنید.

$ pip install --upgrade "jax[cuda11_pip]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html

برای اطلاعات بیشتر در مورد نحوه استفاده از JAX، به مستندات رسمی توسعه‌دهنده مراجعه کنید .

Flax #

Flax یک کتابخانه شبکه عصبی متن‌باز مبتنی بر چارچوب JAX است. این کتابخانه از تحقیقات شبکه عصبی و توسعه مدل پشتیبانی می‌کند و قابلیت استفاده از API خود را برای موارد زیر دارد:

• ساخت لایه‌های شبکه عصبی
• آموزش شبکه‌های عصبی
• مدل‌های نقطه بازرسی
• دسترسی به مدل‌های از پیش آموزش‌دیده و تنظیم‌شده

برای نصب Flax، از مدیر بسته pip استفاده کنید.

$ pip install flax

برای اطلاعات بیشتر در مورد نحوه استفاده از این بسته، به مستندات رسمی Flax مراجعه کنید .

Scikit-learn #

scikit-learnیک ماژول پایتون است که برای یادگیری ماشین و وظایف تحلیل داده طراحی شده است. این ماژول از تکنیک‌های مختلف یادگیری ماشین مانند طبقه‌بندی و خوشه‌بندی، جنگل‌های تصادفی، ماشین‌های بردار پشتیبان (SVM) و موارد دیگر پشتیبانی می‌کند. Scikit-learn بر پایه NumPy، SciPy و matplotlib ساخته شده است و کاربرد رایجی در برنامه‌هایی مانند موارد زیر دارد:

• یادگیری ماشین
• مدل‌سازی آماری
• تشخیص تصویر

از یک مدیر بسته مانند Pip یا Conda برای نصب scikit-learn جهت استفاده در برنامه‌های خود استفاده کنید.

• Pip:
  کنسولکپی

  $ pip install -U scikit-learn

• Conda:
  کنسولکپی

  $ conda install -c conda-forge scikit-learn

برای ساخت برنامه‌ها با استفاده از scikit-learn، به منابع زیر مراجعه کنید:

• راهنمای توسعه‌دهندگان scikit-learn

Pandas #

pandasیک بسته پایتون است که ساختارهای داده سریع، گسترده و انعطاف‌پذیری را برای ایجاد برنامه‌های تحلیل داده فراهم می‌کند. این بسته از کار با داده‌های رابطه‌ای و برچسب‌گذاری شده با کاربردهای رایج در عملیات زیر پشتیبانی می‌کند:

• برنامه‌های بلادرنگ که از ساختارهای داده مبتنی بر دیکشنری استفاده می‌کنند
• پیش‌پردازش داده‌ها برای برنامه‌های یادگیری ماشینی
• مشاهده داده‌ها به روش‌های مختلف مانند جابجایی‌ها و جداول محوری
• ایمپورت و اکسپورت فرمت‌های مختلف فایل مانند CSV، txt، JSON و غیره

برای نصب پانداس، از یک مدیر بسته مانند Conda یا Pip استفاده کنید.

• Conda:
  کنسولکپی

  $ conda install -c conda-forge pandas

• Pip
  کنسولکپی

  $ pip install pandas

برای استفاده از پانداس، آن را به محیط برنامه خود وارد کنید.

>>> import pandas as pd

برای استفاده از پاندا در سرور ابری نگار نوین ، از منابع زیر دیدن کنید:

• مستندات پانداس

Hugging Face #

Hugging Face یک پلتفرم متن‌باز مبتنی بر جامعه است که میزبان مدل‌ها، مجموعه داده‌ها و برنامه‌های آماده برای استفاده است. Hugging Face Hub مخزن اصلی پلتفرم است که شامل مجموعه بزرگی از مدل‌های یادگیری ماشین و یادگیری عمیق است. با استفاده از این پلتفرم، می‌توانید مدل‌ها، نقاط بررسی و مجموعه داده‌ها را آپلود کنید یا پروژه‌هایی را با استفاده از مدل‌های متن‌باز محبوب مانند Transformers، Diffusers، Datasets و موارد دیگر که در بخش‌های بعدی توضیح داده شده‌اند، بسازید.

Transformers #

Hugging Face Transformers یک بسته یادگیری ماشینی است که برای کار با PyTorch، TensorFlow و Jax طراحی شده است. این بسته ابزارها و APIهایی را با دسترسی به بیش از ۲۵۰۰۰ مدل از پیش آموزش دیده فراهم می‌کند که می‌توانید دانلود کرده و در محیط پروژه خود استفاده کنید. می‌توانید از مدل‌های موجود در پروژه‌هایی مانند موارد زیر استفاده کنید:

• کاربردهای پردازش زبان طبیعی مانند مدل‌سازی زبان، طبقه‌بندی متن و پاسخ به سوالات
• برنامه‌های کاربردی مدل‌های زبان بزرگ (LLM) مانند Falcon و Llama
• کاربردهای بینایی کامپیوتر مانند تشخیص اشیا، قطعه‌بندی و طبقه‌بندی
• راهکارهای چندوجهی مانند تشخیص کاراکتر، طبقه‌بندی ویدیو و پاسخ به سوالات بصری
• ابزارهایی مانند توکن‌سازها، خطوط لوله، مربیان، ابزارهای پیکربندی آموزش، ابزارهای پیش‌پردازش داده‌ها و موارد دیگر

برای پیاده‌سازی Transformers روی سرور NegarNovin Cloud GPU به منابع زیر مراجعه کنید:

• مستندات ترانسفورماتورها

Diffusers #

Diffusers یک کتابخانه Hugging Face است که شامل مدل‌های انتشار از پیش آموزش‌دیده‌ای است که برای انجام وظایف تولید تصویر، صدا و ساختار سه‌بعدی طراحی شده‌اند. این کتابخانه شامل خطوط لوله انتشار، زمان‌بندی‌کننده‌های نویز و مدل‌های از پیش آموزش‌دیده است. معمولاً می‌توانید از کتابخانه Diffusers برای کارهایی مانند موارد زیر استفاده کنید:

• دسترسی به مدل‌های تولید تصویر از پیش آموزش‌دیده مانند انتشار پایدار
• دسترسی به مدل‌های انتشار صوتی از پیش آموزش‌دیده برای تولید صدا
• تنظیم دقیق مدل‌های هوش مصنوعی مولد
• ساخت مدل‌های هوش مصنوعی مولد برای ارائه خدمات با استفاده از یک API

برای پیاده‌سازی پخش‌کننده‌ها در محیط پروژه خود، از منابع زیر دیدن کنید:

• مستندات پخش‌کننده‌ها

Datasets #

Hugging Face Datasets #

مجموعه داده‌های (Hugging Face Datasets) کتابخانه‌ای است که به شما امکان دسترسی و اشتراک‌گذاری مجموعه داده‌های مربوط به وظایف صدا، بینایی کامپیوتر و پردازش زبان طبیعی (NLP) را می‌دهد. این کتابخانه فرآیند خروجی گرفتن و اشتراک‌گذاری مجموعه داده‌ها را برای استفاده در پروژه‌های شما ساده می‌کند. معمولاً می‌توانید از این کتابخانه برای کارهایی مانند موارد زیر استفاده کنید:

• وارد کردن مجموعه داده‌ها برای تنظیم دقیق مدل‌ها
• وارد کردن مجموعه داده‌ها برای آزمایش عملکرد مدل

برای پیاده‌سازی مجموعه داده‌های چهره در آغوش گرفته در پروژه خود، از منابع زیر دیدن کنید:

• مستندات

TensorFlow Datasets #

مجموعه داده‌های TensorFlow کتابخانه‌ای است که شامل مجموعه داده‌های خواندنی برای استفاده (read-to-use) برای چارچوب‌های یادگیری ماشینی پشتیبانی‌شده توسط TensorFlow، Jax، NumPy و … است. این کتابخانه داده‌ها را با ساخت tf.data.Datasetیا آرایه NumPy دانلود و آماده می‌کند np.array. می‌توانید مجموعه داده‌های TensorFlow را در موارد زیر اعمال کنید:

• دسترسی به چندین مجموعه داده عمومی
• داده‌های آموزشی پیش‌پردازش
• ساخت و اشتراک‌گذاری مجموعه داده‌های جدید در TensorFlow Hub

برای نصب کتابخانه TensorFlow Datasets، از مدیر بسته Python Pip استفاده کنید:

$ pip install tensorflow-datasets

برای استفاده از مجموعه داده‌ها، بسته را به محیط برنامه خود وارد کنید:

>>> import tensorflow_datasets as tfds

برای اطلاعات بیشتر، به مستندات مجموعه داده‌های TensorFlow مراجعه کنید .

Plotting and Computer Vision Tools #

Matplotlib #

Matplotlib یک کتابخانه پایتون برای مصورسازی است که برای ایجاد مصورسازی‌های ایستا، متحرک و تعاملی استفاده می‌شود. می‌توانید از این بسته برای موارد زیر استفاده کنید:

• ایجاد نمودارها، چارت‌ها و انیمیشن‌ها
• ایجاد تجسم‌های تعاملی
• تصاویر ایجاد شده را در قالب‌های مختلف صادر کنید

برای نصب Matplotlib، یا از مدیر بسته Python Pip یا Conda استفاده کنید:

• Pip
  کنسولکپی

  $ pip install -U matplotlib

• Conda
  کنسولکپی

  $ conda install matplotlib

برای اطلاعات بیشتر و نحوه استفاده از Matplotlib، به مستندات رسمی مراجعه کنید .

OpenCV #

بینایی کامپیوتر متن‌باز (OpenCV) یک کتابخانه متن‌باز است که شامل صدها الگوریتم بینایی کامپیوتر بهینه شده برای برنامه‌های بلادرنگ است. این کتابخانه از عملیات مبتنی بر GPU پشتیبانی می‌کند و یک رابط API پایتون با ساختار ماژولار ارائه می‌دهد. می‌توانید از OpenCV در وظایف برنامه مانند موارد زیر استفاده کنید:

• تشخیص و شناسایی چهره
• ردیابی شیء
• تشخیص ژست
• واقعیت افزوده (AR)

این cv2بسته، API پایتون OpenCV را برای استفاده در برنامه‌ها ارائه می‌دهد. برای پیاده‌سازی کتابخانه، از منابع زیر دیدن کنید:

• مستندات OpenCV

Pillow #

Pillow شاخه‌ای از کتابخانه تصویربرداری Python Imaging Libary (PIL) است که مفسر پوسته پایتون را با قابلیت‌های اولیه پردازش تصویر بهبود می‌بخشد. این کتابخانه از فرمت‌های فایل مختلف و نمایش داده‌های داخلی پشتیبانی می‌کند. می‌توانید Pillow را در محیط خود برای انجام وظایفی مانند موارد زیر اعمال کنید:

• باز کردن تصاویر با فرمت‌های مختلف
• پیش‌پردازش تصاویر برای مدل‌های یادگیری عمیق
• جابجایی بین فرمت‌های تصویر و آرایه‌های NumPy
• دریافت تصاویر از URL های راه دور

برای نصب Pillow، از مدیر بسته Python Pip استفاده کنید.

$ pip install Pillow

برای استفاده از Pillow در محیط برنامه خود، از منابع زیر دیدن کنید:

• مستندات بالش

مدل‌های تصویر PyTorch (TIMM) #

مدل‌های تصویر PyTorch (TIMM) مجموعه‌ای از مدل‌های تصویر، ابزارها، بهینه‌سازها و مدل‌های تصویر PyTorch است که برای وظایف بینایی کامپیوتر (CV) طراحی شده‌اند. می‌توانید از TIMM برای دسترسی به موارد زیر استفاده کنید:

• لایه‌های شبکه عصبی از پیش پیکربندی شده برای CV
• بهینه‌سازها و زمان‌بندها برای آموزش مدل‌های CV
• توابع پیش‌پردازش داده‌های تصویر
• مدل‌های هوش مصنوعی برای وظایف پردازش تصویر مانند استخراج ویژگی و تشخیص شیء

برای نصب TIMM، تأیید کنید که PyTorch روی سیستم شما موجود است و از مدیر بسته Python Pip برای اضافه کردن TIMM به محیط خود استفاده کنید.

$ pip install timm

برای اطلاعات بیشتر در مورد نحوه استفاده از TIMM، به مستندات رسمی مراجعه کنید .

Albumentations #

Albumentations یک کتابخانه یادگیری ماشینی انعطاف‌پذیر برای تقویت تصویر است که به زبان پایتون نوشته شده است. این کتابخانه از طریق فرآیند تقویت تصویر، از اصلاح تصاویر موجود برای استفاده در کارهایی مانند مدل‌های بینایی کامپیوتر که به چندین تصویر در یک مجموعه آموزشی نیاز دارند، پشتیبانی می‌کند. Albumentations که بر اساس OpenCV ساخته شده است، معمولاً در کارهایی مانند موارد زیر استفاده می‌شود:

• تقویت تصویر با استفاده از تکنیک‌های مختلف برای اصلاح تصاویر اصلی
• تقسیم‌بندی و طبقه‌بندی تصویر
• تشخیص شیء

برای نصب Albumentations در محیط خود، از مدیر بسته Pip استفاده کنید.

$ pip install -U albumentations

برای اطلاعات بیشتر و مثال‌های کاربردی، به مستندات Albumentations مراجعه کنید .

ابزارهای کاربردپذیری #

شتاب دادن #

Accelerate کتابخانه‌ای است که امکان استفاده مجدد از کد موجود PyTorch را در هر پیکربندی توزیع‌شده‌ای فراهم می‌کند. این موضوع هنگام اجرای چندین CPU، GPU یا TPU اهمیت دارد، زیرا همان کد آموزشی PyTorch دوباره استفاده می‌شود و می‌تواند روی هر سیستمی اجرا شود. از این رو، کاربرد اصلی Accelerate این است که کد PyTorch را با قابلیت استفاده مجدد بالا بسازد.

برای نصب Accelerate، از Conda یا مدیر بسته Python Pip استفاده کنید.

• Conda:
  کنسولکپی

  $ conda install -c conda-forge accelerate

• Pip
  کنسولکپی

  $ pip install accelerate

برای دسترسی به نمونه‌های کد Accelerate، به مستندات رسمی مراجعه کنید .

xFormers #

xFormers یک کتابخانه متن‌باز است که قابلیت‌های کتابخانه Hugging Face Transformers را گسترش می‌دهد. این کتابخانه بلوک‌های سازنده قابل تنظیمی را برای ساخت مدل‌های ترانسفورماتور فراهم می‌کند و می‌تواند برای موارد زیر مورد استفاده قرار گیرد:

• سرعت بخشیدن به آموزش مدل‌های ترانسفورماتور و دیفیوزر
• سرعت بخشیدن به فرآیندهای استنتاج، مانند تولید متن و تصویر
• کاهش مصرف حافظه در مدل‌های مبتنی بر ترانسفورماتور
• با بهینه‌سازی بلوک‌های توجه، عملکرد مدل‌های پراکنده‌ساز را افزایش دهید

برای نصب xFormers در محیط خود، از Conda یا Pip استفاده کنید.

• Conda:
  کنسولکپی

  $ conda install xformers -c xformers

• Pip
  کنسولکپی

  $ pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

برای اطلاعات بیشتر در مورد xFormers، به مخزن پروژه مراجعه کنید .

Einops #

Einops یک کتابخانه قدرتمند است که برای مدیریت نمادگذاری عملگرهای تانسوری طراحی شده است. تانسورها بلوک‌های سازنده مدل‌های یادگیری عمیق هستند در حالی که عملیات عددی شامل قوانین ریاضی پیچیده‌ای هستند. متغیرهای تانسوری با بالانویس‌ها، زیرنویس‌ها و سایر مصنوعات نمادگذاری نوشته می‌شوند. این نمادگذاری‌ها همیشه در بین ناشران، بسته‌ها و برنامه‌نویسان مختلف سازگار نیستند، اما می‌توان آنها را با Einops برای انجام وظایفی مانند موارد زیر نرمال‌سازی کرد:

• از قراردادهای نشانه‌گذاری ثابت برای نمایش و عملیات تنسور در NumPy، PyTorch، TensorFlow، JAX و سایر بسته‌های اصلی استفاده کنید.
• اطمینان حاصل کنید که کد مربوط به عملیات تنسور خوانا و بدون خطا است

برای نصب کتابخانه Einops، از مدیر بسته پایتون Pip استفاده کنید.

$ pip install einops

برای اطلاعات بیشتر در مورد نحوه استفاده از Einops، به مستندات رسمی مراجعه کنید .

Evaluate #

Evaluate یک کتابخانه ارزیابی یادگیری ماشین و مجموعه داده‌ها است که امکان بررسی دقیق وظایف پردازش زبان طبیعی (NLP)، بینایی کامپیوتر و یادگیری تقویتی را فراهم می‌کند. این بسته امکان استفاده از یک خط کد را برای ارزیابی مداوم مدل‌ها فراهم می‌کند.

برای نصب Evaluate، از مدیر بسته پایتون Pip استفاده کنید.

$ pip install evaluate

برای اطلاعات بیشتر و نمونه کدها، به مستندات Evaluate مراجعه کنید .

محیط‌های توسعه #

Jupyter Notebook #

ژوپیتر نوت‌بوک یک برنامه وب تعاملی خود-میزبان برای ایجاد و اشتراک‌گذاری اسناد محاسباتی است که ممکن است شامل کد، توضیحات، داده‌های تجسمی، تصاویر یا عناصر کنترلی باشد. این برنامه از زبان‌های برنامه‌نویسی رایج مانند پایتون، جولیا و آر پشتیبانی می‌کند. ژوپیتر نوت‌بوک با استفاده از موارد زیر به شما امکان می‌دهد:

• ایجاد، ویرایش و ذخیره اسناد محاسباتی
• اجرای دستورات و برنامه‌های شخصی
• نوت‌بوک‌های تولید شده را برای همکاری به اشتراک بگذارید

برای نصب Jupyter Notebook روی سیستم خود، از منابع زیر دیدن کنید:

• مستندات نوت‌بوک ژوپیتر

JupyterLab #

ژوپیترلب (JupyterLab) یک محیط توسعه تعاملی (IDE) مبتنی بر وب و مستقل است که از اسناد محاسباتی و توسعه پشتیبانی می‌کند. این IDE از فرمت‌های فایلی مانند CSV، JSON، markdownو غیره پشتیبانی می‌کند و ویژگی‌های سهولت استفاده‌ای مانند موارد زیر را ارائه می‌دهد:

• اشکال‌زدایی بصری و بررسی کد
• باز کردن چندین تب در یک جلسه
• نماهای تقسیم‌شده
• گزینه‌های قالب‌بندی و سفارشی‌سازی

برای نصب و استفاده از JupyterLab، به منابع زیر مراجعه کنید:

• مستندات آزمایشگاه ژوپیتر

نتیجه‌ گیری #

شما بسته‌های رایج یادگیری ماشین و هوش مصنوعی را بررسی کرده‌اید. بسته به نیازهای پروژه شما، کتابخانه‌های زیادی وجود دارد که می‌توانید برای گسترش قابلیت‌های برنامه خود مستقر کنید. برای بهترین عملکرد، توصیه می‌شود بسته‌ها را روی یک نمونه مبتنی بر GPU مانند سرور مجازی پلن آخر نگار نوین اجرا کنید.