اجرای مدل‌های زبانی روی کامپیوتر شخصی با Ollama

چرا مدل را روی کامپیوتر خودمان اجرا کنیم؟

• حریم خصوصی کامل: هیچ داده‌ای از کامپیوتر شما خارج نمی‌شود.
• بدون اینترنت: بعد از دانلود مدل، آفلاین کار می‌کند.
• بدون محدودیت دسترسی و اشتراک: نه ثبت‌نام لازم است، نه پرداخت ماهانه.
• قابل اتصال به برنامه‌های خودتان: از طریق یک API محلی.

البته باید واقع‌بین بود: مدل‌هایی که روی یک لپ‌تاپ معمولی اجرا می‌شوند، به پای قوی‌ترین مدل‌های تجاری نمی‌رسند؛ اما برای خلاصه‌سازی، پاسخ به سؤال، کمک در کدنویسی و کار با اسناد خصوصی بسیار مفیدند.

چه سخت‌افزاری لازم است؟

حافظه RAM (یا VRAM کارت گرافیک)	اندازه مدل مناسب	تجربه
۸ گیگابایت	مدل‌های ۱ تا ۴ میلیارد پارامتری	ساده و سریع، کیفیت متوسط
۱۶ گیگابایت	مدل‌های ۷ تا ۸ میلیارد پارامتری	تعادل خوب کیفیت و سرعت
۳۲ گیگابایت یا بیشتر	مدل‌های ۱۴ تا ۳۲ میلیارد پارامتری	کیفیت بالا، کندتر روی CPU

کارت گرافیک (به‌خصوص انویدیا با حافظه بالا) یا مک‌های دارای تراشه سری M سرعت را چند برابر می‌کنند، اما بدون آن هم مدل‌های کوچک اجرا می‌شوند. Ollama به‌طور پیش‌فرض نسخه‌های کوانتیزه مدل‌ها را دانلود می‌کند که حافظه بسیار کمتری می‌گیرند.

مرحله ۱: نصب Ollama

• ویندوز و مک: فایل نصب را از سایت رسمی ollama.com دانلود و اجرا کنید.
• لینوکس: در ترمینال اجرا کنید:

curl -fsSL https://ollama.com/install.sh | sh

برای اطمینان از نصب:

ollama --version

مرحله ۲: دانلود و اجرای اولین مدل

ollama run qwen3:8b

این دستور مدل را دانلود (فقط بار اول) و یک گفت‌وگوی متنی در ترمینال باز می‌کند. برای خروج بنویسید /bye.

چند مدل پیشنهادی برای شروع:

مدل	دستور	مناسب برای
Qwen3 8B	ollama run qwen3:8b	همه‌منظوره، فارسی قابل قبول
Llama 3.2 3B	ollama run llama3.2:3b	سیستم‌های ضعیف، پاسخ سریع
DeepSeek-R1 8B	ollama run deepseek-r1:8b	استدلال، ریاضی
Gemma 3	ollama run gemma3	مدل باز گوگل، چندزبانه

فهرست کامل مدل‌ها در کتابخانه Ollama آمده است. هر مدل را می‌توانید با ollama list ببینید و با ollama rm نام-مدل حذف کنید.

مرحله ۳: رابط گرافیکی شبیه ChatGPT

اگر کار با ترمینال برایتان راحت نیست:

• LM Studio: برنامه دسکتاپ کامل با رابط گرافیکی برای جستجو، دانلود و گفت‌وگو با مدل‌ها (بدون نیاز به Ollama).
• Open WebUI: رابط وب حرفه‌ای که به Ollama وصل می‌شود؛ امکان بارگذاری سند و چند کاربر دارد. برای راه‌اندازی دستیار داخلی یک شرکت ایده‌آل است.

مرحله ۴: اتصال به برنامه‌های خودتان

Ollama پس از نصب یک API روی آدرس http://localhost:11434 در اختیارتان می‌گذارد:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "سه نکته برای نوشتن ایمیل اداری بگو",
  "stream": false
}'

Ollama یک API سازگار با OpenAI هم روی مسیر /v1 دارد؛ بنابراین بسیاری از برنامه‌ها و کتابخانه‌هایی که برای ChatGPT نوشته شده‌اند، با تغییر آدرس سرور به مدل محلی شما وصل می‌شوند.

نکته‌های کاربردی

1. برای فارسی مدل‌های بزرگ‌تر نتیجه بسیار بهتری می‌دهند؛ اگر حافظه کافی دارید، نسخه ۱۴ میلیاردی به بالا را امتحان کنید.
2. مجوز هر مدل را بخوانید، به‌خصوص اگر استفاده تجاری دارید. مقایسه مجوزها را در مقایسه مدل‌های وزن‌باز ببینید.
3. سرعت پایین؟ مدل کوچک‌تر یا نسخه کوانتیزه‌تر را امتحان کنید و برنامه‌های سنگین دیگر را ببندید.
4. برای پرسش از اسناد خودتان از تکنیک RAG استفاده کنید؛ Open WebUI این کار را بدون برنامه‌نویسی انجام می‌دهد.