فرادید پست

رسیدن به Dense Model

فشرده‌سازی دانش ۱۳۰ مدل تخصصی در یک مدل یکپارچه — از Sparse به Dense

بخش اول

چرا Dense؟

وقتی یک مدل یکپارچه بهتر از ۱۳۰ مدل پراکنده است

تاکنون سیستمی با ۱۳۰ مدل تخصصی ساخته‌ایم — ۱۰۰ مدل متنی، ۱۵ مدل تصویری، ۱۰ مدل صوتی و ۵ مدل ترکیبی. این سیستم Sparse (تنک) با معماری MoE کار می‌کند و فقط ۲-۴ مدل را برای هر سؤال فعال می‌کند. اما یک مشکل دارد: پیچیدگی مدیریت. ۱۳۰ مدل یعنی ۱۳۰ بار به‌روزرسانی، ۱۳۰ بار بکاپ‌گیری، و ۱۳۰ بار مانیتورینگ.

Dense Model همه این دانش را در یک مدل یکپارچه جمع می‌کند. به‌جای ۱۳۰ فایل جداگانه، یک فایل ۷-۱۴ گیگابایتی. به‌جای ۱۳۰ بار به‌روزرسانی، یک بار. به‌جای Router پیچیده، یک مدل ساده. این سادگی برای استقرار در موبایل، Edge و API ارزان حیاتی است.

ویژگی	Sparse (۱۳۰ مدل)	Dense (۱ مدل)
حافظه	۹۱۰ گیگابایت	۷-۱۴ گیگابایت
سرعت استنتاج	کند	سریع
GPU لازم	۱۹۲ گیگابایت	۱۶-۳۲ گیگابایت
مدیریت	پیچیده	ساده
قابل حمل	❌	✅ موبایل و Edge

بخش دوم

Knowledge Distillation

روش اصلی: انتقال دانش از Teacher به Student

Knowledge Distillation (تقطیر دانش) روشی است که در آن یک مدل بزرگ و قدرتمند (Teacher) به یک مدل کوچک‌تر (Student) آموزش می‌دهد. Teacher ها همان ۱۳۰ مدل تخصصی ما هستند و Student یک Dense Model جدید است.

فرآیند کار ساده است: Teacher ها به هزاران سؤال پاسخ می‌دهند و Student از این پاسخ‌ها یاد می‌گیرد. Student سعی می‌کند تقلید کند — نه فقط پاسخ نهایی، بلکه الگوی فکری Teacher را. نتیجه: دانش ۱۳۰ مدل در یک مدل جمع می‌شود.

🔄 فرآیند Distillation

👨‍🏫

۱. Teacher ها (۱۳۰ مدل)

هر Teacher به هزاران سؤال در حوزه تخصصی خود پاسخ می‌دهد

📊

۲. جمع‌آوری پاسخ‌ها

پاسخ‌های Teacher ها به عنوان داده آموزشی ذخیره می‌شود

🎓

۳. Student (Dense Model)

Student از پاسخ‌های Teacher ها یاد می‌گیرد — تقلید می‌کند

💾

۴. Dense Model نهایی

یک مدل یکپارچه با دانش همه Teacher ها

✅ نتیجه: Dense Model نهایی معمولاً ۸۰-۹۵٪ کیفیت Teacher ها را دارد — اما با یک‌صدم اندازه. دانش ۱۳۰ مدل در یک فایل ۷-۱۴ گیگابایتی.

بخش سوم

Linear Fusion

روش تکمیلی: ترکیب خطی Embedding ها

روش دوم برای رسیدن به Dense، Linear Fusion است. در این روش، خروجی‌های مدل‌های مختلف (Embedding ها) با یک لایه خطی ترکیب می‌شوند. هر مدل یک بردار عددی (Embedding) تولید می‌کند که معنای ورودی را نشان می‌دهد — این بردارها با هم جمع و به یک فضای مشترک تبدیل می‌شوند.

combined = Linear([text_embedding, image_embedding, audio_embedding])

این روش مخصوصاً برای Multimodal مفید است: متن یک Embedding ۵۱۲ بعدی تولید می‌کند، تصویر یک Embedding ۷۶۸ بعدی، و صدا یک Embedding ۲۵۶ بعدی. Linear Fusion این سه را به یک بردار ۵۱۲ بعدی مشترک تبدیل می‌کند که Dense Model از آن استفاده می‌کند.

🔗 تفاوت Distillation و Fusion: Distillation دانش را از طریق پاسخ‌ها منتقل می‌کند (Student از Teacher تقلید می‌کند). Linear Fusion دانش را از طریق بردارهای عددی ترکیب می‌کند (Embedding ها با هم ادغام می‌شوند). بهترین نتیجه با ترکیب هر دو روش به دست می‌آید.

بخش چهارم

فرآیند کامل

از ۱۳۰ مدل به ۱ Dense — مرحله به مرحله

مرحله	کار	زمان
۱	تولید پاسخ از ۱۳۰ Teacher	۱-۲ هفته
۲	آموزش Student با Distillation	۲-۳ هفته
۳	Linear Fusion برای Multimodal	۱ هفته
۴	تست و بهینه‌سازی	۱ هفته
جمع	Dense Model نهایی	۵-۷ هفته

⚠️ نکته مهم: Dense Model نهایی هرگز ۱۰۰٪ کیفیت Sparse را ندارد — چون فشرده‌سازی همیشه مقداری اطلاعات را از دست می‌دهد. اما مزیت‌های آن (سرعت، سادگی، قابلیت حمل) معمولاً ارزش این افت کیفیت ۵-۲۰٪ را دارد.

بخش پنجم

جمع‌بندی

یک مدل، همه دانش

با Distillation و Linear Fusion، دانش ۱۳۰ مدل تخصصی در یک Dense Model جمع می‌شود. این مدل:

📦 فقط ۷-۱۴ گیگابایت فضا می‌گیرد
⚡ روی ۱ GPU اجرا می‌شود
📱 قابل حمل روی موبایل و Edge است
💾 مدیریتش ساده است

در مقاله بعدی، به سراغ Evolutionary AI می‌رویم — جایی که Dense Model ها با هم ترکیب می‌شوند تا نسل‌های جدیدتر و باهوش‌تری بسازند.

🧬

گام بعدی: تکامل

حالا که Dense داریم، می‌توانیم چند Dense بسازیم و آن‌ها را ترکیب کنیم — تا به نسل بعدی هوش مصنوعی برسیم.