هوش مصنوعی چندوجهی

Multimodal چیست؟

Multimodal AI یعنی هوش مصنوعی که می‌تواند چند نوع ورودی را همزمان پردازش کند: متن، تصویر، صدا، و حتی ویدیو. انسان‌ها به طور طبیعی Multimodal هستند — ما می‌بینیم، می‌شنویم، می‌خوانیم و همه این‌ها را با هم می‌فهمیم. یک مدل Multimodal هم همین کار را می‌کند.

تصور کنید کاربری یک عکس از یک گیاه می‌فرستد و می‌پرسد: «این گیاه چیست و چطور از آن مراقبت کنم؟» یک مدل متنی ساده نمی‌تواند عکس را ببیند. اما مدل Multimodal عکس را تحلیل می‌کند، نوع گیاه را تشخیص می‌دهد، و راهنمایی متنی ارائه می‌دهد. این ترکیب بینایی + زبان قدرت اصلی Multimodal است.

مدل‌های Multimodal

مدل‌های بینایی (Vision Models)

مدل‌های تولید تصویر (Image Generation)

آموزش مدل‌های Multimodal

حالا که ۱۰۰ مدل متنی داریم، می‌خواهیم ۵۰ مدل Multimodal اضافه کنیم: ۱۵ مدل تصویری، ۱۰ مدل صوتی، و ۵ مدل ترکیبی. با همان روش LoRA و آموزش موازی روی ۴ سرور، این کار ۳.۵ ماه طول می‌کشد.

معماری نهایی Multimodal

جمع‌بندی

با اضافه شدن ۵۰ مدل Multimodal به ۱۰۰ مدل متنی، سیستم ما حالا ۱۳۰ Expert دارد که می‌توانند متن، تصویر و صدا را پردازش کنند. پارامتر کل سیستم به ۱ تریلیون نزدیک می‌شود — اما در هر سؤال فقط ۱۴-۲۸ میلیارد پارامتر فعال می‌شوند.

این سیستم حالا می‌تواند:

• 📝 متن را بفهمد و تولید کند (۱۰۰ مدل)
• 👁️ تصویر را ببیند و تحلیل کند (۱۵ مدل)
• 👂 صدا را بشنود و تولید کند (۱۰ مدل)
• 🔮 همه را ترکیب کند (۵ مدل)