فرادید پست

این مقاله «هوش مصنوعی تکاملی — نسل‌های متوالی مدل‌ها» نشان می‌دهد که چگونه با ترکیب چند Dense Model، نسل‌های جدیدتری ساخته می‌شود که هر کدام از نسل قبل باهوش‌تر است و می‌تواند به‌تدریج از مدل ۷ میلیاردی به ۱۷۵ میلیاردی و فراتر برسد تا به کیفیتی نزدیک GPT-4 دست یابد.

این مقاله «رسیدن به Dense Model — فشرده‌سازی دانش» نشان می‌دهد که چگونه می‌شود دانش ۱۳۰ مدل تخصصی را با روش تقطیر دانش و ترکیب خطی در یک مدل یکپارچه کوچک و سریع خلاصه کرد.

این مقاله «هوش مصنوعی چندوجهی — متن، تصویر و صدا» به گسترش سیستم هوش مصنوعی از مدل‌های متنی به مدل‌های بینایی و شنیداری می‌پردازد و توضیح می‌دهد که با افزودن ۱۵ مدل تصویری مانند LLaVA و Stable Diffusion، ده مدل صوتی و پنج مدل ترکیبی به ۱۰۰ مدل متنی قبلی، یک سیستم یکپارچه با ۱۳۰ متخصص ساخته می‌شود که می‌تواند متن، تصویر و صدا را همزمان پردازش کند و در هر سؤال فقط ۱۴ تا ۲۸ میلیارد پارامتر فعال می‌ماند.

این مقاله «آموزش ۱۰۰ مدل 7B — از داده تخصصی تا مسیریاب» راهنمای عملی ساخت یک سیستم MoE کامل است که با تهیه داده تخصصی برای هر یک از ۱۰۰ مدل — شامل ۳۰ مدل زبان و ۷۰ مدل تخصص دانشگاهی — آغاز می‌شود، سپس آموزش موازی روی ۴ سرور با روش LoRA را توضیح می‌دهد که زمان آموزش هر مدل را از ۴ هفته به ۳ تا ۵ روز کاهش می‌دهد و ۱۰۰ مدل را در ۶ ماه آماده می‌کند، بعد از آن آموزش Router را با ۱۰ هزار نمونه برچسب‌خورده برای مسیریابی هوشمند سؤالات شرح می‌دهد، در ادامه ذخیره‌سازی ۷۰۰ گیگابایتی مدل‌ها روی Storage و سرویس‌دهی با تنها ۱ سرور را نشان می‌دهد، و در پایان نتیجه می‌گیرد که این سیستم با ۷۰۰ میلیارد پارامتر کل و فعال‌سازی فقط ۱۴ تا ۲۸ میلیارد پارامتر در هر سؤال، کیفیتی نزدیک به GPT-4 با یک‌دهم هزینه ارائه می‌دهد.

این مقاله «مفاهیم بنیادی هوش مصنوعی — از Dense تا MoE» به زبان ساده توضیح می‌دهد که مدل‌های زبانی بزرگ چیستند و چرا معماری آن‌ها از سادگیِ Dense به هوشمندیِ MoE رسیده است؛ در ابتدا مدل Dense معرفی می‌شود که در آن همه پارامترها برای هر سؤال فعال می‌شوند و همین موضوع باعث اتلاف منابع و نیاز به ده‌ها سرور می‌گردد، سپس معماری Sparse و MoE توضیح داده می‌شود که در آن چندین متخصص تخصصی با یک مسیریاب هوشمند فقط در صورت نیاز فعال می‌شوند و نتیجه می‌گیرد که با ۱۰۰ مدل 7B می‌توان به کیفیت نزدیک GPT-4 با هزینه‌ای بسیار کمتر و تنها با ۴ سرور دست یافت.

این مقاله «انتخاب سرورهای AI — از پردازنده تا GPU» راهنمای کاملی برای پیکربندی سرور هوش مصنوعی است که با معرفی پردازنده‌های Xeon و EPYC و پیشنهاد دو عدد Xeon Gold با ۵۶ هسته آغاز می‌شود، سپس GPU را به‌عنوان موتور اصلی آموزش بررسی کرده و با توجه به محدودیت‌های ایران، کارت L40S با ۴۸ گیگابایت حافظه را بهترین گزینه واقع‌بینانه معرفی می‌کند، در ادامه حافظه RAM را دو برابر حافظه GPU و ذخیره‌سازی NVMe با سرعت ۷ گیگابایت بر ثانیه را ضروری می‌داند، و در پایان پیکربندی کامل سرور DL380 Gen12 با دو پردازنده، چهار GPU، نیم ترابایت RAM و هشت NVMe با RAID 10 و هزینه تقریبی ۲ تا ۳ میلیارد تومان برای هر سرور ارائه می‌شود.

این مقاله «اتاق سرور از صفر تا صد» یک راهنمای کامل برای راه‌اندازی زیرساخت فیزیکی هوش مصنوعی است که از انتخاب فضای ۳۰ تا ۵۰ متری با سقف مناسب و امنیت فیزیکی شروع می‌شود، سپس به رک‌بندی استاندارد 42U و چیدمان گرم و سرد می‌پردازد، سرمایش را با محاسبه بار حرارتی ۱۴ تا ۲۶ کیلووات و پیشنهاد داکت اسپلیت ۳۰ هزار BTU همراه با کنترل رطوبت ۴۰ تا ۵۵ درصد بررسی می‌کند، برق اضطراری را با زنجیره UPS آنلاین ۵۰ کیلووات، ژنراتور گازسوز ۷۲ کاوا و مخزن ۱۰۰۰ لیتری LPG تضمین می‌نماید، و در نهایت لیست کامل ۱۴ قلم تجهیزات با برآورد هزینه ۲.۵ تا ۵ میلیارد تومان را ارائه می‌دهد تا اتاق سرور به‌عنوان زیربنای مقالات بعدی یعنی انتخاب سرورهای AI آماده شود.

چگونه تمدن‌ها در لبه آشوب خود را بازآفرینی می‌کنند...

چرا فرگشت به‌تنهایی تمدن‌ساز نیست...

تحلیل شش‌عاملی بقا و سرمایه‌گذاری در اکوسیستم دامنه‌های اینترنتی تحت شرایط تحریم...