این «پردازنده ۹۰۰ هزار هسته‌ای» رؤیای هوش مصنوعی فوق پیشرفته را واقعی می‌کند

شرکت Cerebras نسل سوم پردازنده‌ی WSE را با دوبرابر عملکرد بهتر نسبت‌به نسل قبل رونمایی کرد. براساس گزارش تامز‌هاردور، این پردازنده متشکل از ۴ تریلیون ترانزیستور است و بر پایه‌ی لیتوگرافی ۵ نانومتری TSMC ساخته شده.

پردازنده‌ی WSE-3، دارای ۹۰۰٬۰۰۰ هسته‌ی هوش مصنوعی، ۴۴ گیگابایت حافظه و حداکثر قدرت ۱۲۵ پتافلاپس در فرمت FP16 است و برای تعلیم برخی از بزرگ‌ترین مدل‌های هوش مصنوعی استفاده خواهد شد.

پردازنده‌ی WSE-3 قلب تپنده‌ی ابرکامپیوتر CS-3 است که برای تعلیم مدل‌های هوش مصنوعی تا حداکثر ۲۴ تریلیون پارامتر استفاده می‌شود که یک جهش بزرگ نسبت‌به ابرکامپیوترهای مجهزبه پردازنده‌ی WSE-2 و دیگر پردازنده‌های هوش مصنوعی مدرن است.

ابرکامپیوتر CS-3 می‌تواند از ۱٫۵ ترابایت، ۱۲ ترابایت یا ۱٫۲ پتابایت حافظه‌ی خارجی پشتیبانی کند که این امکان را ایجاد می‌کند تا مدل‌های عظیم را در یک فضای منطقی واحد بدون پارتیشن‌بندی یا تغییر فاکتور ذخیره کند؛ در نتیجه فرآیند تعلیم را ساده‌تر می‌کند و بازده‌ عملکرد توسعه‌دهنده را افزایش می‌دهد.

در زمینه‌ی مقیاس‌پذیری، ابر کامپیوتر CS-3 را می‌توان در کلاسترهایی با حداکثر ۲٬۰۴۸ سیستم قرار داد. این میزان از مقیاس‌پذیری باعث می‌شود که بتوان مدل‌های هوش مصنوعی ۷۰ میلیارد پارامتری را در تنها یک روز با استفاده از سیستم متشکل‌از چهار ابرکامپیوتر CS-3 بهینه کرد. به‌علاوه در همین بازه‌ی زمانی می‌توان مدل ۷۰ میلیارد پارامتری Llama را به‌طور کامل تعلیم داد.

جدیدترین فریم‌ورک نرم‌افزاری Cerebras پشتیبانی بومی از یادگیری ماشین متن‌باز PyTorch 2.0 را ارائه می‌دهد. همچنین ابرکامپیوتر CS-3 تعلیم مدل‌های زبان بزرگ (LLM) را ساده‌تر می‌کند و در مقایسه با پردازنده‌های گرافیکی تا ۹۷ درصد کد کمتری نیاز دارد. طبق گفته‌ی شرکت، یک مدل با اندازه‌ی GPT-3 تنها به ۵۶۵ خط کد روی پلتفرم Cerebras نیاز دارد.

ابرکامپیوتر CS-3 تعداد قابل توجهی سفارش از سازمان‌ها، دولت‌ها و ارائه‌دهندگان بین‌المللی خدمات ابری دریافت کرده است. این شرکت همچنین با مؤسساتی مانند آزمایشگاه ملی آرگون و کلینیک مایو همکاری می‌کند. این رویکرد پتانسیل ابرکامپیوتر جدید را در زمینه‌‌ی مراقبت‌های بهداشتی برجسته خواهد کرد.

طی همکار‌ای Cerebras با شرکت G42، ساخت ابرکامپیوتر هوش مصنوعی Condor Galaxy 3 با ۶۴ سیستم CS-3 (۵۷٬۶۰۰٬۰۰۰ هسته) نیز شروع شده است.

درحال حاضر Cerebras و G42 دو مورد از بزرگ‌ترین ابرکامپیوترهای هوش مصنوعی در جهان یعنی Condor Galaxy 1 (CG-1) و Condor Galaxy 2 (CG-2) را ایجاد کرده‌اند که در کالیفرنیا مستقر و دارای قدرت ترکیبی ۸ اگزافلاپس هستند. هدف این مشارکت، ارائه‌ی ده‌ها اگزافلاپس قدرت محاسباتی هوش مصنوعی در سطح جهان است.