ادعای ایلان ماسک: هوش مصنوعی Grok 3 به ۱۰۰ هزار پردازنده H100 نیاز دارد
ایلان ماسک، مدیرعامل تسلا و بنیان‌گذار xAI، پیش‌بینی‌های جسورانه‌ای در مورد توسعه‌ی هوش جامع مصنوعی (AGI) و چالش‌های پیش‌روی این صنعت ارائه کرد. ازنظر او، AGI می‌تواند به‌زودی و تا سال ۲۰۲۶ از هوش انسان پیشرفته‌تر شود، اما برای آموزش فناوری مذکور به تعداد بسیار زیادی پردازنده و درنتیجه برق بسیار زیادی نیاز داریم.
به‌نوشته‌ی رویترز، شرکت xAI متعلق‌به ماسک درحال‌حاضر مشغول آموزش نسخه‌ی دوم مدل زبانی بزرگ خود با نام گراک (Grok) است و انتظار دارد فاز بعدی آموزش را تا ماه می ۲۰۲۴ (اردیبهشت و خرداد ۱۴۰۳) تکمیل کند.
برای آموزش نسخه‌ی دوم گراک حدود ۲۰ هزار گرافیک انویدیا H100 استفاده شده است و ماسک پیش‌بینی می‌کند که نسخه‌های بعدی به منابع بسیار بیشتری نیاز خواهند داشت، به‌طوری‌که گراک ۳ برای آموزش به حدود ۱۰۰ هزار پردازنده‌ی انویدیا H100 نیاز دارد.
به گفته‌ی ماسک، پیشرفت فناوری هوش مصنوعی را دو مانع مهم محدود کرده‌اند: کمبود عرضه‌ی پردازنده‌های پیشرفته مانند انویدیا H100 و دردسترس بودن برق.
هر پردازنده‌ی گرافیکی انویدیا H100 درحالت استفاده‌ی کامل حدود ۷۰۰ وات انرژی مصرف می‌کند، بنابراین ۱۰۰ هزار واحد از این پردازنده برای آموزش هوش مصنوعی و محاسبات سنگین (HPC) می‌توانند تا ۷۰ مگاوات انرژی مصرف کنند که عدد بسیار چشم‌گیری محسوب می‌شود.
با درنظرگرفتن سرورها و سیستم‌های خنک‌کننده‌ی مورد نیاز برای پردازنده‌ها، می‌توان گفت هر دیتاسنتر با ۱۰۰ هزار پردازنده‌ی H100 حدود ۱۰۰ مگاوات انرژی مصرف خواهد کرد که با مصرف انرژی یک شهر کوچک برابری می‌کند.
با‌وجود چالش‌های موجود در مسیر توسعه‌ی هوش مصنوعی، پیشرفت‌های به‌دست آمده در معماری محاسبات و حافظه، امکان آموزش مدل‌های زبانی بسیار بزرگ‌تر را طی سال‌های آینده فراهم خواهد کرد.
انویدیا در GTC 2024 از معماری بلک‌ول و پردازنده‌ی گرافیکی B200 رونمایی کرد که برای تأمین نیازهای پردازشی آموزش مدل‌های زبان بزرگ با تریلیون‌ها پارامتر طراحی شده است. این معماری می‌تواند نقش مهمی در توسعه‌ی AGI ایفا کند.
ماسک باور دارد سال آینده یا دو سال آینده هوش مصنوعی باهوش‌تر از انسان ظهور خواهد کرد. او در مصاحبه‌ای گفت: «اگر AGI را هوشمندتر از باهوش‌ترین انسان تعریف کنید، فکر می‌کنم احتمالاً طی یک یا دو سال آینده به چنین سطحی خواهیم رسید.»