شرکتی چینی رقیب هوش مصنوعی GPT-4 را با تنها ۲ هزار پردازنده گرافیکی توسعه داد

کای-فو لی، بنیان‌گذار و مدیرعامل استارتاپ ai.01 در مصاحبه‌ای اعلام کرد که شرکتش یکی از مدل‌های هوش مصنوعی پیشرفته‌ی خود را با استفاده از دو هزار پردازنده‌ی گرافیکی و تنها با سه میلیون دلار آموزش داده است.

در ویدیوی منتشرشده در ایکس، کای-فو لی گفت: «چیزی که دوستان من در سیلیکون‌ولی را شگفت‌زده می‌کند عملکرد ما نیست، بلکه این است که ما مدل را تنها با سه میلیون دلار آموزش داده‌ایم؛ در حالی که GPT-4 با هزینه‌ای بالغ‌بر ۸۰ تا ۱۰۰ میلیون دلار آموزش دیده و شایعه شده است که GPT-5 با هزینه‌ای حدود یک میلیارد دلار آموزش داده می‌شود.»

مدیر ai.01 به محدودیت‌های دسترسی چین به فناوری‌های روز دنیا مانند پردازنده‌های گرافیکی پرقدرت انویدیا که قلب تپنده‌ی بسیاری از سرورهای هوش مصنوعی را تشکیل می‌دهند اشاره کرد و افزود: «به‌عنوان یک شرکت چینی، دسترسی ما به GPUها به دلیل تحریم‌های ایالات متحده محدود است. علاوه‌بر این، شرکت‌های چینی به اندازه‌ی شرکت‌های آمریکایی ارزش‌گذاری نمی‌شوند.»

کای-فو لی می‌گوید که تیم او فقط دو هزار پردازنده‌ی گرافیکی در دست داشتند تا بتوانند مدل هوش مصنوعی خود را توسعه دهند و خود او می‌باید اولویت‌بندی‌های درستی را به‌عنوان مدیرعامل انجام می‌داد. طبق فهرست موجود در وب‌سایت ai.01، مدل Yi-Lightning در رتبه‌ی ششم براساس معیار عملکرد LMSIS در دانشگاه برکلی قرار دارد.

دستاورد استارتاپ چینی به‌دلیل کاهش خیره‌کننده‌ی هزینه‌ها قابل توجه است. تفاوت چشمگیر نشان می‌دهد که دستیابی به قابلیت‌های پیشرفته‌ی AI، همیشه نیاز به بودجه‌های کلان ندارد و مهندسی دقیق و بهینه‌سازی هدفمند می‌تواند نتایج مشابهی را با هزینه و منابع محاسباتی کمتر به بار آورد.

گفته می‌شود که OpenAI برای آموزش مدل GPT-3 خود از ۱۰ هزار پردازنده‌ی گرافیکی A100 انویدیا استفاده کرده و برای آموزش مدل‌های GPT-4 و GPT-4o از تعداد بسیار بیشتری پردازنده‌ی H100 بهره برده است. قیمت هر پردازنده‌ی H100 حدود ۳۰ هزار دلار است و هزینه‌ی دو هزار عدد از آن‌ها ۶ میلیون دلار خواهد بود. بنابراین به‌نظر می‌رسد چینی‌ها از پردازنده‌های ارزان‌تری استفاده کرده‌اند.

کای-فو لی افزود: «ما باید روند آموزش و استنتاج مدل را تسریع می‌کردیم. بنابراین، استنتاج ما به گونه‌ای طراحی شده است که تنگناها را با تلاش برای تبدیل مسئله‌ی محاسباتی به مسئله‌ی حافظه‌ای، ساخت کش چندلایه، ایجاد یک موتور استنتاج خاص و موارد دیگر در کل فرآیند شناسایی کند. اما نکته‌ی اصلی این است که هزینه‌ی استنتاج مدل ما ۱۰ سنت به‌ازای هر میلیون توکن است (هزینه‌ی هر ۱٬۰۰۰ توکن در GPT-4 به ۰٫۰۳ دلار می‌رسد).»