وقتی مدل هوش مصنوعی روی ویندوز ۹۸ و سیستم پنتیوم ۲ با ۱۹۸ مگابایت رم اجرا می‌شود!
گروه EXO Labs با انتشار پست وبلاگی مفصلی تشریح کرد که چگونه می‌توان یک مدل زبان بزرگ (LLM) مانند لاما را روی یک کامپیوتر قدیمی با سیستم‌عامل ویندوز ۹۸ و پردازنده‌ی پنتیوم II اجرا کرد. پروژه‌ی گروه EXO Labs، در ویدیویی کوتاه در شبکه‌های اجتماعی به نمایش درآمد و نشان داد، کامپیوتر ۲۶ ساله، با پردازنده‌ی ۳۵۰ مگاهرتزی و ۱۲۸ مگابایت رم، قادر به تولید محتوای جالب با سرعت ۳۵٫۹ توکن در ثانیه است.
گروه EXO Labs در سپتامبر ۲۰۲۳ (شهریور ۱۴۰۲) به‌طور رسمی فعالیت خود را آغاز کرد. این گروه می‌خواهد دسترسی به هوش مصنوعی را برای عموم مردم ممکن کند. اعضای گروه، که شامل دانشمندان و مهندسان دانشگاه آکسفورد هستند، نسبت به تسلط چند شرکت بزرگ بر فناوری‌های AI نگران‌اند و باور دارند که کنترل اکثریت منابع هوش مصنوعی روی فرهنگ و حقیقت جامعه تأثیر مخربی دارد؛ به همین دلیل، آن‌ها به دنبال ایجاد زیرساخت‌های باز برای آموزش مدل‌های پیشرفته و امکان‌پذیر کردن اجرای مدل‌ها روی دستگاه‌های مختلف هستند.
پروژه‌ی گروه EXO Labs با یافتن کامپیوتر قدیمی Pentium II در eBay شروع شد. انتقال داده‌ها به کامپیوتر مذکور، از طریق پروتکل FTP انجام شد. سپس، گروه از کد Llama2.c که آندره کارپاتی، متخصص هوش مصنوعی و یکی از اعضای مؤسس OpenAI، آن را نوشته بود، استفاده کرد و توانست این کد را به یک برنامه‌ی اجرایی مناسب برای ویندوز ۹۸ تبدیل کند.
الکس چیما، یکی از اعضای EXO، به بهبود عملکرد کد و سرعت تولید ۳۵٫۹ توکن در ثانیه اشاره کرد که نشان‌دهنده‌ی قابلیت‌های قابل توجه این نرم‌افزار حتی روی سخت‌افزار قدیمی است. اگرچه مدل ۲۶۰K LLM که EXO اجرا کرد نسبتاً کوچک به‌نظر می‌رسد، اما استفاده از مدل‌های بزرگ‌تر سرعت تولید را به‌صورت قابل توجهی کاهش می‌دهد. برای مثال، عملیات اجرا با مدل ۱۵ میلیون پارامتری، سرعتی کمی بیش از ۱ توکن در ثانیه داشت. همچنین، اجرا روی مدل یک میلیارد پارامتری به سرعت بسیار پایینی معادل ۰٫۰۰۹۳ توکن در ثانیه رسید.
گروه EXO امیدوار است در آینده و با استفاده از معماری BitNet، دسترسی به هوش مصنوعی را برای کاربران آسان‌تر کند. BitNet از وزن‌های سه‌گانه بهره می‌برد و برای مدل ۷ میلیارد پارامتری تنها به ۱٫۳۸ گیگابایت فضای ذخیره‌سازی نیاز دارد.
ویژگی‌های مورد بحث، BitNet را به گزینه‌ای مناسب برای سخت‌افزارهای قدیمی و کم‌هزینه تبدیل می‌کند، به‌ویژه اینکه مدل‌هایی مانند BitNet نیاز به GPU گران‌قیمت را کاهش می‌دهند.