بررسی سیستم جدید یادگیری عمیق IBM
کمپانی IBM طی هفته‌ی گذشته از روش جدیدی پرده برداشت که قرار است به‌طور قابل توجهی زمان یادگیری را برای سیستم‌های یادگیری توزیع‌شده (DDL) کاهش دهد. این تکنیک با استفاده از شمار زیادی سخت‌افزار قوی، می‌تواند به انجام این وظیفه کمک کند. طرز کار روش جدید، بر پایه‌ی بهینه‌سازی تبادل داده میان اجزای سخت‌افزاری بنا می‌شود که یک شبکه‌ی عصبی یادگیری عمیق روی آن در حال اجرا است.
موضوع اصلی که آی‌بی‌ام در فرایند جدید خود قصد مقابله با آن و حلش را داشته، مربوط به مقاطع کندکننده‌ای است که در شبکه‌بندی سیستم‌های یادگیری توزیع‌شده وجود دارند. درحالی‌که گسترش دادن بارگذاری‌های محاسباتی برای تمرین دادن یک شبکه‌ی عصبی یادگیری عمیق روی بسیاری کامپیوترها وجود دارد؛ باید توجه کنیم که بازده این فرایندها در حالت متداول، رفته‌رفته کمتر می‌شود و دلیل آن، اتصال‌های با تأخیر بالایی است که میان سخت‌افزارهای انجام‌دهنده‌ی محاسبات در دنیای واقعی وجود دارد.
یک کتابخانه‌ی ارتباطی جدید با عنوان PowerAI DDL در ارتباط با یک مقاله‌ی پژوهشی تشریحی به‌تازگی منتشر شده است. هدف از انتشار چنین سیستمی، تقویت بازده با حصول اطمینان از این نکته است که آیا تمامی سیستم‌های در حال کار در یک پروسه، از تمامی ظرفیت اتصالات با عملکرد بالای خودشان بهره می‌برند یا خیر.
کمپانی آی‌بی‌ام با استفاده از کتابخانه‌ی PowerAI DDL، توانسته است شبکه‌ی عصبی محبوب Resnet-50 را روی مجموعه‌ی داده‌ی ImageNet در مدت‌زمان ۵۰ دقیقه تمرین دهد. این کار با استفاده از ۶۴ سرور انجام شد و هر یک از این سرورها دارای چهار واحد پردازش گرافیکی بودند.
کمپانی‌هایی با سخت‌افزار کافی واقعا می‌توانند از ظرفیت‌های PowerAI DDL بهره ببرند و شاهد تقویت‌های چشمگیری باشند که در عملکرد آن‌ها ایجاد می‌شود و اصلی‌ترین تفاوت، مربوط به مدت‌زمانی می‌شود که دانشمندان این کمپانی‌ها برای اجرای فرایندهای مشخص صرف می‌کنند. طبیعتا اگر آزمایش‌ها سریع‌تر اجرا شوند، دانشمندان خواهند توانست شمار بیشتری آزمایش انجام دهند و این موضوع در ادامه باعث حصول نتایج بهتر خواهد شد.
کتابخانه‌ی ارتباطی آی‌بی‌ام به‌عنوان بخشی از بسته‌ی نرم‌افزاری PowerAI منتشر شده است و به دانشمندان فعال در حوزه‌ی داده و همین‌طور به مهندسان این زمینه امکان می‌دهد که وظایف مربوط به یادگیری ماشین را روی سرورهای بسیار قوی این غول دنیای فناوری انجام دهند. سرورهایی که با عنوان سرورهای پاور سیستمز شناخته می‌شوند.
این کمپانی برای آزمایش روند اخیر از ۶۴ سرور از نوع Power8 S822LC استفاده کرده است که هر کدام از این سیستم‌ها به‌صورت پیش‌فرض با چهار واحد پردازش گرافیکی انویدیا از مدل Tesla P100-SXM2 ارائه می‌شوند.
این سخت‌افزارها در نگاه نخست بسیار گران به نظر می‌رسند؛ ولی برای سازمان‌هایی که دارای پول و سرمایه‌ی کافی در زمینه‌ی پژوهشی هستند و نیاز به انجام محاسبات با عملکرد بالا در زمینه‌ی هوش مصنوعی دارند، چنین هزینه‌هایی گران تلقی نمی‌شود.
منتشر کردن این فناوری از طریق بسته‌ی نرم‌افزاری PowerAI، می‌تواند کار را برای افرادی ساده‌تر کند که قصد بهره بردن از پژوهش‌های آی‌بی‌ام دارند؛ زیرا این مجموعه با بخش نرم‌افزاری موجود برای اجرا روی سخت‌افزارهای Power Systems همگام شده است.
با این وجود، مزایای سیستم جدید IBM بهایی نیز دارد؛ این شرکت سیستم جدید را تنها برای سخت‌افزارهای اختصاصی خودشان ارائه کرده است و از طرفی این سیستم و کدهای آن را نمی‌توانیم در ردیف سیستم‌های منبع باز قرار دهیم.
چنین رویکردی با سیستم شبکه‌ی عصبی توزیع‌شده‌ای که کمپانی فیسبوک به‌تازگی معرفی کرده، در تضاد است. این غول شبکه‌‌های اجتماعی، کدهای سیستم خود را به‌صورت منبع باز در دسترس قرار داده است.
البته باید اشاره کنیم که کمپانی IBM هم با ارائه‌ی پروژه‌های منبع باز در زمینه‌ی یادگیری عمیق میانه‌ی بدی ندارد و صرفا تصمیم گرفته است در پروژه‌ی اخیرش این کار را نکند.
با وجود تفاوت‌هایی که در روند توزیع وجود دارد، می‌توان گفت هر دوی آن مقالات پژوهشی، دارای دستاوردهای پیشتازانه‌ای در زمینه‌ی پژوهش‌های یادگیری عمیق هستند. کارهای انجام‌شده از سوی هر دو کمپانی نشان می‌دهد که ما راه زیادی در زمینه‌ی تقویت سیستم‌های یادگیری ماشینی پیش رو داریم. دستاورد این روند پرشتاب همچنین می‌تواند در زمینه‌های دیگر هم کاربرد داشته باشد و به این ترتیب روی زندگی انسان‌ها تأثیر بیشتری بگذارد.
یکی از نکات حائز اهمیت در بحث فوق این است که با وجود مفید بود تمرین Resent به‌عنوان یک بنچمارک در هر دوی این پژوهش‌ها، هنوز مشخص نیست که نتایج به‌دست‌آمده تا چه حدی قابل انتقال به سایر برنامه‌ها و کاربردها باشند. درحالی‌که به نظر می‌آید روش‌های ارائه‌شده در مقاله‌ی BM باید مزایای عملکردی بیشتری به همراه خود ارائه دهند؛ اما نباید فراموش کنیم که این کمپانی، هنوز به‌طور رسمی تست‌های لازم برای سایر کاربردها را انجام نداده است.