مدل هوش مصنوعی مایکروسافت در بنچمارک SuperGLUE بهتر از انسان ظاهر شد

طی سال‌های اخیر پیشرفت‌های عظیمی در تعلیم شبکه‌های هوش مصنوعی با میلیون‌ها پارامتر به دست آمده و مایکروسافت به‌تازگی مدل هوش مصنوعی DeBERTa را از طریق تعلیم نسخه‌ی عظیم‌تر آن با ۴۸ لایه‌ی ترنسفورمر، با ۱٫۵ میلیارد پارامتر به‌روزرسانی کرده است.

تقویت چشمگیر عملکرد DeBERTa باعث شده است این مدل برای نخستین بار، در پردازش و فهم زبان SuperGLUE از نظر نمره‌ی متوسط کلان، سریع‌تر از انسان ظاهر شود. در این آزمایش مدل DeBERTa امتیاز ۸۹٫۹ کسب کرد و انسان موفق‌ به کسب امتیاز ۸۹٫۸ شد. تفاوت امتیازها با درنظرگرفتن معیارهای پایه‌ بیشتر می‌شود (۹۰٫۳ در برابر ۸۹٫۸).

بنچمارک SuperGLUE شامل وظایف متنوع مبتنی‌ بر پردازش زبان طبیعی (NLP) است؛ شامل مواردی نظیر پاسخ‌دهی به سؤال و استنتاج زبان طبیعی. مدل DeBERTa مایکروسافت با کسب نمره‌ی متوسط کلان ۹۰٫۸، در رتبه‌ی نخست بنچمارک SuperGLUE جای می‌گیرد. 

براساس گزارش MSPoweruser، مدل DeBERTa می‌تواند PLM-های پیشین نظیر BERT،اRoBERTa و UniLM را با استفاده از سه تکنیک نوین، بهبود ببخشد. یکی از این تکنیک‌ها، مکانیسم دقت منظم‌شده (Disentangled Attention) نام دارد و تکنیک دوم در حقیقت نسخه‌ی بهبودیافته‌ی ابزار Mask Decoder محسوب می‌شود. مایکروسافت همچنین به نوعی تعلیمِ رقابتی‌ مجازی برای بهینه‌سازی مدل DeBERTa اشاره می‌کند.

مدل ۱٫۵ میلیارد پارامتری DeBERTa در مقایسه ‌با T5 گوگل که شامل ۱۱ میلیارد پارامتر است، مصرف انرژی بسیار کمتری دارد و به ‌شکلی ساده‌تر امکان فشرده‌سازی اپلیکیشن‌ها با تنظیمات مختلف را فراهم می‌کند. عملکرد بهتر DeBERTa hc انسان در بنچمارک SuperGLUE دستاورد بسیار مهمی در حوزه‌ی هوش مصنوعی عمومی محسوب می‌شود.

با وجود نمایش عملکرد خوب، مدل مایکروسافت با هیچ متر و معیاری به سطح هوش انسان در زمینه‌ی درک زبان طبیعی (NLU) دست پیدا نمی‌کند. ذهن انسان در زمینه‌ی یادگیری دانش از وظایف مختلف برای حل کردن وظیفه‌ای جدید، عملکردی بسیار هوشمندانه دارد. 

مایکروسافت قصد دارد این فناوری را با نسخه‌ی جدید مدل بازنمایی زبان طبیعی Microsoft Turing ادغام کند. شرکت ردموندی از این مدل در Bing،اOffice،اDynamics و Azure Cognitive Services برای ممکن ‌شدن انواع کارها نظیر تعاملات انسان-انسان و تعاملات انسان-دستگاه استفاده می‌کند. مایکروسافت تصمیم دارد مدل ۱٫۵ میلیارد پارامتری DeBERTa و کد منبع آن را در دسترس عموم قرار دهد.