مچ اینتل گرفته شد؛ دست‌کاری بنچمارک‌ها برای بزرگ‌نمایی قدرت تراشه

مؤسسه‌ی ارزیابی عملکرد استاندارد (SPEC) اعلام کرده است که از‌این‌پس نتایج SPEC CPU 2017 برای پردازنده‌ اینتل که از نسخه‌ی خاصی از کامپایلر اینتل استفاده می‌کند، منتشر نخواهد کرد. این تصمیم به‌دلیل نارضایتی SPEC از بهینه‌سازی هدفمند و غیر‌واقعی تیم آبی درباره‌ی بنچمارک‌های خاص صورت‌ گرفته است.

یادداشتی ویژه به بیش از ۲٬۶۰۰ نتیجه‌ی بنچمارک منتشرشده با کامپایلر مورد‌انتقاد اضافه شده است که عملاً این نتایج را نامعتبر می‌کند. بیشتر بنچمارک‌ها مربوط به دستگاه‌هایی هستند که از پردازنده‌های Xeon Sapphire Rapids نسل ۴ بهره می‌گیرند.

SPEC CPU 2017 بنچمارکی است که اغلب برای سرورهای پرقدرت و دیتابیس‌ها و ورک‌استیشن‌ها استفاده می‌شود و روش استانداردی را برای سنجش عملکرد پردازنده‌ها اعمال می‌کند تا امکان مقایسه‌ی کامپیوترهای مختلف در شرایط برابر وجود داشته باشد.

عملکرد موفق در SPEC CPU 2017 نه‌تنها به سخت‌افزار، بلکه به نرم‌افزار نیز بستگی دارد. یکی از عوامل مهم در بهینه‌سازی نرم‌افزاری، بخش کامپایلر است که در‌واقع کدهای برنامه را به‌نحوی بازنویسی می‌کند که پردازنده بهترین عملکرد را داشته باشد.

در اخطاری که به بیش از ۲٬۶۰۰ نتیجه‌ی SPEC CPU 2017 افزوده شده، آمده است: «کامپایلر به‌کاررفته برای این نتیجه به‌شکلی کامپایل می‌کرد که عملکرد بنچمارک 523.xalancbmk_r / 623.xalancbmk_s را بهتر نشان دهد.»

همیشه انتظار بهینه‌سازی کامپایلرها وجود دارد؛ اما اگر این کار فقط برای بنچمارک‌های خاص انجام شود، با انتقاد روبه‌رو می‌شود. SPEC می‌خواهد که نتایج بنچمارک‌هایش عملکرد واقعی سخت‌افزار را بازتاب دهند و روش استانداردی برای مقایسه‌ی پردازنده‌های مختلف فراهم کنند.

چنانچه بهینه‌سازی کامپایلر باعث شود کارایی پردازنده در بنچمارک خاصی بهبود یابد و در کاربرد واقعی تفاوتی ایجاد نکند، قابلیت‌های واقعی پردازنده مشخص نمی‌شوند و فقط در آن بنچمارک خاص بازتاب می‌یابند.

بهینه‌سازی مخصوص بنچمارک موضوعی است که از مدت‌ها پیش محل بحث بودهاست. در سال ۲۰۰۳، انویدیا به‌اتهام دست‌کاری درایور برای افزایش عملکرد گرافیک‌های خود در نرم‌افزار 3DMark با انتقادهایی مواجه شد.

تیم قرمز نیز از این تقلب‌ها مصون نبوده است و در سال ۲۰۱۰، انویدیا ادعا کرد که AMD هنگام اجرای بازی‌های واقعی تنظیمات خاص درایور که عملکرد سیستم را در ازای افزایش کیفیت بصری بسیار کاهش می‌دادند، فعال نکرده بود.