مدیاتک ابزار تقلب در بنچمارک را به‌صورت سرویس به شرکت‌ها ارائه می‌کند

تقلب کردن در بنچمارک‌ها یکی از مشکلات رایج دنیای کامپیوترهای شخصی و موبایل محسوب می‌شود؛ البته تاکنون تقلب کردن محدود به نحوه‌ی پیاده‌سازی SoC یک شرکت توسط یک شرکت تولیدکننده‌ی محصول نهایی بوده است. ظاهرا مدیاتک فرایند تقلب را برای شرکت‌های تولیدکننده‌ی محصول نهایی (OEM) آسان می‌کند. آن‌‌ها دستگاه‌هایی به شرکت‌های طرف قرارداد فروخته‌اند که مجهز به ابزارهای تقلب در بنچمارک در سطح فرمور هستند.

آناندتک اولین رسانه‌ی دنیای سخت‌افزار بود که احتمال اجرای سیاست جدید را در مدیاتک مطرح کرد. گزارش جدید آن‌ها ادعا می‌کند که دستگاه‌های متعدد از تولیدکننده‌های گوناگون، دارای فایلی به‌نام Power_Whitelist_CFG.xml بوده‌اند که کارایی یکسانی در همه‌ی دستگاه‌ها دارد. آناندتک ادعا می‌کند که فایل‌ توسط مدیاتک در دستگاه‌ها و به‌صورت داخلی در زیرساخت SoC BSP قرار گرفته است. در توضیحات فایل مذکور، شرکت سازنده آن را «یک لایه‌ی نرم‌افزاری شامل درایورهای اختصاصی سخت‌افزاری و دیگر کاربردها» معرفی می‌کند.

رویکرد تقلب در داده‌های بنچمارک، باید از جنبه‌های گوناگون مورد بررسی قرار بگیرد. این اقدام از سال ۲۰۱۶ انجام می‌شده است و رد آن را می‌توان در دستگاه‌های تولیدی شرکت‌های متعددی همچون سونی هم مشاهده کرد. تقلب در بنچمارک‌ها در جدیدترین نرم‌افزارها و حتی آزمایش‌های مبتنی بر هوش مصنوعی هم دیده می‌شود. حتی شرکت‌ها امروز در بنچمارک‌‌هایی تقلب می‌کنند که قبلا نمی‌کردند. چنین سبکی از تقلب، بر پایه‌ی افزایش فشار بر محدودیت‌های گرمایی و توانی سخت‌افزاری انجام می‌شود و SoC را به مرحله‌ی فشار شدید می‌رساند. درواقع در آزمایش‌های تقلبی، شانس مصرف بالای باتری هم افزایش پیدا می‌کند و هیچ کارایی واقعی از پردازنده استخراج نمی‌شود. فراموش نکنید که رویکرد مذکور، روشی برای افزایش کارایی سخت‌افزار در اپلیکیشن‌های واقعی نیست. درواقع شرکت سازنده تنها تلاش می‌‌کند تا شما باور کنید افزایش کارایی و قدرت بیش از مقدار واقعی در اپلیکیشن‌ها رخ می‌دهد.

مشکل و ایراد تقلب در بنچمارک

مدیاتک در پاسخ به آناندتک به‌نوعی به رویکرد خود اعتراف می‌کند، اما عبور از استانداردها و اصول صنعتی را نمی‌پذیرد. شرکت می‌گوید دستگاه‌ها از استانداردهای مورد پذیرش صنعت پیروی می‌کنند. به‌علاوه آن‌ها در بیانیه‌ی خود می‌گویند که آزمایش‌ها در حداکثر توان و سرعت کلاک پردازنده انجام می‌شوند تا بدون عبور از محدودیت‌های گرمایی، «حداکثر ظرفیت و توان تراشه را نشان دهد».

پاسخ مدیاتک تاحدی صحیح و صادقانه به‌نظر می‌رسد. دستگاه‌های موبایلی مدرن، از لحاظ فشار گرمایی محدود شده‌اند و تنها توانایی فعالیت در کلاک تقویت‌شده را در مدت زمان محدود دارند. ازطرفی هدف اصلی بنچمارک کردن، تنها آزمایش عملکرد تکی دستکاهی در سطح پایین مانند پردازنده‌‌ی مرکزی و پردازنده‌ی گرافیکی یا کمک‌پردازنده‌ی هوش مصنوعی نیست. هدف نهایی مقایسه در اپلیکیشن‌های بنچمارک این است که کاربر نهایی به حسی از کیفیت و بهره‌وری دستگاه خود برسد.

تصور کنید یک پردازنده‌ی گرافیکی، دو محدوده و حداکثر توانایی گرمایی و قدرتی داشته باشد. به بیان دیگر وقتی اپلیکیشن‌های بنچمارک را روی آن اجرا می‌کنیم، محدودیت‌های خاصی را برای حداکثر توان مصرفی پیاده‌سازی کند و در زمان اجرای بازی‌های مشهور، محدودیت گرمایی دیگری داشته باشد. چنین رویکردی باعث می‌شود تا مفهوم کلی بنچمارک زیر سؤال برود. نتایج بنچمارک، در چنین شرایطی دیگر نشان‌دهنده‌ی اطلاعات باارزش از تجربه‌ی واقعی با گوشی هوشمند نیستند.

مدیاتک در بخشی از جوابیه‌ی خود می‌‌نویسد:

ما اعتقاد داریم نشان دادن حداکثر ظرفیت‌های یک تراشه در آزمایش‌های بنچمارک، منافاتی با روش‌های مرسوم شرکت‌های دیگر ندارد و تصویری دقیق از قدرت و کارایی دستگاه ارائه می‌کند.

در پاسخ بالا می‌توان جمله‌ی اول را صحیح دانست، اما ادعایی که در پی آن می‌آید، آن‌چنان درست نیست. درواقع هدف چنین سبکی از تقلب، همان ارائه‌‌ی تصویر ناصحیح از کارایی و قدرت دستگاه است.

یکی از مشکلات چنین سبکی از تقلب این است که به محض شروع شدن، دیگر نمی‌توان آن را متوقف کرد. به‌عنوان مثال، نتایج بنچمارک و مقایسه‌ی سرفیس لپ‌تاپ 3 را در نظر بگیرید. مقایسه‌ی کارایی پردازنده بین محصولی همچون 7700HQ (پردازنده‌ی چهارهسته‌ای سال ۲۰۱۶ از خانواده‌ی کیبی‌لیک با توان طراحی گرمایی ۴۵ وات) و Core i7-1065G7 (پردازنده‌ی چهارهسته‌ای سال ۲۰۲۰ از خانواده‌ی آیس‌لیک و توان طراحی گرمایی ۱۵ وات) نشان می‌دهد که 7700HQ در پردازش‌های چندرشته‌ای برتر از محصول جدیدتر ظاهر شد،‌ اما در کارایی‌های تک‌رشته، از رقیب جدیدتر خود عقب ماند.

در آزمایش بالا تصور کنید که اینتل و مایکروسافت، بالا بردن توان طراحی گرمایی پردازنده‌ی جدید را در آزمایش در برابر تراشه‌های بیشتر تا ۴۵ وات فراهم می‌کردند و در کاربرد عادی، پردازنده به توان ۱۵ وات محدود می‌شد. در چنین وضعیتی، نتیجه‌ی مقایسه‌ی بالا کاملا متفاوت می‌شد. در آزمایش تقلبی، پردازنده‌ی آیس‌لیک برای مدت کوتاهی به توان ۴۵ وات می‌رسید و کیبی‌لیک را شکست می‌داد. درنتیجه کاربر تصور می‌کرد که پردازنده‌ی نسل جدید، برتری‌هایی بسیار بیشتر از مقدار واقعی نسبت به پردازنده‌ی سال ۲۰۱۶ دارد؛ درحالی‌که این‌گونه نیست و پردازنده‌ی آیس‌لیک، در شرایط عادی تنها ۱۵ وات توان طراحی گرمایی دارد.

دستکاری نتایج بنچمارک، همیشه به ضرر شرکت‌ها تمام می‌شود. مدیاتک با رویکرد خود نشان داد که مهندسانش نمی‌توانند با نتیجه‌ی آزمایش دیگر تولیدکننده‌ها که با روش صادقانه منتشر می‌شود، رقابت کنند. درنتیجه آن‌ها مجبور هستند تا تفاوت بین محصولات را با تقلب از بین ببرند. شرکتی که درباره‌ی کارایی و قدرت محصولات خود دروغ می‌‌گوید، هیچ محدودیتی برای دروغ‌گویی در حوزه‌های دیگر ندارد.