چرا نباید بنچمارک‌ها را دستاویزی برای سنجش عملکرد گوشی‌های هوشمند قرار داد؟

تعداد زیادی از کاربران دنیای گوشی هوشمند علاقه دارند تا سخت‌افزار موجود در دستگاه خود را در معرض بنچمارک قرار دهند. بنچمارک کردن خصوصا در گوشی‌های اندرویدی دشواری‌های زیادی به‌همراه دارد، چون بسیاری از اپلیکیشن‌های این سیستم‌عامل، باوجود دسترسی مستقیم بخش‌هایی از آن‌ها به سخت‌افزار دستگاه، به‌صورت بومی (Native) اجرا نمی‌شوند و از ماشین مجازی به‌نام ART بهره می‌برند. درنهایت کل سستم را می‌توان با تغییراتی جزئی، دست‌‌کاری کرد. به‌هرحال شاید خود کاربر در زمانی‌که امتیاز گوشی هوشمند خود را به اشتراک می‌گذارد، قصد تقلب نداشته باشد،‌ اما نمی‌توان همین ادعا را برای شرکت‌های سازنده و دیگران هم تأیید کرد.

علاوه بر احتمال تقلب، مشکل دیگر بنچمارک‌ها در تفاوت آن‌ها با تجربه‌ی کاربری واقعی دیده می‌شود. درواقع امتیازها و نتایجی که از کاربری گوشی‌های هوشمند در بنچمارک‌ها دریافت می‌کنید، عموما با تجربه‌ی واقعی تفاوت دارند. تراشه‌های موجود در گوشی‌های هوشمند، قطعا قدرت خارق‌العاده‌ی برابر با تراشه‌های کامپیوتر شخصی یا ابرکامپیوترها ندارند. ازطرفی اکثر کاربران هیچ‌گاه فعالیت‌هایی را در گوشی هوشمند انجام نمی‌دهند که نیاز به حداکثر قدرت پردازشی داشته باشد. درنتیجه بسیاری از گوشی‌هایی که امتیازهای پایینی در بنچمارک‌ها دریافت می‌کنند، احتمالا در تجربه‌ی کاربری عادی، کارایی بالایی را به شما ارائه خواهند کرد. البته، برخی اوقات تولیدکننده‌های تراشه‌ی میان‌رده و پایین‌رده تلاش می‌کنند تا همین کارایی را با تقلب، در نتایج بنچمارک هم نشان دهند. اقدامی که اخیرا نمونه‌ای از آن از مدیاتک مشاهده شد.

آناندتک یکی از معتبرترین رسانه‌های سخت‌افزاری محسوب می‌شود که بسیاری از اخبار و مقاله‌های خود را با بنچمارک محصولات منتشر می‌کند. آن‌ها درواقع هر محصول مجهز به پردازنده را بنچمارک می‌کنند. همین رسانه، تقلب کردن مدیاتک را در نتایچ بنچمارک برای اولین‌بار مشاهده کرد. ظاهرا شرکت تایوانی فهرستی سفید از اپلیکیشن‌های بنچمارک را در بخشی از پارتیشن دستگاه‌های اندرویدی قرار می‌دهد. طبق این فهرست، سخت‌افزار مدیاتک در سطوحی بالاتر از توان مرسوم، عمل می‌کرد.

برای شرح ساده‌ی تقلب مدیاتک باید بدانید که شرکت، فهرستی از اپلیکیشن‌های مرسوم و محبوب بنچمارک دارد که پردازنده، آن‌ها را شناسایی می‌کند. وقتی کاربر، یکی از اپلیکیشن‌ها را اجرا کند، پردازنده‌‌ی مدیاتک می‌تواند در حداکثر سرعت خود فعالیت انجام دهند و همچنین، به دمایی بسیار بالاتر از حد مرسوم برسد. کنترلر حافظه نیز در حداکثر سرعت خود فعالیت می‌کند و پس از آزمایش، به روال مرسوم باز می‌گردد.

وقتی پردازنده با هدف کسب بالاترین امتیاز ممکن در بنچمارک، با حداکثر توان خود کار کند، یعنی تمامی فعالیت‌های دیگر گوشی هوشمند متوقف شده و تمرکز آن تنها روی اپلیکیشن بنچمارک معطوف می‌شود. درواقع سخت‌افزار به بالاترین حد توان و حتی نزدیکی نقطه‌ی تسلیم می‌رسد. پس از مدتی، فشار بر سخت‌افزار کاهش پیدا می‌کند و دستگاه خنک می‌شود. در این حالت اگر مجددا اپلیکیشن را راه‌اندازی کنید، فشار افزایش می‌یابد. چنین روندی موجب دریافت امتیازهای بالاتر در آزمایش می‌شود، اما قطعا شباهتی با تجربه‌ی واقعی شما از توان سخت‌افزار در کاربری‌‌های مرسوم ندارد.

تقلب تاریخی در بنچمارک

تولیدکننده‌های تراشه، تنها شرکت‌هایی نیستند که در نتایج بنچمارک تقلب می‌کنند. تاکنون اخبار متعددی از شرکت‌های متعدد تولیدکننده‌ی گوشی هوشمند شنیده‌ایم که در نتایج بنچمارک تقلب کرده‌اند. حتی سامسونگ زمانی برای تقلب کردن در نتایج بنچمارک گوشی گلکسی S4 جریمه و محکوم به پرداحت ۱۳/۴ میلیون دلار شد. شرکت کره‌ای در آن زمان روندی مشابه با تقلب اخیر مدیاتک را انجام داده بود.

همان‌طور که گفته شد، اکنون به‌جای تولیدکننده‌ی گوشی هوشمند، تقلب یک مرحله عقب‌تر و توسط تولیدکننده‌ی تراشه انجام می‌شود. مدیاتک فایل‌های پیکره‌بندی را در پکیج بردهای خود قرار می‌دهد که به تولیدکننده‌های گوشی هوشمند ارائه می‌کند. فایل‌های مذکور، حالتی نه‌چندان امن با قدرت پردازشی بالا را در پردازنده اجرا می‌کنند. شرکت تولیدکننده‌ی گوشی می‌تواند کدهای مذکور را از محصولات خود حذف کند. به‌عنوان مثال، پس از انتشار اخبار اولیه، اوپو کدها را حذف کرد.

تقلب کردن در نتایج بنچمارک، برای شرکت‌ها کارساز بوده است و مدیاتک هم مشکل خاصی را در رخداد اخیر تجربه نکرد. به‌هرحال تقلب کردن شرکت تایوانی زمانی مشخص شد که گوشی‌های هوشمند ارزان‌قیمت مجهز به پردازنده‌ی آن‌ها، درمقابل گوشی‌های قدرتمندتر با پردازنده‌های گران‌قیمت‌تر قرار گرفتند. نتایج به‌دست‌آمده بسیار به دور از واقعیت بودند و به‌نوعی رسوایی را به‌همراه داشتند. مدیاتک پردازنده‌های پرچم‌دار و قدرتمند هم تولید می‌کند که از میان آن‌ها می‌توان به خانواده‌ی Dimensity اشاره کرد. منتهی آن‌ها بیشتر با پردازنده‌های اقتصادی شناخته می‌شوند که قدرت پردازشی قابل‌قبول را برای کاربر ارائه می‌کنند.

همان‌طور که گفته شد، بنچمارک‌ها به دو دلیل ابزارهای مناسبی برای اندازه‌گیری و مقایسه‌ی کارایی گوشی‌های هوشمند نیستند. دلیل اول، احتمال تقلب ازسوی شرکت‌های سازنده‌ی تراشه یا گوشی هوشمند و دلیل دوم، عدم شباهت نتایج با تجربه‌های روزمره‌ی کاربری از گوشی است. شاید آزمایش‌های مرسوم اخیر که سرعت اجرای اپلیکیشن‌ها را در گوشی‌های گوناگون بررسی می‌کنند، نتایج قابل اعتمادتری داشته باشند. درنهایت اگر به‌دنبال خرید گوشی هوشمند هستید، فراموش نکنید که کاربری‌های روزمره‌ی شما با بسیاری از گوشی‌های میان‌رده و پایین‌رده‌ی موجود در بازار هم ممکن می‌شود و نیازی به جست‌وجو و کنکاش عمیق در نتایج بنچمارک ندارید. شاید برای انتخاب خوب، توجه به قابلیت‌های دیگر مانند دوربین و کیفیت ساخت و موارد مشابه، مهم‌تر و کاربردی‌تر باشد.