هواوی در نتایج بنچمارک گوشیهای خود تقلب می‌کند
نخستین بار در سال ۲۰۱۳ بود که مسئله تقلب در بنچمارک‌ها مطرح شد و تقلب بسیاری از شرکت‌های سازنده گوشیهای هوشمند آشکار شد. این شرکت‌ها در اپلیکیشن‌های رایج بنچمارک، توان گرمایی و قدرتی گوشیهای خود را نسبت به حالت استاندارد افزایش می‌دادند. هم اکنون در سال ۲۰۱۸، دوباره شاهد مطرح شدن اخباری در رابطه با تقلب هواوی هستیم.
چه اتفاقی در حال روی دادن است؟
سال ۲۰۱۳ بود که AnandTech متوجه تقلب سامسونگ در بنچمارک نسخه اکسینوس گلکسی اس 4 شد. انتشار این موضوع موجی از بحث‌ها و تحقیقات را به راه انداخت که نتیجه آن افشا شدن تقلب شرکت‌های بیشتر بود. کار به جایی کشید که حتی Futuremark تعدادی از دستگاه‌ها را از لیست بنچمارک خود خارج کرد. این رسوایی هم به ضرر شرکت‌ها و هم به ضرر کاربران تمام شد. دستگاه‌هایی که تقلب در آن‌ها دیده می‌شد نام شرکت خود را لکه‌دار می‌کردند و مشتری‌ها نیز دیگر به بنچمارک‌های محصولات شرکت‌ها اعتماد نداشتند.
خوشبختانه پس از آن، تولیدکنندهها دست از تقلب برداشتند و چندین سال است که در بنچمارک‌ها متناسب با انتظارات ظاهر می‌شوند؛ البته به جز چند استثنا که اغلب از سوی شرکت‌های چینی صورت می‌گیرد. میزو (Meizu) در این زمینه عملکردی منطقی و شفاف دارد، هنگامی که بنچمارک اجرا می‌شود با نمایش پیغامی از کاربر درخواست می‌شود تا تنظیم گوشی در حالت بنچمارک (benchmark power mode) را تایید کند. برخی دیگر از گوشی‌ها حالت بازی (Game Mode) دارند که یا بر روی کارایی بالا تمرکز می‌کند یا افزایش عمر باتری.
جزئیات
انندتک معمولا از تست‌های مکمل برای سنجش عملکرد و مصرف دستگاه استفاده می‌کند. در حین تست گوشیهای جدید، گوشی آنر پلی (Honor Play) نتایج عجیبی از خود برجای گذاشت. در مقایسه با هواوی پی 20 (Huawei P20) که دارای سیستم-روی-یک-چیپ (SoC) یکسانی با این گوشی است ، نتایج Honor Play به طور عجیبی اندکی ضعیف‌تر بود. البته عملکرد خود P20 نسبت به میت ۱۰ (Mate 10) افت داشته است و این مشکلات بر روی Mate 10 نیز مشاهده شده‌بود که با به روزرسانی برطرف شد.
پس از تست مجدد به نظر رسید که هواوی در سری آنر روشی غیراخلاقی در پیش گرفته است و مدل‌های جدید دارای مکانیزم تشخیص بنچمارک هستند. این مکانیزم باعث می‌شود محدودیت‌های گرمایی و انرژی تراشه برداشته شود و در نتیجه دستگاه بسیار فراتر از حالت عادی عملکرد داشته باشد. این عمل باعث مصرف بیشتر باتری، کاهش بازده و کاهش عمر باتری می‌شود.
اگرچه افزایش امتیاز بنچمارک می‌تواند به بازاریابی محصول کمک می‌کند، اما باید توجه داشت این موضوع باعث سلب اعتماد از نحوه عملکرد دستگاه می‌شود. همچنین موجب عملکرد غیربهینه تراشه شده و باعث می‌شود این تراشه که از نقاط قوت این محصول به شمار می‌رود کارایی مورد انتظار را نداشته باشد.
نمونه‌ای از بنچمارک‌های Honor Play در حالت فعال و غیرفعال بودن تشخیص بنچمارک:
Perf/W Efficiency | Avg. Power (W) | FPS | Mfc. Process | AnandTech |
|---|---|---|---|---|
15.17 fps/W | 4.39 | 66.54 | 10FF | Honor Play (Kirin 970) بدون تقلب |
14.86 fps/W | 8.57 | 127.36 | 10FF | Honor Play (Kirin 970) با تقلب |
GFXBench T-Rex Offscreen Power Efficiency
در قسمت اعداد خام بنچمارک اطلاعات بیشتری در این زمینه ارائه شده‌است.
واکنش هواوی
این موضوع به اطلاع هواوی رسانده شد و هواوی نسبت به این موضوع واکنش نشان داد. این شرکت ابتدا به این موضوع اشاره کرد که این بنچمارک‌ها تجربه کاربری واقعی را نشان نمی‌دهند و این بنچمارک‌ها فراتر از نیازهای واقعی کاربران قدم گذاشته‌اند. این شرکت همچنین اعتبار این بنچمارک‌ها را مورد سوال قرار داد و خواستار استفاده از یک بنچمارک استاندارد با سنجش تجربه کاربری (UX) شد.
این شرکت همچنین اعلام کرد:
دیگر شرکت‌ها همین تست‌ها را انجام می‌دهند، امتیازات بالا می‌گیرند و هواوی نمی‌تواند سکوت کند، در اکوسیستم اندروید، سایر تولیدکنندهها نیز اعداد را دستکاری می‌کنند و این موضوع به مسئله‌ی رایجی تبدیل شده است.
همچنین به یک تولیدکننده محبوب در چین اشاره می‌شود که این فریب‌کاری‌ها را مرتکب می‌شود. هواوی دوست دارد که در این زمینه با کاربران روراست باشد، اما تا زمانی که رقبا همچنان نتایج غیرواقعی کسب می‌کنند در این زمینه با مشکل مواجه است. این شرکت راه‌حل این ماجرا را استانداردسازی بنچمارک‌ها می‌داند، تا شرایط برای همه شرکت‌ها و محصولات برابر باشد.
هواوی تایید کرده که این موضوع یک مورد کاملاً نرم‌افزاری است که با یافته‌ها نیز مطابقت دارد.
واکنش‌ها
هواوی به طور غیرمستقیم انجام تقلب را تایید می‌کند و سازندگان چینی دیگر را علت کار خود می‌داند. بر کسی پوشیده نیست که نتایج بنچمارک تاثیر به سزایی بر فروش دارد اما هواوی تلاش می‌کند تا به روش رقبا، آن‌ها را از پیش روی بردارد، روشی که هیچ برنده‌ای نخواهد داشت.
هواوی به طور غیرمستقیم انجام تقلب را تایید می‌کند
نظر هواوی درباره استانداردسازی بنچمارک تازه نیست، سال‌ها پیش شرکت آرم (ARM) درباره این موضوع با رسانه‌ها صحبت کرده بود. از آن موقع تا به امروز شرایط بسیار بهتر شده‌است، شرکت‌های بنچمارک از توسعه‌دهندگان بازی‌ها می‌خواهند تا علاوه بر توسعه عناوین عادی، پا را فراتر گذاشته و مرزها را نیز جابجا کنند.
موردی که در دنیای گوشیهای همراه برخلاف دنیای رایانه‌های شخصی وجود ندارد، بنچمارک مناسب درون بازی (in-game) به همراه خروجی مطمئن است. این مورد به سازندگان مربوط می‌شود زیرا تعاملات استودیوهای بازی‌سازی بزرگ و بنچمارک‌های درون بازی معمولاً به در بسته می‌خورد.
تست هر فریم‌ریت بر روی گوشی نیازمند نرم‌افزارهای اضافی است که این نرم‌افزارها نیازمند روت (root) دستگاه هستند. اخیراً هواوی قابلیت روت گوشی‌هایش را غیرفعال کرده است. البته طبق گفته هواوی، در آینده قابلیت روت برای توسعه‌دهندگان مجدداً فعال خواهد شد. در نهایت هواوی باید توجه کند که بهترین روش استفاده از چنین حالتی در بنچمارک، اختیاری بودن آن است؛ همانگونه که بعضی از سازنده‌ها در چین انجام می‌دهند.
هواوی وعده داد تا تمامی نتایج بنچمارک‌های این شرکت در آینده توسط اشخاص ثالث تایید شوند که خبر امیدبخشی به حساب می‌آید؛ البته باید دید این موضوع در میت 20 (Mate 20) که در ۱۶ اکتبر (۲۴ مهر) عرضه می‌شود به چه صورت خواهد بود.
اعداد خام بنچمارک
در این بنچمارک‌ها، فقط گوشیهای P20 ، P20 Pro و Honor Play مورد بررسی قرار گرفتند؛ البته به نظر می‌رسد سایر گوشی‌هایی که از کرین ۹۷۰ (Kirin 970) بهره می‌برند (مانند Mate 10 و Honor 10) نیز اقدام به دستکاری نتایج بنچمارک‌ها می‌کنند. این موضوع فقط در EMUI 8.0 به بالا دیده می‌شود. در این تست‌ها از 3DMark شرکت Futuremark و GFXBench شرکت Kishonti استفاده شده است. نسخه غیرقابل تشخیص این بنچمارک‌ها، نسخه خاصی است که به طور عمومی عرضه نشده و توسط سازنده‌ها در اختیار AnandTech قرار گرفته است.
تفاوتی آشکار بین نتایج به دست‌آمده مشاهده می‌شود و هر سه گوشی به طور معناداری در نسخه غیرقابل تشخیص بنچمارک ضعیف‌تر عمل کرده‌اند. همچنین با اینکه هر سه گوشی SoC یکسانی دارند اما نتایج متفاوتی به جای گذاشتند. این موضوع به دلیل محدودیت‌های گرمایی متفاوت این سه گوشی با توجه به سیستم‌های خنک‌کننده آنهاست. گوشی P20 Pro که در بین سه گوشی تست شده، بزرگ‌ترین و گران‌ترین به شمار می‌رود، در حالت عادی عملکرد بهتری داشته‌است.
افزایش گرما و انرژی
در گذشته سازندگان معمولاً با افزایش فرکانس SoC یا نگه داشتن فرکانس آن بر روی بالاترین حد ممکن، عملکرد گوشی‌ها را افزایش می‌دادند و در بنچمارک‌ها تقلب می‌کردند؛ اما هواوی محدودیت گرمایی و انرژی SoC را هنگام بنچمارک برمی‌دارد تا عملکرد افزایش پیدا کند. در سایر اپلیکیشن‌ها فرکانس SoC به علت محدودیت گرمایی پایین‌تر از مقدار اعلام شده توسط هواوی است. برای نمایش این موضوع، مصرف انرژی در Honor Play اندازه‌گیری شد.
نتایج بسیار عجیب اند. همانطور که مشاهده می‌کنید در حالت عادی، چیپ ۳.۵ تا ۴.۴ وات انرژی مصرف می‌کند؛ رقمی که انتظار می‌رود مصرف انرژی به آن محدود شود. اما هنگام تقلب محدودیت انرژی به کلی برداشته می‌شود. ارقام مصرف انرژی به بالای ۶ وات رسیده و T-Rex به رقم دیوانه‌وار ۸.۵ وات می‌رسد. در یک تست باتری، به سرعت اعلانیه‌ای مبنی بر گرمای زیاد نمایان می‌شود که نشان از غیرعادی بودن مصرف انرژی و گرما دارد. این موضوع نشان می‌دهد که عملکرد واقعی این دستگاه‌ها به شدت وابسته به گرمای دستگاه است (که برای اکثر گوشی‌ها مورد عجیبی نیست). هواوی در این گوشی محدودیت‌های گرمایی شدیدی لحاظ کرده تا گرما و مصرف انرژی SoC کاهش پیدا کند.
در نهایت نتیجه می‌گیریم که در حالت عادی بیشترین حد مصرف انرژی دستگاه می‌تواند به حالت تقلب برسد اما اصلا پایدار نیست و به سرعت کاهش می‌یابد. در این تست مصرف انرژی گاهی به ۲.۲ وات هم رسید که موجب افت شدید عملکرد شد.
عملکرد واقعی GPU در KIRIN 970
در بررسی اولیه کرین ۹۷۰ در میت ۱۰ نتایج به دست‌آمده ضعیف‌تر از میت 9 بود. هواوی پس از آن اعلام کرد که این تنها یک باگ بوده است. در P20 دوباره این موضوع تکرار شد و هواوی مجدداً یک به‌روزرسانی منتشر کرد. هواوی هیچگاه صحبتی از جزییات این باگ به میان نیاورد.
مشکلات کرین 970 اصلاً مشکل نیستند، عملکرد واقعی این SoC اند
درک مسئله بالا هم اکنون ساده است؛ مشکلات عملکرد دیده شده، در واقع اصلاً مشکل نبودند بلکه عملکرد واقعی Kirin 970 بودند. البته نتایج بنچمارک‌های منتشرشده از کرین ۹۷۰ به جز 3DMark قابل اعتمادند. بنچمارک‌های جدید گوشی آنر پلی را در پایین مشاهده می‌کنید:
نمودارها خود گویای همه چیز هستند؛ کرین ۹۶۰ و ۹۷۰ در زمینه عملکرد و کارایی تقریباً از تمامی دستگاه‌های این تست شکست می‌خورند. هواوی به دنبال بهبود و جبران با کرین ۹۸۰ و قابلیت‌هایی مثل GPU Turbo است.
واقعیت دنیای سیلیکون و فشار بازار
رفتار دستگاه‌های ۲۰۱۸ کرین ۹۷۰، از نظری تعجب برانگیز نیست. تنظیم انرژی برای تجربه کاربری بسیار مفید است زیرا مصرف باتری گوشی را در سطحی منطقی نگه می‌دارد. پس از مصرف انرژی افتضاح GPU کرین ۹۶۰، ظاهرا هواوی به این نتیجه رسیده است که مصرف انرژی بالا جالب نیست و مکانیسمی جدید برای کنترل انرژی و دما اعمال کرده‌است.
راه حل چیست؟
در زمان کرین ۹۵۰ نیز قدرت GPU فاکتور بسیار مهمی به شمار می‌رفت و این چیپست با وجود پایداری دمایی و سطح انرژی حدود ۳.۵ وات نسبت به رقبا عملکرد بسیار ضعیفی در زمینه GPU داشت.
اکنون هوای در زمینه انرژی کلی سیستم پیشرفت‌هایی حاصل کرده است:
Perf/W Efficiency | Avg. Power (W) | FPS | Mfc. Process | AnandTech |
|---|---|---|---|---|
11.99 fps/W | 5.01 | 61.16 | 10LPP | Galaxy S9+ (Snapdragon 845) |
11.28 fps/W | 4.08 | 46.04 | 10LPP | Galaxy S9 (Exynos 9810) |
10.26 fps/W | 3.79 | 38.90 | 10LPE | Galaxy S8 (Snapdragon 835) |
7.90 fps/W | 4.18 | 33.04 | 14LPP | LeEco Le Pro3 (Snapdragon 821) |
7.78 fps/W | 3.98 | 30.98 | 14LPP | Galaxy S7 (Snapdragon 820) |
5.94 fps/W | 6.33 | 37.66 | 10FF | Huawei Mate 10 (Kirin 970) |
5.78 fps/W | 7.35 | 42.49 | 10LPE | Galaxy S8 (Exynos 8895) |
4.94 fps/W | 5.95 | 29.41 | 14LPP | Galaxy S7 (Exynos 8890) |
4.16 fps/W | 3.47 | 14.45 | 14LPE | Meizu PRO 5 (Exynos 7420) |
4.03 fps/W | 5.44 | 21.94 | 20Soc | Nexus 6P (Snapdragon 810 v2.1) |
3.77 fps/W | 2.75 | 10.37 | 16FF+ | Huawei Mate 8 (Kirin 950) |
3.77 fps/W | 8.63 | 32.49 | 16FFC | Huawei Mate 9 (Kirin 960) |
3.55 fps/W | 2.98 | 10.59 | 16FF+ | Huawei P9 (Kirin 955) |
ناکارایی کرین ۹۶۰ نتیجه مستقیم یک مسئله بود؛ فشار بازار. میت ۹ به همراه کرین ۹۵۰ با وجود GPU ضعیف دستگاه خوبی بود اما یک کاربر عادی به بنچمارک‌ها نگاه می‌کند و ارقام آن برایش اهمیت دارد. همین امر می‌تواند موجب رویدادن مواردی این‌چنینی باشد. راه حل اصلی فرار از چنین تقلب‌هایی افزایش آگاهی کاربران است که این موضوع بر عهده اصحاب رسانه و شرکت‌هاست.
کاربران به نتایج بنچمارک اهمیت می‌دهند و راه حل ، افزایش آگاهی آنان است
آینده هواوی
جمعه گذشته، مدیرعامل هواوی کرین ۹۸۰ را معرفی کرد، که قرار است قلب دستگاه میت ۲۰ باشد. این چیپ هفت نانومتری بزرگ‌ترین پیشرفت خود را در بخش GPU شاهد خواهد بود. طبق گفته هواوی، بازده انرژی در این چیپ ۱۷۸ درصد بهبود یافته است. اگر این آمار و ارقام درست باشد و کرین ۹۸۰ بتواند چنین عملکردی از خود نشان دهد، می‌توان گفت که هواوی بالاخره می‌تواند به عرصه رقابت بازگردد. البته هواوی تایید کرده است که این چیپست به حداکثر عملکرد اسنپ‌دراگون 845 (Snapdragon 845)، که کوالکام (Qualcomm) سال پیش معرفی کرد، نمی‌رسد.
آنر پلی: یک گوشی گیمینگ یا صرفاً بازارگرمی؟
هواوی، آنر پلی را به عنوان یک گوشی بازی محور معرفی و ادعاهایی جسورانه درباره عملکرد و تجربه آن کرد. این راهبرد بازاریابی شاید چندان درست نباشد مخصوصاً با توجه به اینکه SoC این گوشی بین رقیبان در زمینه گیمینگ ضعیف‌ترین است. شاید هواوی بهتر بود به جای این راهبرد آنر پلی را صرفا یک گوشی خوب معرفی کرد تا یک گوشی گیمینگ. امیدواریم در آینده، شاهد صداقت و مسئولیت‌پذیری بیشتری از شرکت هواوی باشیم.
شما چه فکر می‌کنید؟ آیا این عمل هواوی را موجه می‌دانید؟ چه راهکارهایی می‌توانند در جلوگیری از تقلب‌های این چنینی موثر باشند؟ دیدگاه خود را با ما به اشتراک بگذارید.