Huawei noķerti, manipulējot ar etaloniem, izdod paziņojumus par Ķīnas tirgus vainošanu

Huawei etalona rezultāti ir privātie un publiskie testi ar manipulētu SoC jaudu.

Pirms dažām nedēļām mēs to apskatījām Huawei, izmantojot profesionālu DSLR kameru reklāmā par viņu pašbildes iespējām, un šķiet, ka viņi vienkārši nevar pārtraukt atrast veidus, kā mēģināt mānīt patērētājus - šoreiz tā etalonus, ar kuriem viņi manipulē.

Etaloni ir populāri un ( līdz šim brīdim?) likumīgs veids, kā demonstrēt ierīces veiktspēju - neatkarīgi no tā, vai tā ir procesora, GPU vai sistēmas veiktspējas etaloni. Viss etalonu mērķis ir sniegt patērētājiem precīzu rezultātu par to, kā ierīces darbojas stresa apstākļos.

Diemžēl šķiet, ka Huawei dažās jaunākajās ierīcēs ir iekļāvis “etalonu noteikšanas mehānismu”. Tas, ko šis mehānisms būtībā dara, ir nospiest SoC līdz daudz augstākai jaudas robežai un siltuma telpai, kad tā konstatē, ka tā tiek salīdzināta ar noteiktām lietotnēm, tādējādi radot daudz augstākus veiktspējas rādītājus nekā lietotāji parasti saņemtu ikdienas lietošanā. Tas nav tikai negodīgi, tā bīstams SoC kalpošanas laikā un var ļoti ātri pārkarst ierīci un samazināt tās akumulatora darbības laiku.

Huawei šīs prakses aizstāvēšanu vislabāk var apkopot šādi: to dara arī visi pārējie! ” - un diemžēl viņiem patiesībā ir taisnība. Krāpšanās ar etalonu nemaz nav nekas jauns - pirms desmit gadiem tā bija plaši izplatīta datora skatījumā, un tā kādu laiku bija arī mobilajā vidē.

Dažādas ierīces tika noņemtas no 3DMark, lai veiktu manipulācijas ar etalonu.

Samsung Galaxy S4 Exynos variants tika noķerts, veicot līdzīgu krāpšanās praksi, un mobilo pārskatu vietnes redaktori AnandTech atklāja lielu skaitu citu viedtālruņu pārdevēju, kas manipulē arī ar etalona datiem. Tas noveda pie vairākām ierīcēm, piemēram, Galaxy S4, Galaxy Note 3, HTC One un daudzām citām svītrots no 3DMark datu bāzes.

Lai gan lielākā daļa ražotāju pārtrauca darbību pēc izsaukšanas, daži turpināja - piemēram, OnePlus turpināja krāpšanos tādos populāros etalonos kā GeekBench, lai gan acīmredzot ir pārtraucis praksi kopš OnePlus 5T - kas faktiski ir lieliska ierīce un ir ļoti populāra modināšanas un attīstības kopiena, tāpēc varbūt OnePlus uzskatīja, ka viņi to nedarīja vajadzība manipulēt ar etalona datiem.

Diemžēl šķiet, ka Huawei turpina darbu tur, kur citi ierīču pārdevēji ir beigušies, jo ir pārbaudīti ziņojumi par Huawei manipulācijām ar ierīcēm, tostarp Huawei P20, Huawei P20 Pro un Honor Play. Būtībā Huawei P20 veiktspēja bija samazinājusies, salīdzinot ar Huawei Mate 10 Pro - un tajā laikā Huawei teica, ka tas ir “ programmaparatūras problēma ”- tiešs drosmīgs meli, jo tas patiesībā bija saistīts ar iepriekšminēto etalonu noteikšanas mehānismu, kas izsauc ievērojami augstāku SoC jaudas robežu.

Tas ir slikti ne tikai pašam SoC, jo, to izdarot, samazinās SoC kopējā efektivitāte, jo SoC tiek virzīts labi ārā parastā darba loga ( iedomājieties, ka CPU tiek pārslogots tik augstu, cik tas var notikt bez termiskās smērvielas) . Tomēr tas ir arī slikti tirgū pati.

Pirmkārt, tas padara SoC sliktu, it kā tas izskatās vajadzībām manipulēt ar etalona datiem, lai tos būtu vērts pārdot. Otrkārt, tas liek šaubīties par Ķīnas viedtālruņu tirgu, kurā jau ir daudz imitāciju, klonu un ēnas prakses. Turklāt Huawei etalona uzvedība, iespējams, ir visskarbākā, kāda vēl redzama, jo pastāv patiesi masveida veiktspējas rezultātu atšķirība ar ieslēgtu etalonu noteikšanas mehānismu salīdzinājumā ar to, kad tas ir izslēgts. Tik daudz, ka AnandTech atzīmēja, ka publiski pieejamo etalonu rezultātu atšķirības un viņu pašu iekšējie testi bija “ absolūti pārsteidzoši ”.

Huawei ir atbildējis uz uzzināšanu, un, kā mēs teicām iepriekš, viņu atbilde būtībā bija “ to dara arī visi pārējie ”. Ko viņi burtiski teica ( citāts no Huawei patērētāju biznesa grupas programmatūras prezidenta Vanga Čenglu) bija “ citi dara to pašu, iegūst augstus rezultātus, un Huawei nevar klusēt. Huawei vēlas nākt kopā ar citiem Ķīnā, lai atrastu labāko verifikācijas etalonu lietotāju pieredzei. ”

Dr Vangs arī norādīja uz citiem ražotājiem ar maldinošiem etalonu numuriem un kā lielāko vainīgo minēja nenosauktu populāru viedtālruņu ražotāju Ķīnā. Saskaņā ar Dr Wang teikto, etalonu krāpšana ir kļuvusi par 'izplatītu praksi Ķīnā', un, lai gan Huawei vēlas 'atvērties' patērētājiem, viņiem ir problēmas, kad konkurenti 'pastāvīgi publicē nereālus rezultātus'. Huawei mēģina stāties pretī lielākajām Ķīnas sacensībām - uzdevumu, kas šķietami apgrūtina, kad citi ierīču ražotāji ražo nereālus rezultātu numurus.

Rezumējot, Huawei

1. Atzīst, ka viņi manipulē ar etalonu skaitļiem
2. Atzīst, ka visi pārējie Ķīnas tālruņu tirgū to dara
3. Neplāno apstāties 2. numura dēļ.

Kā kāds var uzticību Ķīnas tālruņu tirgū pēc šāda veida lietām? Jebkurā gadījumā Huawei patiešām paziņoja, ka uzņēmums “ nodrošināt, ka trešās puses neatkarīgi pārbauda nākotnes etalonu datus ”.

Huawei nosūtīja pilnu atbildi XDA:

“Huawei vienmēr prioritāti piešķir lietotāju pieredzei, nevis augstu standartu sasniegšanai - it īpaši tāpēc, ka starp viedtālruņu etalonu un lietotāju pieredzi nav tiešas saiknes. Huawei viedtālruņi izmanto uzlabotas tehnoloģijas, piemēram, AI, lai optimizētu aparatūras, tostarp CPU, GPU un NPU, veiktspēju.

Kad kāds palaiž fotografēšanas lietotni vai spēlē grafiski intensīvu spēli, Huawei inteliģentā programmatūra rada vienmērīgu un stabilu lietotāja pieredzi, izmantojot visas aparatūras iespējas, vienlaikus pārvaldot ierīces temperatūru un enerģijas efektivitāti. Lietojumprogrammām, kas nav tik enerģijas ietilpīgas kā tīmekļa pārlūkošana, tā piešķirs tikai nepieciešamos resursus, lai nodrošinātu nepieciešamo veiktspēju.

Normālos etalonu scenārijos, kad Huawei programmatūra atpazīst etalona lietojumprogrammu, tā gudri pielāgojas “Performance Mode” un nodrošina optimālu veiktspēju. Huawei plāno nodrošināt lietotājiem piekļuvi “Performance Mode”, lai viņi pēc iespējas varētu izmantot savas ierīces maksimālo jaudu.

Huawei kā nozares līderis ir gatavs sadarboties ar partneriem, lai atrastu labākos etalonu standartus, kas varētu precīzi novērtēt lietotāju pieredzi. ”

Jebkurā gadījumā, taisnība skrēja etaloni AnandTech pārbaudīja Huawei P20, P20 Pro un Honor Play - un visas ierīces darbojās līdzīgi, jo tām visām ir viens un tas pats HiSilicon Kirin 970 SoC -, bet katras ierīces patieso darbību ierobežo termiskās robežas, jo katrai ierīcei ir atšķirīgs šasijas un dzesēšanas dizains. Huawei P20 Pro ir vislabākie termoaparāti, tāpēc patiesā veiktspējā tas darbojas labāk.

Redaktors AnandTech , Andrejs Frumusanu, teica:

'Iepriekš mēs esam redzējuši, ka pārdevēji faktiski paaugstina SoC frekvences vai bloķē tos līdz maksimālajam stāvoklim, paaugstinot veiktspēju, pārsniedzot vispārīgajām lietojumprogrammām pieejamo. Tas, ko Huawei tā vietā dara, palielina etalonu rādītājus, nonākot pie tā no otras puses - etalonuzdevumu lietojumprogrammas ir vienīgie izmantošanas gadījumi, kad SoC faktiski darbojas atbilstoši reklamētajam ātrumam. Tikmēr aparatūras termisko ierobežojumu dēļ visas pārējās reālās pasaules lietojumprogrammas tiek ievērojami ierobežotas zem šī stāvokļa. Tas, ko mēs galu galā redzam ar netraucētu veiktspēju, iespējams, ir neierobežota SoC “patiesā” forma, lai gan tas ir pilnīgi akadēmisks, salīdzinot ar lietotāju patieso pieredzi. ”

Viņu diagrammas parāda, ka Huawei jaunākie tālruņi patiesajā veiktspējas stāvoklī jau sasniedz 3,5–4,4 W, savukārt 3,5 W TDP ir maksimālā summa, ko var uzturēt. No otras puses, veicot publiski pieejamos kritērijus, tālrunis pārspēj ar TDP, ja jaudas rādītāji pārsniedz 6 W un sasniedz 8,5 W. Kā atzīmēja AnandTech, šie skaitļi ātri izraisa ierīces pārkaršanas paziņojumu, kas norāda uz termisko robežu neatbilstību programmatūras gaidām.

No šīs situācijas var secināt, ka patiesie veiktspējas rādītāji nav stabili, jo tie ir atkarīgi no tālruņa temperatūras. Huawei neliedz GPU sasniegt maksimālo GPU frekvences stāvokli. Noklusējuma uzvedība faktiski ir “skarbais termiskās droseles mehānisms […], kas mēģinās uzturēt ievērojami zemāku SoC temperatūras līmeni un kopējo enerģijas patēriņu”.

Tālruņu parastais režīms GPU etalonu laikā var sasniegt tādus pašus maksimālos enerģijas patēriņa rādītājus kā tie, kurus publicējuši bezroku varianti. Tomēr šie skaitļi ātri ievērojami samazinās, un AnandTech atzīmē, ka tālrunis dažos gadījumos droselē līdz 2,2 W, kas ievērojami samazina veiktspēju.

Publikācijā norādīts, ka krāpšanās uzvedība, šķiet, ir ieviesta tikai šī gada ierīcēs. Tādi tālruņi kā Huawei Mate 9 un Huawei P10 netiek ietekmēti, un šķiet, ka tas ietekmē tikai EMUI 8.0 un jaunākas ierīces. AnandTech arī Huawei teica, ka tā ir 'tīri programmatūras ieviešana', kas apstiprina publikācijas secinājumus.

AnandTech publicēja patiesos GPU veiktspējas rādītājus skartajiem Kirin 970 darbinātajiem tālruņiem, un secinājums ir tāds, ka Huawei ir ievērojami atpaliek no konkurentiem gan GPU veiktspējā, gan efektivitātē .

Publikācijā tika ievietoti arī Kirin 970 un Kirin 960 darbināmo Huawei ierīču jaudas salīdzināšanas grafiki. Grafiki parāda, ka Huawei jaudas ierobežošanas korekcijas faktiski ir labāk piemērotas lietotāja pieredzei, jo tās mazina lielāku enerģijas patēriņu. AnandTech veiktais Kirin 960 testēšana parādīja, ka tam ir “šausmīgas GPU jaudas īpašības”, savukārt Kirin 970 darbināmām ierīcēm ir jauns stingrs droseles mehānisms, kas samazina enerģijas patēriņu un temperatūru.

AnandTech arī minēja, ka jaunajai droseles politikai ir jēga, ņemot vērā faktu, ka gan Kirin 960, gan Kirin 970 parāda jaudas piesaisti, kas ir daudz augstāka par to ilgtspējīgo līmeni attiecīgajiem formas faktoriem.

Lai gan Huawei nav obligāti izdarījis neko nepareizu, ieviešot jaunu droseles mehānismu, viņi noteikti ir pārkāpuši krāpšanās slieksni, izslēdzot populāras etalonu lietojumprogrammas, izmantojot balto sarakstu, kas šajā gadījumā tiek dēvēts par etalonkrāpšanu.

UL, kas iegādājās Futuremark, PCMark un 3DMark kompāniju, ir izslēdzis Huawei P20, Huawei P20 Pro, Huawei Nova 3 un Honor Play no 3DMark.

Uzņēmums ir pārbaudījis Huawei P20 Pro, Huawei Nova 3 un Honor Play krāpšanos. Pamatojoties uz AnandTech testēšanu un ziņošanu, tā ir svītrojusi arī standarta Huawei P20. Lietotāji vairs nevarēs skatīt ietekmēto tālruņu etalona rezultātus, jo uzņēmums nevēlas uzņemt krāptus etalonu rādītājus.

Uzņēmums atklāja, ka publiskās 3DMark lietotnes rādītāji bija līdz 47% augstāki nekā privātās lietotnes (kas nav pieejama sabiedrībai) rādītāji, neskatoties uz to, ka testi ir identiski.

Paziņojumā UL piebilda, ka ir priecīgs redzēt, ka Huawei apņemas nākotnē pieņemt pārredzamāku pieeju. UL uzskata, ka izvēles veiktspējas režīmi, kurus var iestatīt lietotājs, ir atļauti saskaņā ar tā pašreizējiem noteikumiem, ja vien tie pēc noklusējuma ir atspējoti. Uzņēmums norāda: 'Ierīcei ir jādarbojas etalonu tā, it kā tā būtu jebkura cita lietojumprogramma.'

Visbeidzot, visus Huawei GPU veiktspējas etalonus, kas tika veikti, izmantojot publiski pieejamus etalonus, nevajadzētu uzskatīt par faktisko veiktspēju.

Huawei sazinājās ar UL, lai apspriestu paraugprakses paraugpraksi un izdeva paziņojumu:

“Huawei un UL (3DMark radītāji) šonedēļ ir veikuši visaptverošas diskusijas par etalonu veidošanas praksi un panākuši pozitīvu vienošanos par turpmākajiem soļiem kopīgā darbā.

Diskusijā Huawei paskaidroja, ka tās viedtālruņos tiek izmantots mākslīgais viedo resursu plānošanas mehānisms. Tā kā dažādiem scenārijiem ir atšķirīgas resursu vajadzības, jaunākie Huawei tālruņi izmanto inovatīvas tehnoloģijas, piemēram, mākslīgo intelektu, lai optimizētu resursu sadali tādā veidā, lai aparatūra varētu pilnā mērā parādīt savas iespējas, vienlaikus izpildot lietotāju prasības visos scenārijos.

UL saprot Huawei pieejas nolūku, taču iebilst pret to, ka pēc noklusējuma tiek piespiests izmantot “Performance Mode”, ja ierīce atklāj etalonu lietojumprogrammu. UL noteikumi prasa, lai ierīce darbinātu etalonu tā, it kā tā būtu jebkura cita lietojumprogramma.

Huawei respektē patērētāju tiesības izvēlēties, ko darīt ar savām ierīcēm. Tāpēc Huawei lietotājiem nodrošinās atvērtu piekļuvi “Performance Mode” režīmā EMUI 9.0, lai lietotājs varētu izvēlēties, kad izmantot savas ierīces maksimālo jaudu.

Huawei un UL ir apspriedušas arī pašreizējās kopējās etalonu testēšanas metodikas kopumā. UL un Huawei vēlas piedalīties nozares kustībā, lai izstrādātu etalonu standartus, kas vislabāk atbilst ražotāju, preses un patērētāju vajadzībām.

Lai novērstu neskaidrības par pašreizējiem salīdzinošās novērtēšanas rezultātiem, pēc diskusijas UL un Huawei uz laiku ir svītrojuši vairāku Huawei ierīču etalona rādītājus un atjaunos tos pēc tam, kad Huawei piešķirs visiem Huawei tālruņu lietotājiem piekļuvi veiktspējas režīmam. ”