Logo pl.androidermagazine.com
Logo pl.androidermagazine.com

Jak oszukiwać w testach porównawczych (i dlaczego powinniśmy lekceważyć ich znaczenie)

Anonim

Testy porównawcze mogą być przydatne, niezależnie od tego, czy mówimy na urządzeniach mobilnych, czy na innym sprzęcie komputerowym. Jest jednak problem - musisz polegać na tym, że wszyscy są uczciwi. Pozwól mi wyjaśnić. Za każdym razem, gdy zobaczysz wideo lub zrzut ekranu z wyniku testu porównawczego, naprawdę widzisz miarę interakcji oprogramowania ze sprzętem. Są z tym dwa duże problemy: na żadnym telefonie z Androidem nie ma tego samego oprogramowania i zawsze jest jakiś żartowniś, który chce oszukiwać. ostatnio nasz kumpel John z Phone Arena zauważył wyniki Quadrant nowego telefonu, które są po prostu zbyt niskie w porównaniu z innymi wymienionymi telefonami. I dobrze dla Johna za wskazanie tego.

Oczywiście testy porównawcze mogą być świetną zabawą, na przykład zobaczyć, jak niewielki wpływ ma interfejs użytkownika LG na Optimus 2X w porównaniu do Stock Froyo, i mogą być przydatne, jeśli uruchamiasz je samodzielnie, aby ocenić zmiany, które wprowadzasz w swoim oprogramowaniu. Ale to już koniec. Ocenę wydajności opieramy na wydajności, a nie na liczbach.

Jest zbyt cholernie łatwy do oszukiwania we wszystkich testach porównawczych, ponieważ są to tylko aplikacje na Androida. Spójrz na wszystkich innych magicznych ludzi, którzy robią z aplikacjami na Androida, i zadaj sobie pytanie - czy testy porównawcze są tak różne, że nie można ich „zhakować”? Odpowiedź brzmi: nie, a my pokażemy ci, jak hakować w najłatwiejszym (ale zdecydowanie nie jedynym) manipulatorze, Kwadrancie.

Sprawdź to po skoku.

Rzućmy okiem na dokładnie to, co zamierzamy tutaj zrobić, dzięki magii wideo.

Link do YouTube do oglądania na urządzeniach mobilnych

W tym przykładzie będziesz musiał zostać zrootowany. Istnieje wiele innych sposobów oszukiwania na nieukorzenionych telefonach poprzez edycję kodu i przebudowę samej aplikacji, ale ten prosty sposób wymaga rootowania. Będziesz także potrzebował kilku narzędzi:

  • Niech działa adb z dostępem do roota w powłoce.
  • Quadrant Standard z Android Market. W naszym demo zastosowaliśmy Quadrant Advanced, ponieważ tak łatwo jest zobaczyć oszustwo. Będziesz chciał użyć standardu, ponieważ tak łatwo jest zobaczyć oszustwo.
  • Panel systemowy (lub dowolna aplikacja, która może zabić wszystkie procesy) z Android Market.
  • SetCPU z Android Market lub równoważny (jeśli masz podkręcone jądro).
  • Dwie ręce, klawiatura i brak sumienia.

Zainstaluj wszystkie aplikacje i uruchom ponownie telefon. Odstaw na 5–10 minut, aby synchronizacja i skanowanie się zakończyły, a następnie uruchom Quadrant (patrz strona „przed” na powyższym obrazku), aby poznać prawdę.

Podłącz telefon do komputera i wprowadź powłokę. Jako root uruchom następującą komendę:

mount -t tmpfs tmpfs /data/data/com.aurorasoftworks.quadrant.ui.standard

Wpisz dokładnie tak, jak napisano. To, co robi, jest proste - części we / wy wszystkich telefonów są największym wąskim gardłem, dlatego przenosimy folder danych Kwadrantu z pamięci fizycznej do pamięci RAM. Pamięć RAM jest dobra. Czytanie i pisanie jest szybkie. Super szybko. Znika po ponownym uruchomieniu, więc łatwo jest przywrócić normalne działanie.

Następnie chcemy anulować dowolny efekt skalowania procesora. Kto musi oszczędzać baterię, chcemy najwyższych wyników! Uruchom SetCPU i podkręć taktowanie procesora tak wysokie, jak to możliwe, i wybierz „wydajność” jako regulator procesora. Dzięki temu wszystko będzie działało z najwyższą prędkością przez cały czas.

Teraz używaj dowolnej aplikacji, którą wybrałeś (używam Panelu Systemu do monitorowania rzeczy, i zawiera przerażające kill-all jako dodatkową funkcję), aby zabić wszystkie zadania w tle. Jeśli możesz zabić procesy systemowe, jeszcze lepiej. Nie obchodzi nas, jak dobrze działa telefon, tylko jak wysokie są liczby.

Odpal Quadrant i przeprowadź test porównawczy. Uruchom go dwa lub trzy razy, aby się uspokoić, a następnie zacznij robić zrzuty ekranu. Uświadom sobie, jak łatwo to zrobić, a następnie wyobraź sobie, jakie inne kody można zrobić, dokonując inżynierii wstecznej aplikacji testowych i zmieniając matematykę używaną do zapisywania wyników. Dodaj kilka innych sztuczek, takich jak zmiana linii lub dwóch w pliku build.prop, aby zawyżić wyniki procesora, a będziesz złoty. Zanim ktoś powie „Tak, ale używam Bechmark xyz9000 Pro i nie można oszukiwać w tym”. Tak, możesz. Nawet ja mogę i jest mnóstwo ludzi o wiele bardziej utalentowanych niż ja. Wierz tylko w testy porównawcze, które używają wielu mierników i przewodów z migającymi światłami, ponieważ wszystko inne to tylko oprogramowanie, które ktoś może zhakować.

Teraz boisko jest równe. Gratulacje, jesteś oszustem.