После отчета во вторник о том, что Samsung искусственно завышает свои показатели в бенчмарках, авторитетный сайт аппаратных обзоров AnandTech опубликовал доказательства того, что почти все производители мобильных устройств, за исключением Apple и Motorola, используют оптимизации процессора/графического процессора для манипулирования результатами тестов.

Samsung и другие OEM-производители используют различные методы для повышения производительности устройств при обнаружении бенчмарка. Например, в своем Galaxy S 4 Samsung повысила свои тепловые пределы (и максимальную частоту графического процессора) для получения преимущества в определенных бенчмарках, а также повысила напряжение/частоту процессора до максимально возможного состояния при обнаружении бенчмарка — тактику, используемую многими производителями, такими как LG, HTC и ASUS.

В таблице ниже Anandtech выделяет устройства, которые обнаруживают бенчмарки и немедленно отвечают максимальной частотой процессора.

За исключением Apple и Motorola, буквально каждый OEM-производитель, с которым мы работали, поставляет (или поставлял) по крайней мере одно устройство, которое использует эту глупую оптимизацию процессора. Возможно, старые устройства Motorola делали то же самое, но ни одно из новых устройств, которые у нас есть, не продемонстрировало такого поведения. Это системная проблема, которая, по-видимому, возникла за последние два года и выходит далеко за рамки Samsung.

AnandTech отмечает, что это постоянная игра в «кошки-мышки», поскольку приходится выяснять, какие устройства оптимизированы для каких бенчмарков, и избегать таргетированных бенчмарков.

Единственное реалистичное решение — постоянно развивать набор тестов, опережая тех, кто оптимизируется под них. Чем больше внимания привлекается к определенным бенчмаркам, тем вероятнее, что ими будут манипулировать. Мы постоянно играем в эту игру в кошки-мышки на стороне ПК, и это еще более расстраивает в мобильном сегменте, поскольку хороших бенчмарков изначально не так много. […]

Здесь нет единственного решения, а скорее многогранный подход, чтобы убедиться, что мы впереди. Нам нужно продолжать обновлять наш набор тестов, чтобы опережать агрессивные оптимизации OEM-производителей, нам нужно обращаться к OEM-производителям с просьбой прекратить это безумие, нам нужно работать с поставщиками бенчмарков, чтобы обнаруживать и отключать оптимизации по мере их возникновения и избегать легко манипулируемых бенчмарков.

Несмотря на все усилия OEM-производителей по оптимизации бенчмарков, прирост незначителен. Влияние на тесты процессора показало увеличение производительности от 0 до 5 процентов, а на бенчмарки графического процессора — менее 10 процентов.