BDTI разработает абсолютно новую систему измерения производительности устройств

Зачастую производительность и время автономной работы смартфона или планшета не совпадает с данными, заявленными компанией, изготовившей устройство. Тесты, используемые для оценки параметров электронных устройств, несовершенны. Исправить ситуацию взялась компания Berkeley Design Technology (BDTI), которая собирается разработать совершенно новую систему тестов. Она будет основываться на «пользовательском опыте», то есть на том, как человек использует свой смартфон или планшет, а также на характеристиках устройства.

На основании этих данных будут составляться «режимы использования», например, просмотр веб-страниц, видео, телефонные звонки и так далее, производительность в которых и будут оценивать новые бенчмарки. «Когда мы посмотрели на тесты, которые люди используют, мы были просто напуганы тем, насколько плохи некоторые из них. Мы увидели возможность для улучшения ситуации и возможность обеспечить промышленность лучшей метрикой», — сказал Джефф Биер (Jeff Bier), президент и основатель BDTI.

Важность методов измерения производительности электронных устройств трудно переоценить, ведь зачастую при продвижении своих продуктов компании используют результаты различных тестов, стараясь таким образом показать превосходство своих решений над решениями конкурентов. Однако производители используют разные методики оценки, в результате чего сравнение получается необъективным. Кроме того, многие бенчмарки не отражают реального положения вещей. BDTI же хочет разработать объективную систему оценки, которая стала бы неким промышленным стандартом. Джефф Биер сравнил оценку производительности смартфона с оценкой мощности автомобиля, при которой во внимание принимается качество топлива, шин и другие характеристики. То есть BDTI предлагает комплексный подход.

С необходимостью создания подобных бенчмарков согласны все участники индустрии, кроме, пожалуй, маркетологов. «В последние десять лет бенчмарки были в ужасном состоянии», — говорит Патрик Мурхед (Patrick Moorhead), основатель и президент Moor Insights and Strategy. — «Тесты вводят потребителей в заблуждение, в результате те покупают не то, что хотели. Многие бенчмарки синтетические по своей природе, они не в состоянии соотнести показатели тестов с реальными моделями использования. Другими бенчмарками легко манипулировать».

BDTI не собирается использовать в своих тестах отдельную оценку процессора и графической системы, так как каждый из этих показателей в отдельности не отражает реальной производительности и не учитывает реальных сценариев использования. Например, графическая подсистема может быть достаточно мощной, но из-за высокого разрешения экрана мощности хватать не будет.

О популярном бенчмарке AnTuTu Джефф Биер отозвался как о чрезвычайно закрытом и непрозрачном. Кроме того, бенчмарк AnTuTu недавно был разоблачен аналитиком Tirias Research Джимом Макгрегором, который наглядно показал противоречивость результатов. Впрочем, в AnTuTu Labs критику назвали клеветой.

BDTI планирует выпустить свой бенчмарк в начале следующего года. Компании уже удалось привлечь таких партнеров, как Qualcomm и Tencent. При этом BDTI не хочет создавать консорциум, так как, по мнению Биер, их работа неэффективна. В последний раз компании объединялись для создания эффективного бенчмарка в 2011 году. Попытка завершилась провалом, AMD вышла из консорциума BAPCO из-за разногласий по поводу методов измерения.

Материалы по теме: