Ждём Ваших отзывов о материале.
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!

ни о чём

а мне казалось, что для тестирования игр есть свой штат сотрудников и/или просто в районе, где компания находится (или в инете, для онлайновых игр) объявляют о закрытом тесте для желающих.

о чем статья - о тестировании игр или о программах, позволяющих точнее тестировать железо на играх?

Очень хорошая статья, я давно говорил что измерение сфеерического коня в вакуме в еденицах игр это наоборот дальше от народа чем ближе. Ну и ФРАПС как всегда рулит, надеюсь тут дальше будет больше интересных, актуальных, разносторонних игр тестироватся, а не одно и тоже.

резюме как то не понятно
НУЖЕН ВЫВОД ! не вижу выводов ! или не понимаю

Я даже больше скажу. Только фрапсом и подобными утилитами можно получить адекватный результат. При проигрывании демок не активен AI, скрипты (это все записано), зачастую выключен звук. Тем не менее часто вижу в сети тесты процессоров в играх, сделанные при минимальной графике (уже смешно, никто же из покупателей современных камней не будет так делать) проигрыванием демок. Информативность их - 0 (ноль, дырка от бублика).
Автору респект

Вывод? FRAPS можно использовать для тестирования игр, вопреки позиции ряда авторов (ixbt и другие). Это продолжение знаменитого спора, возможно, ты не в курсе просто.

А теперь о выводе, который не был сделан. Avg fps, действительно, весьма стабилен в большинстве игр. А вот min fps... тут разница составляла 20% и более, когда avg был в пределах 4%. Отсюда вывод: НЕ СТОИТ СЛИШКОМ МНОГО ВНИМАНИЯ ОБРАЩАТЬ НА минимальный fps в тестах, если не делалось несколько прогонов. Он может различаться от прогона к прогону на 20, 25%, без всяких "усилий" со стороны тестовой системы. Либо автору надо усреднять минимум 3 прогона, либо читателю игнорировать указанный в тестах минимальный fps.

Кроме того, ни в коем случае нельзя назвать разницу avg fps в 10% "допустимой". Максимум ДОПУСТИМОГО - это 5%, и то, в общем-то, порой разница между картами-конкурентами бывает меньше.
Добавлено спустя 46 секунд
Да, и "неидеальна, но идентична" - это ужас. Идентичный = совпадающий. Где же оно совпадает? Правильно: 1) не совпадают, 2) сходны, 3) весьма сходны, 4) практически идентичны. С этими 4 градациями можно работать.

Не понял, а как эти бенчмарки возникли? В играх где есть встроенный бенч - понятно, а там где нет как получить такие результаты?
Как-то можно записать свою "трассу", или демку, или последовательность нажатий клавиш и поворота мыши? Как это вообще правильно делается?

Так, для примера про PT-Boats: Knights of the Sea



Вывод: ваша методика и FRAPS необъективны и в чем дело при провалах ни черта объяснить не могут.

Берем правильный инструмент, к примеру отладчик PIX под DirectX и видим все провалы и анализируем причины, я на ПС вкратце рассказывал:

#77

Цифры, выдаваемые бенчмарком по минимальному фпс, туфтовые. Да и другими бенчами, так как мгновенный практически никто не измеряет.

о чём статья та? фрапс подходит только для сбора данных ! но не как не для сравнения! даже во встроенных бенчах есть погрешность, а с фрапсом у вас погрешность увеличиться может до 10%!

А нужно? Не достаточно констатировать, что бенчмарк этой конкретной игры имеет неприемлемый разброс fps при прогонах и "забить" на ее использование в тестах видео вообще?
Добавлено спустя 1 минуту, 31 секунду

Где же, где "... что подтверждается" со ссылкой на источник информации? Теоретические выкладки с ixbt без проведения реальных тестов не предлагать.

Я просто не так выразился второпях. Правильнее сказать что на avg графике почти никогда не видно проблем. когда они на самом деле уже есть, ну а настоящий минимум никто толком не умеет мерить

Или я отстал от жизни, или залман таки научился делать кулера: - или автор чтото скрывает, или у него какйто секретный заман! Который может выдержать квад на 1.616в и 3.8ГГц!!!
1985god Там выводов много - после каждого бенча
Ах, да, особенно коробило от этого: - так она является или всётаки не критичной?? Переформулировать фразу можно просто - это не критическая погрешность - звучит мягче и понятней, или "эта погрешность не является критической".

...Чтобы подобрать грамотную методику тестирования для использования этой утилиты, надо подобрать сцену, не изобилующую боестолкновениями и спецэффектами. Для таких методик хорошо подходят сцены пробежек главного героя по местности и автогонки. В случае сцен с боевыми действиями надо подбирать сцену со скриптовыми действиями противников, например бой Маркуса с боссом-пауком в Gears of War...
ха-ха и что тогда замерять будем???картинку что ли? бенчи и сделаны для того что бы замерять ИГРОВУЮ ситуацию! а фрапсом вы никак не замерите игровую ситуацию ибо вы не компьютер и не сможете одновременно например стрелять в противника на протяжении пары минут 3 раза хотябы! вот и выходит что фрапс годен лишь для тех кто играет просто посмотреть сколько выдаёт кадров во время игры, но не как не для статистики! вы просто не сможете сделать НАСЫЩЕННЫЙ ИГРОВОЙ сюжет 100% ОДНОТИПНЫЙ несколько раз! фрапсом для статистики можно замерять лишь главное меню в играх ))))

По-моему стоило ещё проверить игры, в которых есть встроенный тест производительности ещё одновременно с FRAPSом и сравнить результаты. Тогда хоть можно было бы сразу сказать, сильно ли врёт FRAPS относительно встроенного бенча.

Вопрос к автору - дорогой автор, тебе о чем-нибудь говорят такие вещи как дисперсия, средне-квадратичное отклонение, доверительная вероятность, коэффициент Стьюдента, и т.д. и т.п.;
вообще, про определение погрешностей измерений что-нибудь знаешь??

и
да здесь и залман и квад секретные.
Статья ниочём, и зачем нужна вообще... Просто текст и картинки, причем неинтересно.

Да здравая мысль была взять бенчь а потом фрапсом прогнать. Еще надо было попробовать разные отрывки игры какойнить фрапсом покрутить.

Darth_Maul_x3

Статья о том что задолбали тестить 4-5 игр часто не популярных из за того что там есть встроенные бенчи или крутить записанные демки. А текст и картинки наглядно продемонстврировали что в этом нет никакой нужды ибо что в демках что в ФРАПСе есть разхождения весомые и не весомые в зависимости от игр.

Все это доказывает только то что крутить встроенные демки в статьях можно только ради экономии времени.

Хорошая статья, но главное чтобы это все теперь использовалось на практике. Т.е. очень хотелось бы например при тестировании новой видеокарты увидеть тесты в достаточном кол-ве современных игр, а не только тех, в которых есть встроенный бенчмарк.
По поводу FRAPS'a - то я уже 4 года использую его для сравнения производительности, для личной статистики так сказать. Причем я даже не заморачиваюсь с демками, а просто прохожу примерно одинаковым путем один и тот же уровень на разных настройках графики или разных видеокартах - для оценки минимального/среднего FPS этого вполне достаточно, а соотвественно можно и судить о производительности.

Darth_Maul_x3 Точно, муху увидел, а слона не приметил: - странная какаято частота Да и множитель чтото низковат(хотяб х6, ну или х9 - как в номинале)