а тогда кто?

Добавлено спустя 3 минуты 33 секунды:
лан, забыли. у меня свои скакуны. и клава g15, и команды cmd я люблю, поэтому и спросил за первое, раз со вторым так все плохо =))
Вот думаю поперло, наконец доработаю пачку своих батников, еще и на шару. Не судьба

Выход из игры в скрипте можно заменить на ALT+F4

что бы было понятней о чем речь, пример самого простого:

все, чего не хватает - добавить переменные, что бы батник спросил название видеокарты, соответственно в пути загонится полученная переменная. По желанию так же добавляются переменные для выбора разрешений и версии дров. Установку частот держит с командной строки Afterburner...
десяток актуальных игр тестируются одним кликом. запустил - и сутки колбасы
вынимать данные и строить графики - уже отдельный разговор, но так же без проблем реализуемый средствами винды.

Угу, а некоторые игры потом запускаются в безопасном режиме со сбросом настроек.
Редко, но метко. И всегда в самый ненужный момент. Лучше перестраховаться, имхо.
Factotum
Оказывается, не я один такой леньтяй в сторону автоматизации копал.

Ну а что делать с играми, в которых встроенных тестов нет? Там уже так просто не отделаться.

Я именно это и имел ввиду. Т.е. чтобы пользователю, допустим, самостоятельно захочется проверить результаты тестирования своей системы с помощью этих же скриптов, то придется сколько-то времени возиться с подгоном под свою систему. А это не каждый захочет/сможет сделать.
Что же касается тестеров, то им эти скрипты не нужны, так как автоматизация процесса тестирования хороша лишь с точки зрения снижения затрат времени, но никак и никогда с точки зрения достоверности результатов. Потому что нужно наблюдать за процессом, участвовать в нём, корректировать его во время тестирования, варьируя те или иные настройки, а не уходить обедать или садиться за другой комп с набиванием текстов. Вот увидите, получив просто уйму чисел FPS после, допустим 20 прогнанных автоматом тестов, и построив по ним диаграммы, вопросов и недоверия от читателей будет больше, чем при обычном тестировании. А вот ответить вы на них не сможете, так как вы просто не видели почему получились те FPS, а не иные. Или сидеть и наблюдать весь процесс? Тогда в чём же смысл?
И, кстати, а что произойдет, если во время теста какая-то игра зависнет? Заново начинать весь скрипт? Всё насмарку. Это мысли вслух, конечно, можно не отвечать.

KoTb писал(а):

А можно про borderlands подробней - что за бенч?

http://www.fcenter.ru/fcconfa/viewtopic.php?f=6&t=65782


Вот-вот. И таких "сюрпризов" просто уйма будет "на автомате".

я пришел подсматривать, а тут выходит что подсказывать. не, не пойдет

Добавлено спустя 5 минут 27 секунд:
зы. рад видеть Jordan(а)

#77


Левый стенд+Dell и правый стенд+Acer сейчас трудятся на славу процессорного сегмента. Неттоп (Pentium G6950+H55)+LG служит печатной машинкой.

В будущем стенд+Dell будет тестировать видеокарты, стенд+Acer - процессоры.

Добавлено спустя 13 минут 7 секунд:

Это дело наработок и опыта. Если какая-то игра вылетает - без проблем правлю скрипт (делаю копию) и запускаю с этой точки.

Работаю на центральном мониторе. Периферийным зрением улавливаю что творится на соседних мониторах. Контролировать весь процесс не проблема, нужен только навык.

Во первых не везде и не всегда, а во вторых - время, необходимое на подгонку скрипта под конкретно взятую систему не слишком велико, если знать в какую сторону копать. Работы ещё ведутся, и количество мест в коде, которые могут потребовать подгонки - постараюсь максимально сократить. Это вполне реализуемо.
З.Ы. Ориентироваться на всех - неправильно. Правильней ориентироваться именно на тех, кто хочет/может что то сделать. Кто не хочет - тому и не надо.

Тут уж у каждого своё мнение. На мой взгляд, достоверность результатов выше, когда тест отлажен/автоматизирован и понаблюдать за процессом кроме автора может и любой читатель, который проявляет к сабжу интерес.
Вопросы точности прохождения тестовой сцены решаются скриншотами начала/окончания замера производительности.
Частично наблюдать за процессом тоже никто не мешает.

Частичная перепроверка спорных результатов под чутким контролем - быстрее, чем тестировать всё вручную.

Подлый вопрос.
Вообще, случаи зависания игр при отсутствии переразгона редки. Да и порядок запуска игр можно сформировать так, что самые часто-зависающие(или вызывающие недоверие) будут тестироваться в конце. И заново можно будет начать не весь скрипт.

Будет будет. Моя цель - минимизировать вероятность появления сюрпризов.
Factotum

Поддержу Ivan_FCB.

Вот скрипты с моей ПС. Внизу идут диаграммы повторяемости и расписаны подводные камни:
Arcania - Gothic 4 (Фишир)
Battlefield Bad Company 2 (Сила множителя)
Borderlands (Бесплодные земли)
Dragon Age Origins (Остагар)
Far Cry 2 (Первая поездка)
Kane & Lynch 2 - Dog Days (Удар с воздуха)
Mass Effect 2 (Суд Тали)
Need for Speed SHIFT (Гонка на время Лондон)
Prototype (Тогда и Сейчас)
Splinter Cell - Conviction (Мемориал Линкольна)
StarCraft 2: Wings of Liberty (В кромешной тьме)

налетай пацаны! все равно они вам не подойдут
лучше пойду от греха подальше, и так уже прослезился несколько раз, чего только стоило

Fulminatrix
Каждый видит то, что он хочет видеть.
Разброс результатов между смежными запусками тестовой сцены не так важен, если итоговые цифры нескольких бенчей не сильно разнятся между собой. Тут ведь железки в равных условиях.
З.Ы. У феникса цифры другие, разбросы меньше. Ещё поизучаю что он там накодил. Хотя, опыта тестирования производительности в играх у него гораздо больше - возможно сцены им подобраны удачнее.

Ivan_FCB
Спасибо за идею! Может быть макросы Logitech G11/15 будут легче при тех же результатах, но главное есть повод задуматься

вопрос не в легкости. в скриптах нет сложности, сложность в нахождении универсального подхода, а он пока в поиске для этой ветки..

Насчет сцен и минимального FPS: имхо разница в AI и физике - поведение незаскриптованных ботов может меняться от прогона к прогону, и разлет частиц, скажем, при сносе дерева танком во многом рандомный.

Ага вот так я недавно и попал, прогонял несколько тестов подряд и не заметил что игра глюканула и сменила сменила разрешение на 800*600, а тест крутится , на экране все почти как должно быть. Потом смотрю результаты просто космические, ничего понять не могу, также может AA глюкануть, у меня в фаркрае 2 так бывало, вместо AA8 запускалось в каком то левом режиме и по краю предметов пила, но не стоячая, а очень быстро бегающая, была и результат очень высокий и со стороны не сразу заметно..
Не, я не против скриптов, но и о таких штуках помнить надо.

Работа стоящая, зачет.
Странно, что игры для оценки производительности используется уже давно, а вот использовать скрипты решили только сейчас.
В таком случае, далее нужен скрипт для построения графиков на основе полученных данных, и скрипт, пишущий статью по этим графикам.
Робот станет лучшим автором на оверах!

А если серьезно, то насколько велика разница между замерами скриптом и вручную? Думаю это самый главный вопрос. Также стоит избегать ситуаций, когда персонаж стоит на месте неподвижно, в таких случаях фпс может подскакивать вверх, внося кашу в результаты. И конечно, не смотреть вверх в небо и под ноги - в такие моменты фпс мгновенно подпрыгивает в 2-3 раза.

При серьёзном подходе - разницы не будет, вопрос в трудозатратах и способностях человека сидеть весь день у монитора и многократно воспроизводить последовательность действий.

Вполне может быть. А вообще, факторов, влияющих на минимальный FPS много и вычислить какой то один забывая про все остальные - неправильно.

При ручных прогонах это мега геморрой. С теми же скриптами нужно еще и движения мыши записывать (такой софт есть, но не уверен, что в играх будет работать).

Старается каждый, а вот получается не у всех. Идеальный способ должен вовсе исключить человеческий фактор.

Нужно перебирать эти факторы один за другим.
Сейчас посмотрел внимательно запись Battlefield - во второй половине ролика погрешности вылезают весьма значительно. Дерево сшибается по-разному, грузовик во второй и четвертый прогон подбили с первого раза, в первый лишь со второго, в третий вроде вообще не попали. И конечные остановки возле стены сильно отличаются по углу обзора.

Делать 500 прогонов и усреднять результат не есть хорошо. Решение всех проблем это запись timedemo, но далеко не все игры поддерживают такую возможность. Думаем дальше

Тут вопрос зависит от того чем будем жертвовать. Либо идеальной точностью/воспроизводимостью, либо уровнем нагрузки на систему/приближенностью к реальному игровому процессу. Можно сделать простейшую прогулку по тропинке, но будет ли это отражением игрового процесса? Сомнительно.
Надо искать тонкую грань и идти по ней, имхо.

Как уже правильно подмечено - не везде можно.

Эти моменты всегда учитываются.


100% не будет работать, т.к. в 2D меню и в виртуальной реальности абсолютно разная система координат. Я очень долго пытался приручить мышку, но так и не смог этого сделать.