Ждём Ваших отзывов о материале.
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!

ух ты как...пусть опыт обретает но НЕ ПУБЛИКУЕТ все это безобразие..на графоманию смахивает...

Norma Jeane
Уважаемый, я хз ху из ты, 90% бот. Поэтому кроме научного популизма будь добр, опубликуй свой труд на ПС, а уж кому его заценить - найдутся.

Phoenix_ ,
Время моей регистрации не может сказать тебе о том, чей я бот, твинк и т.д.
Мне незачем наводить справки об авторе той или иной статьи ибо я не против автора, а за истину (Платон мне друг но истина дороже).
Статью твою о целесообразности использовании фрапса, как инструмента для тестирования я читал, в тот же или на следующий день после ее публикации.
Теперь послушай о чем идет речь.
Сначала о твоем поговорим, а потом о моем.
Возьмем самую первую игру Assassins Creed(она фрапсом тестирована?Почему это не написано в методике тестирования??Это риторические вопросы). Из статьи "Современные методы тестирования комплектующих в играх"следует, что сам фрапс, может давать колебания в 3 фпс.(за первый проход было 30, за третий 27) - как минимальное значение, и как среднее в 1 фпс (скажем за первый проход было 50 фпс, а за второй 49). Точность - на уровне целых, ибо ты не приводил десятые.
Здесь же в этой статье - ты утверждаешь, что разница в 0.7 фпс (прирост при переходе от 9.5 к 9.6 с 45.8 до 46.5) обусловлена только драйверами..а о том что сам фрапс влияет на 1 фпс..(тобой же это показано )), об этом ты забываешь)..
Теперь вопрос: увеличение производительности на 0.7 фпс - это действительно за счет более оптимизированных драйверов (хоть на чуточку) или это случайный эффект, обусловленный фрапсом? (не обязательно фрапсом, скажем процесс interrupts, взял и начал загружать проц не на 1% а на 7%,..вот и все). Но ты безосновательно утверждаешь, что эти 2% именно за счет драйверов (так следует из статьи"Драйверы видеокарт ATI (AMD) и NVIDIA - июнь 2009.")
И так далее, в таком же духе...
А вот и не следует ничего из той статьи)).Сделать тест, и записать цифры, да это труд, но каждый труд должен быть целесообразен. И если делать что то, так на совесть. И не лениться, а сделать тест, нормальный, пусть и затратить на него втрое-вчетверо больше времени.
Если ты можешь доказать, что именно те 0.7 фпс, в игре Assassins Creed, обусловленны именно оптимизацией драйверов, а не фрапсом, или иными сотнями случайных факторов..так доказательство нужно навести, если не можешь и думаешь продолжать в таком же духе-возьмись за задачу попроще. Ибо нужно сделать соответствующие расчеты, но конечно лучше махнуть рукой, и съекономить время.
Возьми Gears of War, фрапс прыгает в 4 фпс (для мин. значений) и в 2 фпс (для средних). Но ты почему то решаешь, что ухудшение производительности с 47.7 (на каталисте 9.5) до 46.7 (на каталисте 9.6) в 1 фпс - это дело рук драйверов..различие в условия тестирования, в той и этой статье, может показывать иные цифры, но факт остается фактом и суть неизменна, ты не доказал что увеличение/уменьшение фпс, в каждой игре, обусловлено именно драйверами, а не фрапсом или сотней иных факторов..
Пойми, это важно, не в фрапсе дело вообще, я о нем говорю, лишь потому, что ты дал ссылку на статью оправдывающую использование фрапса, и мне стало ясно, что я не понят. Дело не в фрапсе, а в том, что если нужно вылавливать такие тонкие вещи, то нужно существенно менять методику тестирования, и отходить от банальностей, три измерения - чье среднее больше, тот и победитель.Ясно?
Второе: никакие вопросы не рассмотрены в той твоей статье. Почему?...Еще раз повторюсь. Если ты делаешь опыт, и получаешь какой либо результат, то должен навести и погрешность.Сам результат, без рассчитанной погрешности - ничто.
Забудь о фрапсе и просто смотри на цифры: 45.8 фпс и 46.5 фпс, у тебя не возникает мысль, а где же доверительный интервал каждой величины?
Где проверка, что обе выборки (чьи матожидания, 45.8 и 46.5 ) подчиняются гауссовскому распределению??Где проверка гипотезы на равенство матожиданий, на равенство дисперсий двух выборок (одна сформирована исходя из данных полученных на драйвере 9.5 скажем, иная на 9.6).
Где расчеты, где анализ??ничего этого нет.
С точки зрения статистики, все твои выводы необоснованные, поэтому их ценность нулевая.
Daimler прав, ибо статья скорее носит школьный характер, и не играет роли сколько лет ты тестируешь железо,софт и т.д. Я говорю как нужно правильно тестировать, а не делать из статей ширпотреб.
Или ты думал достаточно запустить бенчмарк, записать средний и минимальный фпс, и сделать диаграмму и всего-то делов??
В некоторых тестах да, этого может быть достаточно. Но этого точно не достаточно, чтобы выловить такие тонкие эффекты, как разница в производительности драйверов скажем за месяц. Здесь нужен совершенно иной, серьезный подход. Если цель конечно стоит того)).
P.S. Прости за фамильярдность. Я понимаю, что со своими правилами в гости не ходят, но статистику советую изучить (и вместо рассказов о красных дипломах, лучше сделай тест по-людски)
Добавлено спустя 20 минут, 2 секунды
amdfan, Недостаточно просто сказать "укладывается в погрешность", это на глаз так оно кажется, что может быть оно укладется в погрешность, которую никто не искал. А чтобы сделать так как нужно, ответ на этот вопрос дают критерии, которые необходимо применить, чтобы проверить статистическую гипотезу. Не веришь - ответь на вопрос, какая вероятность того, что в игре Gears of War, скажем, падение фпс в 1%, обусловлено именно драйвером или в игре Call of Duty 4: Modern Warfare - увеличение на 5%. Ответа нет и не будет, ибо недостаточно данных, потому что все делалось на глаз..

я на помойках не публикуюсь...привык к лучшему...так уж меня воспитали...
Добавлено спустя 2 минуты, 10 секунд
glazy
ты ошипся ресурсом....здесь только фанаты, нубы и ламеры....какой им нафик Байесс и Колмогоров...ты что?? деградация оверсов уже даже не по экспоненте идет...статьи выкладывают кому не лень...за кач-вом никто не следит..главное все увешать рекламой...

... и добавлением новых. Драйверы после 182 мне очень не нравятся, 185.85 так сразу заработали довольно криво, в 186 ситуация намного не улучшилась. Да и SSAO - фича сомнительной нужности, я ее только в новом Риддике увидел (с которым 182 тормозили).
Добавлено спустя 5 минут, 35 секунд
Добавлю.
Замер количественных параметров мало о чем говорит. Анализ и поиск ошибок рендеринга где? Или я слепуша?

какие все вумные

Статья пустая тpата вpемени , 99 пpоцентов гpафиков ничего не доказывают , по всем гpафикам можно сказать, что это погpешность измеpения 1 до 5 фпс.
Нужно было сpавнивать дpайвеpа в момент выхода 250GTS и HD4850 и взять самые новейшие дpайвеpа сейчас и пpотестиpовать , тогда можно было бы увидеть пpоделанную pаботу того или иного пpоизводителя видео каpт.

Если в методике тестирования имеется 3-5% погрешность, то почему в данной статье эта же разница в 3-5% превозносится как заслуга драйверов?
Ежемесячное тестирование всех подряд дров - пустая трата времени. Полезней будет проверять прирост от новых драйверов только если и когда таковой официально объявлен. Ведь не каждый раз в официальных заметках пишут о приростах, так зачем надо тестить эти драйвера и тратить не мало времени? Или кто думает что программисты нечаянно что-то подкрутят, а менеджеры пропустят? Вот проверять честность заявлений о волшебных 20-30 и более процентах однозначно стоит, и никто уже не укажет что в методике де погрешность равна заявляемому приросту фпс.

Maco&LAV48ban
Да-да надо было взять дрова на выходе новых карт и сейчашешние, вот тогда бы и увидели кто лучше старается AMD или Nvidia....
Ну или хотя бы подревнее взять дрова не майские\июньские, а февральские\июньские.....
И побольше образцов для тестирования
спасибо за статью...

glazy
Приношу извинения за то, что обозвал тебя ботом. Вижу что ошибся.

Твои доводы верны. Но моя ошибка в том, что я в статье я не расписал подробно методу тестов.

Все игры прогонялись три раза, рез-т брался среднестатистический - погрешности взяты из него. Если были сомнения в рез-х теста какой-то конкретной игры, она перетестировалась заново.

Если брать твой подход, то любые тесты дают неточный рез-т по определению. И можно подкопаться к любому автору в рунете.

Вообще доверие к статье строится на доверии к ее автору (его репутации и профессионализму). Ибо обработка рез-в, их комментарии и конечные выводы - это субъективная работа автора.
Добавлено спустя 2 минуты, 19 секунд
Maco&LAV48ban, Ysts
Смотрите мой ответ glazy.

Leonator

Это совершенно иная тема. Подобные материалы пока писать не планирую.
Добавлено спустя 1 минуту, 4 секунды
Norma Jeane
Ну так вали на свою помойку и не вылазь с нее (не буду указывать прописку).

Довольно полезная статья, сразу видно есть ли смысл менять дрова или нет, лично я обновляю себе дрова раз в пол года или при проблемах, или значительных обещанных улучшениях которых обычно довольно мало

Дрова меняют впервую очередь для исправления ошибок.

Phoenix_ Речь то не о доверии, а о трактовке результатов. Как уже писали выше, понятно что столь малые колебания фпс в основном от погрешности измерений. В статье же они преподносятся как вина/заслуга новых драйверов.

Corben Dallas

Ай да молодец , тепеpь pасталкуй, в чем она полезная ??? В статье мы видим всего две видео каpты , а напpимеp ПЕЧ260 , HD4870 , GTX280 , 9800GTX тю тю.

Димон, не надо так напрягаться, сейчас лето, вокруг стока девченок
Ежемесячно это безобразие не надо, хватит вполне одного раза в КВАРТАЛ или лучше в полгода так нагляднее...
Добавлено спустя 1 минуту, 3 секунды

Не надо их. У пипла обычные дрова то сейчас еле встают, а эти тем более нафиг...

+1

Maco&LAV48ban 9800печ помойму и есть gts250, а раньше было 8800 gts 512(или я чутка ошибся).
Статья правильная но у меня есть несколько замечаний/предложений:
1) расширить ассортимент видеокарт
2) ---//---//---- драйверов
3) сделать раздельные графики для мин и авг fps.

FPS69
Точно , только новая гpавиpовка.

Phoenix_,
"Если брать твой подход, то любые тесты дают неточный рез-т по определению. И можно подкопаться к любому автору в рунете. "
Неточный результат?Нуу, никто ни о чем не может утверждать со 100% гарантией (кроме госстраха).
Тесты можно очень условно поделить на две категории..
Первая: скажем, 9800 gtx+ vs gtx 275, i7 920 vs phenom 2 x4 920 и т.д. То есть когда результаты в большинстве случаев в конкретном тесте будут
существенно отличаться, тогда действительно можно говорить кто быстрее в данном тесте исходя лишь из маотжидания, а ошибки оценить на
глаз.
Вторая: скажем сравнивать одни и те же процы, но выпущенные в разные недели, одни и те же почти референсные видеокарты от разных
вендоров, браузера на одном и том же движке, скажем Flock vs Orca Browser, драйвера каталист 9.5 vs 9.6.
Оценка их различия, по причине почти полной их идентичности, достаточно неплохо усложняется. Необходимы десятки опытов (мне
приходилось делать до 30, чтобы выловить настолько тонкие эффекты, не 3, а 20-30, после анализа которых, большинство критериев уже
начинали явственно говорить о существенном или несущественном различии). Но возникает вопрос о рациональности затраченного на все
эти скрупулезные тесты времени..К сожалению именно задача/проблема рождает метод решения...
А средние значения можно вообще не наводить, они малоинформативны. Просто наводить нижнюю и верхнюю границу доверительного интервала. Уровень значимости 0.05. То есть если провести 100 опытов (по 30 измерений в каждом скажем, как у меня было), то в 95 из них матожидание будет внутри доверительного интервала. Или на пальцах: среднее значение с 95% вероятностью находится в том интервале, который наведен. Это намного более информативно, чем среднее трех измерений на диаграмме.

Насчет того, что можно подкопаться к любому автору...Если автора тестят продукты приблизительно одинаковые, у них не стоит задача точного
определения превосходства одного продукта над иным в конкретном тесте. Достаточно показать что продукты имеют сходную
производительность, а дальше уже начинает играть роль личного предпочтения покупателя (скажем фан амд) или иные возможности продукта
(скажем куда). Тем более что поражение в одном приложении может компенсироваться победой в ином, и все останутся довольны..Но как бы
там ни было, ты прав, строго говоря в этом случае при желании подкопаться можно, только незачем ибо цели не те.

P.S. Желаю творческих успехов.