1) Вы знаете, что такое среднее геометрическое?
Напомню. Для ряда X1, X2, ... , Xn среднее геометрическое будет равно (X1*X2*...*Xn)^(1/n) , т.е корень n-ой степени из произведения n членов.
Для моего примера с двумя играми, n=2, и поэтому корень я брал второй степени =) Между прочим, даже Эксель от M$ умеет считать корень n-ой степени. просто возведите в степень 1/n ("^(1/n)").

2) я приводил пример с игрой показывающей то 1 фпс, то затем 100 фпс, и второй игрой, стабльно показывающей 50 фпс. смотрите, почему я выбрал среднее геометрическое, а не арифместичекое в том примере. разница существенна при таких просадках фпс!

Добавлено спустя 1 минуту 56 секунд:

то, о чём Вы говорите, это - корень из среднего арифметического, а я считал среднее геометрическое от "процентных" показателей для видеокарты в каждой игре. ошибок нет.

А 1440*900 это 16:10 Наверное, не стоит ждать ответа на вопрос о формулах)

Anvin

Изменятся, к гадалке не ходи.


Они не "могут" влиять, они влияют. Вопрос времени и конкретной игры.

Цитата:

пробовали уже, у пары соседних версий изменений замечено не было, хотя к той статье тоже вагон нареканий, но думаю прирост/провал более чем в 5% не пропустили бы)

Выше было сказано, что речь не о соседних версиях, а о методике "на полгода". Хотя даже соседние версии, порой, меняют FPS.
А про патчи к играм ты забыл? Я привел выше свеженький список изменений в одной отдельно взятой игре.


На мой взгляд, отвечать на этот вопрос нужно до подготовки к проведению тестирования и уж тем более задолго до подготовки самой статьи к публикации.


Для_чего? Какова_цель?
Я не докапываюсь, я пытаюсь понять для себя.

очень интересная мысль про то, что результат может устареть. но если брать за 100% только максимальный показатель в данной игре, то нужно обязательн включать в тест карточку-лидера, которая будет давать эти самые 100%, но, самый интересный момент заключается вот в чем: допустим, наш лидер устаревает, и появляется новый. этот новый лидер задаёт новые "100% крутизны", наш старый лидер будет показыаать результат ниже 100%, но как тогда мерить прирост нового лидера относительно старого? Сравнивать проценты? Мне кажется нужно сделать возможность превосходить 100%, т.е. либо делать привязку к карте-эталону, либо к формуле с "60 фпс".

(я имею в виду, что в разное время замера, будут разные проценты. а нам нужно постоянство шкалы оценок. чтобы допустим 4000 попугаев сейчас равнялось 4000 попугаев и через 10 лет, нам не нужна денежная инфляция как в экономике результаты 3D Mark-ов ведь постоянны. Поэтому максимум фпс за 100% не годится ИМХО.)

очень понравился подход (fps/60)^2 * 100% , эдакий нелинейный показатель (превосходство в квадрате).

Добавлено спустя 14 минут 31 секунду:
Phoenix_
а где голосование? что-то не могу найти

---------

подход с весом каждой игры тоже классный, но по-моему, на практике возможны разногласия в весе той или иной игры хотя, возможно, нужно просто сделать N голосований для N игр, чтобы выбрать для каждой подходящий вес

---------

есть ещё идея по поводу оценки. нужно сделать превышение комфортного фпс (60) не сильно влияющим на итоговый результат, а недобор фпс до комфортного сделать очень весомым (квадрат, куб, может другая степеь или другая функция). как описать формулой, пока не знаю. подумаю.

Добавлено спустя 17 минут 31 секунду:
pskrip
а зачем различать ВИi и КФi ? Может просто вес игры будет отвечать за обе переменные?

Phoenix_
Какой ещё промышленный стандарт, ты о чём? Игроделы, выпустившие продукты с поддержкой DirectX10/10.1/11, отошли от стандарта что ли? Не стоит выдумывать.
Так ты консоли тестируешь или как?
Какая разница сколько всего игр с dx10, если у тебя в методике _большинство_ из них его поддерживает?
Кому будут актуальны тесты 5ххх при данной методике? Будут ли будущие их владельцы играть в сталкер, фаркрай и остальные игры из методики в режиме dx9? Прежде чем возражать, ответь себе на простой вопрос: с какой целью тестируют новое железо?

Ага, все разногласия решаются голосованием . Предлагаю такой вариант: каждому голосующему дается по 100 очков, и он их распределяет как хочет между играми из тестового набора (ну, штук 20 современных игр, тоже можно опросить, какие включать), может все отдать одной игре, а может поровну распределить между несколькими. Затем складываются очки для каждой игры, и на их основании выводятся коэффициенты (тупо сумму очков одной игры делим на общее количество голосовавших и еще делим на 100). В итоге получим набор весов, сумма которых равна 1 . Слишком маленькие веса можно отбросить, но тогда придется переголосовать уже с новым списком игр .

Все-таки, я думаю, что не надо их смешивать, так как придется каждый раз считать этот вес с учетом ФПС данной карты и рейтинга игры, что неудобно. А раздельно можно получить веса игр голосованием, а коэффициент ФПС задать в виде общей формулы для всех игр (ну, или за редким исключением). Тогда коэффициент ФПС мы можем отдельно обсудить, и проголосовать можно, то есть кто как считает какая должна быть зависимость. Затем интерполируем какой-нить функцией несложной, либо просто кусочно- линейно зададим .

Карты меняются, тесты меняются, драйвера меняются, стенд меняется... невозможно в таких условиях обеспечить постоянство, чтобы 4000 попугаев и через 10 лет были 4000 попугаев.
Просто регулярно перетестировать все видеокарты (допустим раз в квартал), и для выбора видеокарты для покупки использовать последние рейтинги, а не те что были 10 лет назад.
Вышла новая видеокарта и старый 100% лидер стал 93%, и что такого? Обязательно что-ли его всегда видеть как 100%?
3D Mark постоянный тест, запусти 2006 марк сейчас и ты увидишь всё теже картинки и 3D технологии там будут использоваться теже что и в 2006 году.
А запусти Сталкер - Зов Припяти и увидишь другие картинки и технологии уже будут ДХ11 (мод с тесселяцией)
Даже 3D Mark 2006 запущенный сейчас на Core i7 4ГГц вместо Core 2 Duo 3ГГц в 2006 году, покажет другой результат на той же видеокарте, там уже будет 4500 попугаев.

Загнал данные в Эксель и пересчитал в процентах, среднем арифметическом, среднем геометрическом...
http://ifolder.ru/14945873
как говорится - найдите 10 отличий

ALL
У меня сегодня после обеда стартовала новая тестовая сессия. Весь день был занят, сейчас ее добиваю. Завтра отвечу на ваши вопросы и предложения.

Теперь склоняюсь в сторону среднего геометрического. Тогда формула будет такой:

ВИi - вес i-й игры
КФi = КФ(Фi), где КФ - функция (показывает значимость результата в зависимости от ФПС)
Фi - ФПС данной карты в i-й игре
ФЭi - ФПС эталонной карты в i-й игре
Если считать ВИi и КФi одинаковыми (например равными 1) для каждой игры, то мы получим просто среднее геометрическое "процентного" ФПС. Все-таки хочется, чтобы баллы оставались примерно на одном уровне, то есть не было девальвации . Проблема возникает при смене "эталона", так как по этой формуле новый "эталон" будет получать 1000 баллов, и вся шкала сожмется . Она решается просто: пусть у нового эталона в "старое время" было К (например 2500) баллов, при смене необходимо изменить всего лишь одно число в формуле:
Баллы = К * ( ((Ф1 / ФЭ1) ^ (ВИ1 * КФ1)) * ((Ф2 / ФЭ2) ^ (ВИ2 * КФ2)) * ...) ^ (1 / (ВИ1 * КФ1 + ВИ2 * КФ2 + ...) ) и для нового эталона она даст К (2500) баллов. Итоговые баллы не зависят от количества игр и их весов, если во всех играх соотношение ФПС (Ф/ФЭ) примерно одно и то же. Поэтому можно (нужно) периодически менять набор игр и их веса, при этом эталон как всегда останется на месте, а вот остальные немного побродят (но так и должно быть, ведь с выходом новой игры расстановка сил немного меняется, какая-то карта станет немного сильнее, другая - наоборот)

Когда это "Производительная" категория стала слабей "Середнячковой"? Стоит только немного напрячь мозги, как придет понимание, что это неправильно. Что хотим - то и творим?

Мда, тем кто предлагает ввести "веса игр" и тому подобное, вам не приходило в голову что вкусы у всех людей разные? Любая статья где одной игре придаётся большее значение чем другой субъективна, а автор с такой методикой не угодит и десятой доли читателей, и обречён на вечный спор с ними.

Добавлю только, что для более объективной оценки стОит использовать не средний, а минимальный показатель FPS, так как именно он является критерием играбельности.

"...вам не приходило..." - не надо задавать таких вопросов. Знаете, есть такое понятие - большинство. И тот, кто в своих расчетах опирается на вкусы большинства, как раз и будет иметь максимальный успех. Еще раз повторяюсь, есть (и будет) куча зарубежных тестов, в которых сравниваются производительности различных видеокарт в различных режимах. Вы готовы держать в голове сотни графиков и цифр, чтобы сходу ответить на вопрос, что будет "быстрее" в разрешении 1680*1050 в Сталкере, GeForce GTX275 или CrossFire из Radeon HD4830? И таких примеров множество. Цель (моя) привести многогранные параметры карты к одному (!) числу. Естественно, одно измерение не сможет отобразить всю полноту картины, это невозможно в принципе - понятно даже ребенку. Поэтому я ориентируюсь на большинство, чтобы даже моя бабушка, взглянув на таблицу, могла сразу понять, "на сколько" отличается Radeon HD4870 от GeForce 9600 GT. Эта таблица поможет составить предварительную (но довольно точную) картину производительности видеокарт. Если не нравится сама идея свести характеристики карты к одному числу, то просто не участвуйте в обсуждении и не пользуйтесь результатами - это уже личное. Тот, кого интересует конкретное сравнение в конкретной игре/режиме сам потратит время и найдет нужный материал.Сильно сомневаюсь, что минимальный ФПС является основным критерием играбельности. Если на малое время один раз в игре ФПС упал ниже 10, то всё, карта уже плоха? Хотя она показывает в среднем 30 ФПС, а другая, к примеру, 15 минимальные, причем не один раз, и 25 средние. Что лучше? Минимальный ФПС конечно важен, я не спорю, но здесь намного сложнее придумать объективную методику.

Еще пара соображений. Во-первых, можно использовать два эталона, для того чтобы избавиться от типичных зависимостей ФПС в данной игре от разработчика железа. Классический пример: а) Radeon HD 4870 и б) GeForce GTX 260. Тогда вместо эталонного ФПС (ФЭ) в данной игре нужно использовать среднее геометрическое ФПС двух карт, то есть ФЭ = (ФЭа * ФЭб)^.5 . Во-вторых, сравнивать весь спектр видеокарт в одном разрешениеии и на одних настройках неприемлимо, так как разброс ФПС видеокарт будет чудовищным, и, к примеру, GTX295 выдаст 200 ФПС, а HD3450 5 ФПС (это только пример ) . Ни тот ни другой ФПС нельзя воспринимать как достоверно отражающий производительность по отношению к эталону. Следовательно, придется все-таки сделать категории (видимо никуда от этого не деться...), и в каждой категории ввести свой эталон. При этом внутри одной категории сравнивать карты на таких настройках, при которых для большинства карт категории ФПС остается в разумных пределах. Для того, чтобы связать категории между собой (мы же хотим получить итоговый балл, количество попугаев - называйте как хотите для каждой карты) надо какую-то карту (или несколько карт) отнести и тестировать в двух категориях (она будет связующим звеном), в частности, это может быть сам эталон (тогда он должен быть либо самой производительной картой в категории, либо наоборот) . А итоговые баллы пересчитывать таким образом (умножать на коэффициент), чтобы у связующего в обоих категориях был одинаковый балл - тогда можно будет выстроить общий рейтинг.
Кому-то покажется это дико, но я объясню свою точку зрения. Например, у нас есть три карты: А, Б, В. В данной игре при данных настройках они выдают 50, 2 и 3 ФПС соответственно. Значит ли это что В быстрее Б в 1.5 раза? Нет! Ведь с такими ФПС никто играть не будет . Надо сравнивать Б и В в "нормальных условиях", и в другой (или даже в этой) игре эти карты могут показать 25 и 20 ФПС, то есть Б окажется быстрее В.

Grammar Nazi настоятельно рекомендуют оставить английские названия категорий и не тревожить ради красного словца великий и могучий.

дак я это сделал уже, не уверен что оптимальным способом, смысл в том что есть 3 отрезка роста fps на каждом своё влияние на играбельность, сначала его почти нет (что 1 что 5 кадров в общем то один фиг абсолютно не играбельно, затем чем ближе к норме - тем заметнее влияние каждого лишнего кадра, а после насыщения до нормальной играбельности уже почти нет разницы), пока это сделано так 60fps = 100%, менее 60: (fps/60)^2*100%, более 60: (fps/60)^(1/2)*100%, проблема в том, что уровень нормальной играбельности в 60 кадров - весьма субъективен.


Один не удачный кадр и результат ничего не значит, ИМХО в идеале надо использовать среднее геометрическое по мгновенному fps, но насколько реально получить этот показатель - не знаю

Вообще есть пожелания перенести обсуждение расчётов (которые не первый раз всплывают) в отдельную тему, а здесь оставить обсуждение статьи (просто я лично не очень понимаю что тут обсуждать по статье).

В общем как автор скажет.

pskrip
Это как пресловутая температура по больнице? Ну-ну.
А с новой методой мы сразу об этом узнаем посмотрев одну циферку?
Получится что-то вроде мягкое + кислое = корень квадратный из трёх.

Я считаю, что не надо циклиться на общем рейтинге. Вообще. Лучше расписать результаты более подробно по конкретным играм. Меня, например, больше интересует распределение в % мгновенных ФПС (меньше 30, 30-60, 60 и выше) в процессе прогона теста, чем минимальный/средний/максимальный. Уточняю - это детализация в плюс к стандартным минимальный/средний/максимальный.

Высказывайтесь по существу.
Субъективно то, что опирается на личное мнение автора, и, если он включил в тест две игры, из которых одна интересна 80% аудитории, а другая 10%, то, на мой взгляд, совершенно неверно в данном случае будет вычисление средней (геометрической) производительности по всем играм. Я не говорю, что менее популярные игры не надо тестировать. Еще как надо! Но не стоит их складывать на тех же правах что и самые известные при выводе общего рейтинга. Пример: игра 1 - интерес у 80%, игра 2 - 20%. Карта А дает ФПС в первой игре А1 = 50, А2 = 20. Карта Б соответственно Б1 = 40 и Б2 = 30. Ну, эталон пусть Э1 = 10 и Э2 = 10. Считаем: (А1/Э1)*(А2/Э2) = 10, под корнем 3.2, (Б1/Э1)*(Б2/Э2) = 12, под корнем 3.5. Вывод, если не смотреть на конкретные игры, Б быстрее. Но, купив эту карту 80% останутся недовольны, так как она на 20% медленнее А в первой игре. Ну, 20% будут рады, что не прогадали. Объективно то, что опирается на мнение народа (а для кого мы еще стараемся? для себя любимых?). И при моей методике подсчета (с учетом весов игр) мы получим следующие результаты: для А 4.2, а для Б 3.8. То есть А, все-таки, быстрее. И что на ваш взгляд будет более объективно?

Да. Изходя из того, что 1680*1050 самое подходящее разрешение для GTX275 (ну, и с натяжкой для пары HD4830) и Сталкер довольно популярная на данный момент игра, мы сразу с большой достоверностью узнаем, что будет быстрее.

По крайней мере это будет наиболее точно отражать производительность в актульных на данный момент играх и разрешениях, намного точнее, чем всеми любимый 3DMark.

Так ведь никто и не говорит, что мы зацикливаемся и считаем наш рейтинг панацеей. Я полностью согласен, что надо расписывать результаты более подробно, и нет смысла тестировать карты ради одной "циферки" (с) . Но, повторяю в 1001 раз, если рейтинг выражать одним числом, то очень легко запомнить относительную производительность 20 видеокарт, а держать в голове сотни графиков и цифр нереально.

"Сон разума рождает чудовищ" (c)
Как не играющий в игры, попытаюсь остудить некоторые горячие головы (прекрасно понимая, что бесполезно).

Идея в обозначенном виде бесперспективна, вводная часть технически неграмотна (порадовал DirectX у консолей) и статистически не обоснована.

Брошен упрек в сторону FutureMark, что их тест не отражает реального поведения в играх, и принято решение сварганить свой, конечно, лучше, правильнее и т.д.

Детский лепет. Любой анализ, отличный от анализа мгновенного fps с покадровой разбивкой и с использованием специализированных инструментов для каждого АПИ (не все игры используют DirectX), это не анализ, а разговор для домохозяек.

Интегральная оценка даже отдельного эпизода в игре, не говоря уже о игре целиком, тем более, если оценивать поведение видеокарты (и не только ее) в наборе игр не говорит ни о чем - это такая же абстрактная синтетика. Под любой набор тестов всегда можно подстроить "оптимизирующий" драйвер. Другое дело, что под тест FutureMark это всегда будут делать (показательны последние признания Intel), а под Phoenix_superpuper_3DMark не будут никогда. Значит ли, что Phoenix_superpuper_3DMark объективнее?

С некоторой натяжкой можно было бы ответить утвердительно, если была бы возможность знать, какие и как интенсивно используются вывзовы графического API (что всегда делается в процессе разработке игр), и правильно подобрать набор тестов. Но так как этой информации, как правило, не будет доступно, то ценность интегральной оценки будет близка к такой же попугайской оценке от FutureMark.

Но выход есть - писать свой бенч на заданой последовательности применения особенностей АПИ DX9/10/11/OGL, когда есть возможность объективно все измерить и увидеть. Все остальное - будет средневзвешенное НЕЧТО, крайне зависящее от выбранного набора тестов, и не говорящее ни о чем.

И, например, что делать, если в игре будут использоваться оптимизирующие алгоритмы, в зависимости от загруженности процессора и гпу, есть масса приемов для этого - манипуляция с тесселяцией, мипмап уровнями, упрощение игровой логики и шейдеров и т.д.

Тем не менее, желаю успеха.

По-вашему, любой тест, проведенный на overclockers.ru и на множестве зарубежных ресурсов "разговор для домохозяек"? Вам нужно быть аккуратнее в своих выражениях .

Большинство польльзователей не интересуют вовсе эти особенности. Они играют в игры и им важна конкретно производительность в играх (которая сильнее всего выражается средним ФПС при заданном качестве картинки, хотя не полностью, конечно). А, допустим, скрытые возможности видеокарты, которые не реализованы ни в одной игре, не интересны почти никому.