Коллеги.
Я надеюсь, для многих из вас не новость, что на нашем форуме проводятся Битвы Титанов. Возможно, кто-то уже успел принять в них участие. Для остальных небольшое пояснение.

Битва Титанов (БТ) - это состязание, в которых сходятся участники нашего форума, чтобы померяться ... нет, не тем, о чём вы подумали. Померяться силами друг с другом в разгоне и настройке своих железных друзей. Для оценки победителей применяются разнообразные тесты, как синтетические, так и основанные на реальных приложениях.

Скоро будет проводиться третья БТ. Близость анонсов новых процессоров от Интел и АМД будет накладывать свой отпечаток на условия её проведения.
Предыдущие состязания выявили нехватку тестов, основанных на алгоритмах, использующихся в реальных приложениях. Более того, хотелось бы иметь тесты, поддерживающие современные наборы команд (SSE2/3/4, многопоточность) и отражающие реальную производительность в некотором классе задач, а не количество "укуренных попугаев" (С) white.
Т.е. нужны современные и объективные тесты.

Поэтому я открываю эту тему для обсуждения тестов и приглашения желающих принять участие в их написании.

Во время предварительного обсуждения этого вопроса наметился некий круг задач, который можно было бы воплотить в тестах.
- Криптография
- Работа с 2D (конвертирование форматов или иные операции над ними)
- Эмуляция системы распределённых вычислений (по типу F@H)
- Научные расчёты

Хотелось бы услышать ваши предложения и советы.

Вот это имхо наиболее важно и упор должен быть на это и игры А письку ПИ и сандру фтопку

amdfan Послушай...Вот почему каждый раз так? Ну например я НЕ_ИГРАЮ_В ИГРЫ и НЕ_ЗАНИМАЮСЬ_НАУЧНЫМИ_РАСЧЕТАМИ. Как же это запарило уже если честно. Я постоянно перегоняю из ДВД в МПЕГ4 для своей локалки(каждый день), цифрую музыку для души, работаю в фотошопе, ворде, в инете. Так же на моей машине запущено около 10 различных серверов. А кто-то занимается рендерингом, пишет музыку итд. Да есть просто море разных задач. А по-твоему тесты должны быть однобокие. Ну несерьезно это. ИМХО нужно подобрать как можно больше тестов с разной тематикой. И упор нужно делать на разнообразие и баланс. Кстати, это наиболее четко отобразит картину в итоге...

Поддержу. Хотя я и играю иногда но в основном я работаю в фотошопе, дримвьювере и массе других приложений. А научные расчёты меня не интересуют Да и гамы в последнее время тож.

Меня больше интересует расстановка весовых категорий. Какие поблажки/ужесточения будут двуядерникам/челам с 2Гб оперативки. Систему это заметно удораживает, а прирост появляется только в отдельных тестах.
Теперь что касается тестов: ВСЮ синтетику - выкинуть. Оставить только реальные приложения, или максимально приближеные к реальным. И не включать в тестирования те приложения, вес которых привышает разумные пределы (>100Mb)

Давайте избегать флейма. Тут обязательно понять то, что ждать, что кто-то возьмется написать професиональный тест вот так вот просто - бесполезно. По этому делайте скидки, когда пишите пожелания
Отредактировано модератором: Daemon. Дата: 04.24.2006 14:17

HATRED VORTEX
Кодирование видео в битве и так будет, никак без него. Хотя в этом году уже hd-dvd появятся и blu-ray с ёмкостями намного больше ДВД а народ всё в mpeg4 кодирует, пора в нормальном качестве видео смотреть Работу в фотошопе должны отразить тесты, которые с графикой в 2D работают. А вообще такой круг задач выбрали потому что остальные слишком сложно реализовать в новом независимом тесте, не кодеки же писать, правильно?

Ещё очень рекомендую в битву добавить тест компиляции(MS Visual C++ или Intel C++ без разницы), это не синтетика и к тому же не мало людей связано с программированием, так что очень полезный тест, но его надо подготовить - подобрать большие исходники и написать прогу небольшую, которая прогоняет скажем компиляцию раза 3 и среднее время показывает.

amdfan Игровые тесты уже существуют. Не вижу смысла их дублировать.
Но без синтетики мы не обойдёмся. Она обязательно будет. В БТ существуют две категории: в одной упор делается на производительность при стабильной работе, в другой - на максимальную производительность на грани стабильности. Для второй категории многие тесты не подойдут. Например, как тестировать производительность в 3DMax, если комп на грани срыва. Но потестить в таком режиме хочется. Вот для такого случаю подойдут синтетические тесты с небольшим временем выполнения.

HATRED VORTEX
Тогда предложи, какой тест ты хочешь видеть. Кодирование видео вряд ли стоит включать в этот набор. Кодирование аудио тоже.
Учти, что мы не хотим заменить все существующие тесты. Мы хотим дополнить их.

drumboy А просто арифметические расчёты? Есть достаточно распространённый класс задач - бухгалтерские и экономические расчёты. Было бы интересно их реализовать. Есть только опасение, что тест будет сильно завязан на дисковую подсистему.

dragon Для подобного теста желательна среда поддерживающая режим коммандной строки.

Анугмыч

Анугмыч писал(а):

Меня больше интересует расстановка весовых категорий.

Твой вопрос не для этой темы.
Могу только сказать, что соревнования проводятся в нескольких весовых категориях. И в каждой есть свой победитель. Процессоры делятся по категориям согласно частоты/рейтинга. Размер памяти не учитывается. Скорее всего в одной категории будут выступать одноядерные и двуядерные системы. Эти вопросы будут обсуждаться позднее.
В свой срок правила проведения будут выложены на общее обсуждение, но многое, наверняка, будет заимствовано из прошлых БТ.

IgLowy не рассказывай пока о категориях и о нововведениях. Всё сами увидят.


Здравое предложение, согласен. Этот тест должен дополнять существующий набор, а на скорость компиляции ещё никто не гонял... Для многих это очень важно.

Господа, давайте не будем превращать эту тему в обсуждение БТ3 целиком Для этого будет создана отдельная тема, в которой вы узнаете обо всх сюрпризах и нововведениях. Здесь лучше всего обсуждать и конкретно предлагать нечто новое по возможному, отдельному спецтесту.

Ещё мое очень важное замечаение. Я о нем очень долго говорил, и ещё раз скажу.
У разных фирм процессоры отличаются часто очень, и очень принципильно.
МОжно написать тесты, очень похожие не реальные задачи, но при этом они не будут отражать максимальную производительность. Почему? Да хотя бы потому что на одном процессоре попадания в кышь при таком порядка команд может быть более частым, чем у другого, а вот если порядок поменять, то все меняется.
Поэтому подэтожив все скзаное хочу сказать, что нельзя делать синтетику под все процы сразу. Нужно пытаться писать тесты под каждый проц конкретное. Может быть, расчет с использование 3DNow+ на AMD быстрее чем с использоыванием SSE (я уж не говорю о процесеорах не древнейшй x86 архитектуре).
ИДЕЮ МОЮ ПОНЯТНО?

nickyoz
Да понятно в принципе, но вот все существующие тесты же пишут как-то.. Я предлагаю все выбранные тесты писать по возможности на асме и оптимизировать по размеру - наиболее честный вариант. 3DNow использовать не стоит, интел его не поддерживает. Только MMX, SSE кроме 4.

Насчёт компиляции - надо найти и подготовить исходники, компилирующиеся не менее минуты хотя бы, затем приготовить .bat-файл, запускать его несколько раз и проверять время. Потом в протокол пойдёт среднее время компиляции за 3 или 5 раз.

dragon
Я немножко другого мнения.
В общем мои идеи следующие. Разделим тесты на следующие группы:
1) без исопльзование архитектурных особенностей, то есть чистым языком, и простам асм кодом в итоге
2) с использованием а/о, но чистым языком. Например, когда компиялытор догдывается использовать MMX или что нить ещё
3) inline asm function ( или inline asm) - первое предпочтительнее, так как даст вохможность компилятору хотябы раставить их в порядке оптимума для данного процессра

нужно решить следующие вопросы:
1) используемы компиляторы - я предлагаю все же использовать gcc самый последний и последений из 3 ветки (в связи с ещё сыростью местами 4)
2) выбираем алгоритмы...
3) кодим их в pure C
4) оптимизим кодинт, если надо асм

про алгоритмы, следующие группы:
1) общие лагоритмы: предсказательность процессора, попадание в кэши, использование декодера инструкций и так далее. Идейно - это программы с малм вычеслением, активным использованием памяти и большим числом сложных переходов
2) далее давайте думать

А почему? В новых процессорах Intel Conroe этот набор инструкций будет присутствовать. А учитывая направленость новой Битвы и её основную идею (поддержка всего самомго передового) , ИМХО это нововведение просто необъодимо!

Ну дык кроме того что тест надо написать, его ещё и отлаживать надо И если его будет отлаживать тот же кто и пишет процесс будет быстрее двигаться.. Так как у меня только SSE инструкции есть, то код, работающий с SSE2 и более поздними инструкциями будет создавать кто-нибудь другой. А пока не появится конро у одного из всех нас, SSE4 задействовать вообще нельзя будет.


Насчёт компилятора - лучшим вроде признают Intel C++, если поставить ключ оптимизации по размеру и не ставить заточки пол разные архитектуры он выдаёт в принципе качественный код, думаю получше чем MS VC++. Про gcc никто ничего хорошего не говорит, на хоботе есть сравнение, код интеловского компилятора работает быстрее и на АМД-шных процах, так что вполне можно его использовать. Но всё равно лучше как можно больше писать на чистом асме, а что касается MMX и SSEx инструкций, то тут только асм, других вариантов нет.


В первом случае получится копия сандры Чтобы этого не было надо измерять конкретные характеристики проца - процентный показатель предсказания переходов, оптимальность использования кэша, максимальная производительность блока FPU и INT. Насчёт работы с памятью не знаю, к процессору это не очень относится(в случае интела вообще не относится). Если делать надо измерять скорость чтения и записи разными способами - работа с непрерывными блоками, доступ к отдельным разрозненным ячейкам, и.т.д.
А во втором случае нужно выбрать некоторые близкие к реальности задачи и проэмулировать их. Например криптографические тесты - скажем перебор паролей к RAR-архиву, PDF файлу, подбор закрытого ключа RSA(это разложение на множители), математические тесты - эмуляция каких-либо научных расчётов(вычисление рядов, например числа пи ). Написать что-то работающее с 3D графикой слишком сложно, а вот с 2D вполне реально, несколько тестов преобразования изображений можно написать. Надо ещё какой-нибудь тип задач протестировать, придумывайте..

Кроме этого есть такая идейка измерить производительность работы ОС. Интересны такие вещи как скорость запуска приложений, обслуживания разных запросов, и.т.д. Как вообще, реально такой тест замутить, т.е. проэмулировать действия обычного юзера, который решил по компу полазать?

dragon Насчёт SSE 4 я понял. Вопрос отложим до появления Conroe на руках. Что касается бета-тестирования будущего творения, то я готов.

Оценку на попадания в кеш и прочее можно получить с помощью PMC http://forums.overclockers.ru/viewtopic.php?t=138173
Насколько мне известно, подобное еще нигде не реализовано, есть шанс создать что-то уникальное.

PS у Интела тоже есть PMC.

white
Думаю с тестированием будет поменьше проблем гораздо чем с написанием

Daemon
Как проводить анализ такой низкоуровневой производительности расписано здесь:
http://wasm.ru/article.php?article=inspr02
http://wasm.ru/article.php?article=inspr04

Но реализации там нет, надо самим всё придумывать будет..

2All
Хотелось бы знать весь перечень тестов которые в битве будут. Хотелось бы видеть тесты в кодировании видео/аудио, компиляции, архивировании(7Zip/WinRar), Photoshop, неплохо бы рендеринг(но затруднительно), несколько нормальных синтетических тестов вроде 3DMark2006 CPU, ScienceMark, SuperPI(думаю всё-таки он нужен ), CrystalMark(под вопросом), но я против сандры, PCMark'ов и прочей шелухи, т.е. где число очков прямо пропорционально зависит от числа мегагерц. Игры тоже не нужны, видео в битве не тестируется.
Ну кроме всего этого думаю получится организовать собственный тест, но пока даже не ясно что в него входить то будет

dragon За информацией о Битве прошу мне в ЛС. На все вопросы будет дан ответ.

Да потому что серьёзные приложения и игры наиболее нагружают процеессор и позволяют адекватно оценить его производительность Хотя синтетика тоже нужно какая-то
Добавлено спустя 2 минуты, 13 секунд
Это нужно обязательно у нетбурста в этой компаненте просто провал ...
Добавлено спустя 13 минут
SEE4 не представляет пока никакого интереса и задачи оптимизированые под него естесственно будут быстрее работать на конро а надо ставить процессоры в максимально равные условия Если SSЕ4 не загнётся и получит распространение то амд введёт его подержку а пока суть этих инструкций выглядит не серьёзно так как этот набор расчитан на работу с мультимедиа и должен улучшить кодирование видео..

Да в том-то и дело. Я тоже за то, чтобы именно дополнить тесты и сделать тестирование сбалансированым, а не делать акцент на


Лады. Давай тогда поставим Earth Simulator. Куда уж круче нагружать!!!! Только это же бред, не так ли? Так вот и тесты нужны не только нагружающие проц, но и чувствительные к ПСП памяти итд. Да и вообще относящиеся к разному кругу задач. Читай - комплексные, а не однобокие. Это позволит увидеть более объективную картину. Игры необходимы. Но к сожалению они куда больше зависят от видеокарты. И если делать упор на них, но автоматом пойдут на все, у кого не х1900/7900 после битвы. Тупо.

Не туда вы лезете
опять идем к тому, что никакой потимизации под архетектуры, что-то среднее

ГЦЦ разругали... а сами пробывали и сравнивали?
все устал. Ушел... Пойду лучше PearPC крутить. а потом и на реальном железе... все равно интереснее чем велосипед писать