Да вообще-то память дохлая, скорее всего. потому что такую память особо и настраивать не надо.
Проверь ее (одну) из ДОСа мемтестом. ОС не надо. Мем тест берется в архиве оверов, грузится с флопа или СД. если будут ошибки (а они будут, скорее всего) отнеси ее по гарантии на замену.
Или не парься и сразу неси ее по гарантии на обмен, пусть сами проверят.

Хм, проверь тайминги на памяти, я со своей прилично повозился, пока не посмотрел какие она тайминги при разгоне ставила автоматом (6-6-6-18) ставила и даже на 1333 не хотела работать, пошаманил с ними и всё ок стало, 1750 взяла на девятках.

Все когда-то бывает в первый раз.

Память тестируется из-под DOS, а не установкой Windows.
Программы для этого есть в файловом разделе сайта. Например, подойдет memtest86+.