!!! Не путать с Lenovo RD450.

Поделие сумрачного китайского гения.
Вероятно поставлялась в дата центры крупных китайский компаний, типа Tencent и baidu по спец заказу.
На сайте Lenovo тех. поддержка не доступна. Гарантийный срок на эти платы закончился.

Всем привет. Купил материнку rev 1.3 заметил, что у всех есть джампер-перемычка, а у меня её нет. Что она делает, за что отвечает? на плате это J12 J13 J14.

Обозначения есть в документации - Страница 35, пункт 3.3
Документация есть в шапке
Перевод документации во вложении
Указывает режим работы сети

Очень странно. Возможно, не вывели на исполнительный старт, без этого взлёт не возможен:)
Если серьёзно, то нечему там "не взлетать". Могут быть какие-то несовместимости DXE-драйверов c какими-то вариантами платы (их, на самом деле, больше двух, как выяснилось). Но при правильной прошивке этот вариант стартует на всех платах.
Правильная последовательность прошивки BIOS для rd450x:
1) При старте нажали F1, зашли в крайний правый раздел и сбросили настройки на Default, загрузив оптимальные.
2) Зашли через веб. Выключили плату на основной странице (Dashboard). Убедились, что она выключена и доступна.
3) Зашли в раздел Firmware Update > BIOS Update
4) В параметрах Protocol: HTTP/HTTPS Firmware select: All
5) Нажали Start updating BIOS. Выбрали файл. Подтвердили.
6) Подождали. Снова подтвердили.
7) Дождались, когда скажет "Всё прошилось, перегружайтесь".
8) Сосчитали до 15. Обновили страницу, заново вошли в веб-интерфейс. Включили.
9) При проявлении признаков жизни на экране и клавиатуре, нажали F1 до успешного входа в настройки.
10) Зашли в самый правый раздел. Снова сбросили настройки на дефолтные оптимизированные. Сохранили. Перегрузились.
Теперь можно устанавливать свои настройки.
И, да, вариант рассчитан на достаточно свежее железо, работающее с UEFI. Древняя дискретная карточка, работающая только в Legacy, при моих дефолтных настройках не заведётся.

Добавлено спустя 25 минут 53 секунды:

На x8 разъёме разделение на два x4 наблюдал своими глазами (правда, удалённо - сервер не мой). У себя на x16 смогу поэкспериментировать, когда, наконец, сверхбыстрая доставка Озона привезёт мне карточку на 4 NVME. То есть, нынешними темпами, через недельки три. Если к тому времени не отдам тестовую плату на выправление ножек сокета (на нём, по виду, в футбол играли).

olegsplus, я не знаю в чём дело. Также не завелся биос "Супермикро 5". ХЗ почему так, но и наплевать (может дело в ранее прошитой версии биоса было).

Господа, вот теперь я точно от вас ухожу ибо мать продана и бабосики за неё уже получены, а в замен взята JGINYUE X99-D4X8 (ZX-DU99D4X8_V1.1) 2021 года - милее и понятнее.

Вызвоню последки на фрот-панель и выложу картинки.

Установил bios supermicro_5.
Бифуркация работает на первом порту. видит 4 харда всё ок.

НО! В БМС не получается зайти в Биос, точнее - пока грузится - чёрный экран, как только система загрузилась, консоль отображается нормально.

У всех так? или бмс не тот, сейчас стоит 3.24.1145

Температура радиатора сетевой карты intel на ощупь около 100 градусов. Это норма? И если нет, как можно снизить температуру?

это проблема того, что биос этот не дружен со встройкой (встроенный видео адаптер) от rd450x, и выходит что если раньше (под другими биосами, родными для этой платы) можно было зайти в биос через редирект BMC (транслировалась картинка со встройки) - то теперь (на биосе 0.5 супермикро) так работать не будет (встройка не работает корректно на 0.5 биосе модифицированном), биос увидите только на физическом кране с внешней видяхой-затычкой. А все что после биоса вполне отображаетс через BMC Если это не так- поправьте, сам от этого иногда страдаю.

Добавлено спустя 5 минут 12 секунд:

Так же, менял термокамень (термоинтерфейс превратился в него) на термал гризли экстрим (красный) - ничего не изменилось по сути, все так же горячо. Работает 24/7, раз работает и не расплавился - думаю норма. Просто кулеры должны быть в сервере другие, скоростью вращения лопастейпод 5000-7000 оборотов, а не на 1500, тогда будет продуваться эффективнее (наверное).

У меня проблема следующая, socflash перешил BMC на 24.1315 - он работает, отображает температуры ОЗУ каждой плашки, что здорово, но, есть пробема, после 2-3х дней работы сервера не пускает в бмс (т.е ввожу пароль и ничего не происходит) как и после перезагрузки сервера та же история. Такое только у меня или у все? помогает полный сброс бмс командой ipmitool raw 0x32 0x66 - Эта команда отправляет низкоуровневый запрос на сброс BMC к заводским настройкам. Но делать каждый раз это уже надоело. На 3.24.1145 вообще проблем небыло как настроил.

Решил тоже поменять пасту, как итог снёс элемент.)) Распорки задубели.

Хорошо что не кристалл. Я поднимал (очень аккуратно) с обраной стороны сжимал тонкогубцами усики клипсы" и выталкивал их пальцем, желательно еще радиатор по центру придерживать (чтобы он резко в сторону не перекосился на край кристалла). Но повторюсь - разницы я не заметил. Так же заменил термо портянку (иначе не назовешь) под радиаторами врм на лаирд прокладки и разницы не увидел так же по температурам.

[quote="Feels"]У кого-то заводились 64гб RAM модули ? Планирую (еще не купил) попробовать такие: SK hynix 64Gb ECC DDR4 2400 PC4-19200 HMAA8GL7MMR4N-UH 4DRx4 Reg
Это LRDIMM. Хочу такими набрать 512гб, но есть сомнения что 64гб поддерживается, так как судя с информации оф. мануала только до 32.

Да заводил
4 по 64 стоит

Народ, всем привет. Помогите, если не сложно. Мать заходит в IPMI, но запуска нет, вентиляторы крутятся. Инфа в IPMI не соответствует действительности. Что можно сделать? Есть ощущение что плата сохранила тестовый конфиг китайцев.

Запуск через IPMI не происходит

Всем привет.
Подскажите пожалуйста, из-за чего оперативка медленно работает? В sysbench под Linux выдаёт всего 10-11 ГБ/с, когда DDR3 1600 дешман kingston 2x8 ГБ - 16-17 ГБ/c
Память Atermiter DDR4 ECC REG 16 GB 3200(работает на 2400) 8 шт, по инструкции - все в синих слотах. NUMA и включал и выключал(в логах видно, что node0 для всех плашек создаётся), троттлинг и включал и выключал, процы x2 2680v4

У меня такое было когда ошибся в перемычках обманки блока питания.

Приветствую всех, форумчане! Хочу сказать спасибо, поделиться своим опытом и в конце задать маленький вопрос
Начну с благодарности всем, кто отвечал на форуме, но особенную благодарность хочу высказать Bormut'у. Олег, спасибо тебе за терпение,понимание и твой бесценный опыт. Столько разобрали с ним, что словами не передать)

Так как поиск форума не ищет по файлам(вложениям) я опишу, что прикрепил ссылкой в посте. Эта компиляция стоило мне много нервов и от всей души надеюсь, что кто-то благодаря этому сборнику будет спать чуточку спокойнее:




Моя задача была поставить proxmox, в идеале c помощью платы бифуркации воткнуть 4 ssd nvme в pcie x16, с NUMA на борту (потом как будет много виртуалок крутиться, а говорят numa бустит здорово производительность) и удаленное управление через java. Расположение сервера физически не позволяет воткнуть монитор и клаву, поэтому remote desktop must have. Долго я бился, долго решал эту ситуацию. Для себя нашел почти идеальную конфигурацию: bmc 2.36.1315 (приехала мать с bmc 2.43.1349, rev.1.3). Почему "почти", будет в вопросе) Всего описать не смогу, опишу только суть.

1)Прошил BMC

На всевозможных прошивках так и не появился пункт intelRCsetup и посоветовавшись решил поставить bmc 2.36.1315. Короткий гайд по прошивке BMC (не помню находил ли я подобное на форуме):

• Делаем флешку самозагрузочную с ubuntu. Закидываем lxflash на неё и нужный bmc в одну папку.
• Загружаемся с неё на сервере, перемещаем папку lxflash на сервер (на всякий, чтобы флешка не отошла в процессе прошивки и т.д.)
• Открываем консоль и с помощью команды cd переходим в скопированную папку в предыдущем пункте.
  
  про бекап

  Где-то в на этом этапе очень желательно отбекапить вашу текущую прошивку. Если не ошибаюсь, перед прошивкой socflash сама сделает бекап, но можно предварительно ручками сделать, в readme описано как.
  
  Пишем последовательность команд, которую я дёрнул у Bormut'a (за что опять же ему спасибо):
  
  Код:
  sudo su
  chmod 777 socflash.sh
  ./socflash.sh bmc-2.36.1315.bin
  ipmitool print 1 - проверка
  
  
  
  фото того как выглядит успешная прошивка BMC(также прикрепил к архиву)

  #77
• Готово! Грузимся в вебморду, дабы убедиться, что всё окей.

2)прошивка bios

Много моей крови выпила эта процедура и надеюсь упрощу жизнь тем, кто всё-таки решился связаться с этим чудом. Вообще не могу не подметить, что процесс правильной прошивки, чтобы всё встало как надо, очень напоминает ритуалы карго-культа И я очень хотел бы, чтобы это было просто шуткой, но увы.

Вот последовательность прошивки rd450x602 от billibilli, которая взлетела у меня:

• Перво-наперво скинул настройки текущего биос до дефолтных и сохранил их. Без этого пункта когда шил, то получал кучу лагов (например самопроизвольное цикличное нажатие клавиш) , нерабочую вебморду и прочее. Связано это или нет, у меня один ответ: карго-культ.
• При прошивке, в дропменю Firmware select ОБЯЗАТЕЛЬНО выбирать пункт ALL, иначе ничего не прошьётся! Да, об этом писали много раз на форуме, но я над этим тупил 3 дня в итоге.
  
  Код:
  ещё раз: заходим в impi по локалке и выбираем:
  firmware update > bios update:
  protocol http\https, firmware select all
• После того как выдаст сообщение об успешной прошивке ждём 20 секунд, не перезагружая комп, не вырубая питания (я так делал и получал глюки, см. карго-культ), открываем новую вкладку, заходим в вебморду и стартуем машину кнопкой в вебморде. Пытаемся подключиться через java либо через монитор.
• Если всё заработало в прошлом пункте, то вырубаем полностью ПК и проверяем работоспособность с нуля.

Как поднять джаву - это отдельный танец с бубном, для этого гайда пока достаточно.

Теперь мой вопрос:

bios от billibilli не имеет функции NUMA, да и пока я добился только того, что всё включается нормально. Не уверен в дальнейшей его работоспособности,а стандартный 602 говорят очень стабильный, но не имеет бифуркации. Вопрос в том, а вставлял ли кто-то 4-5 ssd nvme в слоты x4,x16 на 602ом стандартном? Там есть пункт NVME configuration и я уже так морально устал со всем этим долбиться, что вместо одной платы х16 to x4x4x4x4, готов просто купить 4-5 плат nvme to x4. Подскажите у кого какой опыт с этим?
Я пока основательных тестов не проводил и сказать не могу насколько в моих проектах будет критична NUMA. Буду запускать proxmox и добрую пачку lxc контейнеров.
И вот я в раздумьях: 602 сток и 4-5 плат nvme to x4 либо 602 билли, но без NUMA.

Было бы не плохо увидеть тест из под Windows прога AIDA64 Extreme, по чтению и записи из памяти. Без виртуалок. чисто на железе.

Добавлено спустя 36 минут 47 секунд:


Я тебе тут напишу , если ты не против в продолжении прошлых бесед
Я Limas написал, то что он должен сделать , так вот тебе надо сделать тоже самое и посмотреть что выдаст тест.

Тема следующая. Если 8 планок и задействовано 4 канала, результат чтения из памяти( НЕВАЖНО какой производитель главное чтоб, если проц V4 - память стояла 2400mhz ) - мы увидим результат около 140 000 мб\с
Далее, Если памяти 4 планки- это 2 канала , соответственно скорость чтения будет ровно в 2 раза меньше 70 000 мб\с!
Если 1 канал - то до 35 000 мб\c
В данном случае, после теста , ты легко сможешь определить как работать твоя мамка , с включённым Numa или отключённым. Без Numa, тесты покажут весьма печальную картину.

Работал с 602 биосом и 4-я вставленными nvme в pci-e, загрузка всегда с nvme (до этого была с ссд но быстро перенес пркосмокс на nvme), как отображались nvme в биосе - честно не помню, но помню что была проблема в их нагреве (много вм и 70 градусов) и установке радиаторов, моя лень определила радиаторы (пожирнее) и вытекающей из этого пролему "веерности" установленных нвме что занимали 4 гребенки pci слотов, и привели к новой проблеме - выбор карты бисфуркации, а затем блин к новой проблеме (до всего этого 602 биос просто был лучшим) - выбора биоса с бифуркацией и редиректом биоса (бывает надо что то подкрутить, проверить, да и на 2.36 бмс у меня ЧАСТО слетала вебморда через пару дней). Как писал ранее завелся суперленово 0.5, завелся тоже не с первого раза, раза со второго, последовательность такая:
1) какой бмс - не важно, был и 2.21 кажется, и сейчас 3.24 - все работало, на 2.36 тоже все работало
2) т.к. у меня 602 был "рабочим" вариантом - все переходы на 0.5 я делал именно с него. на билилили биос так же с него делал переход.
3) делал этот переход с вебморды на выключенном сервере.
4) как установил 0.5 выключал сервер, отключал, брал под мышку. тащил к телеку, подключал клаву, в 5 пси експресс у меня карта бифуркации, в 3 порту системный нвме, из 5 порта вытаскиваю карту, в 6 порт втыкаю "затычку" asus gt 730 -sl -2gd3-brk и кабелем VGA подключаю к телеку
5) все включаю, долго заводится, пропикивается, показывает приглашение в биос (press DEL) ну и я в биосе. так же заметил что если вынуть батарейку или сменить процы (на совместимые конечно) то биос сбрасывается (так у меня слетели настройки бифуркации, от чего мне пришлось повторить пункт 4, чему я удивился)
6) так же отловил момент когда новый конфиг (и мак адреса и процы и расположение устройств PCIe отображается в бмс) - на том самом моменте как зашли в биос - жмякнули сохранить и сбросить (save $ reset) идет перезагрузка сервера, после включения и загрузки биоса рефрешим (жмем reload) бмс - и видим новые процы и все то что "бесило раньше" утановлено. Так же не понял почему на 0.5 супермикры у меня норм отображаются мак адреса (заводские) материнки NIC1 NIC2, видимо сетевые устройства связаны с портами PCIe и когда я эксперементировал со сборкой биоса который выложили парой страниц назад (231x3v4 кажется) - очень хотел биос с редиректом и бифуркацией, но ничего не вышло, в очередной раз провозился 5 асов переключая все в биосе, ну и парралельно нарушая как то работу или отображение адресов сетевой карты. Чем меня не устраивает 0.5 - это понятно нет редиректа и блин при перезагрузки сервера практически всегда он уходит в ошибку и начинает пищать, и если делаешь перехагрузку удаленно - он будет пищать пока электричество в разетке есть или пока с бмс не выключишь питание.

не могу сказать точно почему у меня заводится суперленово 0.5 я вроде ничего необычного не делаю, рньше были процы 2680 теперь 2698v4, 2696v4 не пошли (писал выше), всю свою комбинацию описал. До этого пробовал наверное все биосы что на 450x шли (анимешка, 231 чистый, 602й, 231x3v4) находил в этой ветке последовательность накатки биосов, так же белал, не знаю есть ли от этого толк, перешивал и бмс и биосы по кругу, один раз супермикро незавелся и 1 раз били били не хотел заводится, больше не видел странностей.

Спасибо эксперементаторам и тем кто что то ковыряет исследует и пробует, а так же тем кто собирает биосы, вы действительно делаете эти платы рабочими.

Всем доброго времени суток, у меня вечер.
Попытки заставить "родной" BIOS от Леново нормально разделять шину привели к неутешительному выводу, что драйверы, работающие с PCH, ведут себя несколько странно. Настолько, что у платы 4xNVMEx4 после перезагрузки появлялись случайным образом диски то с порта 2A, то с 2С. При этом везде слот продолжал значиться как x16.
Мысль о том, что в 602 всё лучше и чище, не сильно подтвердилась. Лучше, но не кардинально. Работает всё, кроме разделения PCI-E слота. Кому интересен 602 с открытым IntelRCSetup, ловите - версия стабильная, по тестированию уровень близкий к релизу, уже крутится на двух боевых серверах.
https://disk.yandex.ru/d/hHUR3nyAmzrsKg - основной, оптимальные настройки + драйвер ResizeableBAR. Раздел Overclocking работает, хотя пользы от него мало.
https://disk.yandex.ru/d/162E11j1XAjemw - то же, но с добавленным драйвером анлока турбобуста (андервольтинг на -72 ядра, на -15 остальное). Не стал закрывать опцию "Overclocking" в IntelRCSetup, ибо предполагаю наличие мозгов у тех, кто работает с этими платами.
Дальше самое интересное. Беглый анализ BIOS по имени 超微450 показал две вещи:
1) Он очень глючно работает с железом, в частности видеокартами. Родной ленововский BIOS к железу менее требователен и более стабилен.
2) Этот BIOS не имеет никакого отношения к RD450X, кроме того, что был на неё кем-то из китайцев прошит. Это - сильно обрезанный BIOS SuperMicro X10DRX С внесёнными изменениями, вырезанным IPMI и вставленными глюками. Под плату даже поверхностно не адаптированный. К использованию на серьёзных задачах не рекомендован. Выплюньте бяку.
Но, в целом, идея неизвестного китайца мне понравилась. Для эксперимента были сделаны 2 вещи:
1) Взят за исходный BIOS v3.4a от ближайшей к нашей RD450X по конфигурации платы X10DRi, в котором работает настройка IPMI.
2) Взят за исходный BIOS 3.02 той же самой X10DRX, где работает встроенное видео, но не работает настройка IPMI.
Проанализировано, что будет проще - оживить поддержку встроенного видео AST2400 в X10DRi или оживить настройки BMC этого самого AST2400 в X10DRX. Первый путь казался проще, второй оказался надёжнее:)
Результат имеет статус бета-версии. https://disk.yandex.ru/d/-YUeH2DRsbAIqw Бифуркация PCI-E слотов работает, видео работает, сетевые настройки BMC работают (менять с осторожностью и осмысленно!). Поскольку оптимизация настроек сделана частично, смысла добавлять ReBAR или драйвер андервольтинга до завершения тестирования не вижу. По умолчанию настройки бифуркации следующие: слот 6 (ближний к памяти) x4x4x4x4, слот 5 (следующий) x16, все остальные кроме крайнего (который слот 1 x4 на физическом x8) - x8. Нумерацию слотов в DMI и настройках поправил частично.
Настраиваем так: IIO1 - CPU1, настраиваемые порты 2 (слот 6) и 3 (слот 5). Порт 1 не трогаем - на нём живут сетевые контроллеры. IIO2 - CPU2, настраиваем порты 2 и 3. Обращаю внимание, что в настройках выводится много отладочных переменных, которые лучше не трогать пальцами.
Как и во всех "неродных" BIOS'ах, лампочка Power мигает при старте и гаснет. на скорость это не влияет, я это исправлять не буду (китайцы тоже не заморачивались, кстати).
Работу слотов второго сокета проверить не могу - я так и не починил тестовую плату и второй сокет напоминает Тель-Авив после прилёта иранских ракет. Буду признателен за результат проверки. Далеко распространять не стоит - дождитесь хотя бы предрелиза (время поджимает, поэтому надеюсь сделать скоро - зависит в т.ч. от ваших результатов проверки). И, да, если при первом старте BMC не опознался - сделайте через веб-морду Power cycle server и зайдите ещё раз в настройки. Настройки по Del, как на SuperMicro. Сохранение настроек - F4, а не F10.
У меня всё. Наслаждайтесь:)

Добавлено спустя 46 минут 2 секунды:

Наверное, я что-то делаю не так:), но по описанной мною процедуре прошивки BIOS прекрасно заливались в любой последовательности, включая старый 2.19 и BIOS'ы совсем уже "чужие" от SuperMicro. При чём один раз на сервер, до которого 3,5 часа лететь и после 5 часов ехать:)
Версия BMC никак не влияет на открытие IntelRCSetup, поверьте мне:) Она влияет только на работу BMC, включая IPMI, датчики и веб-морду. Ну ещё на видео может повлиять. Поэтому лучше её без крайней необходимости не трогать и, по возможности, использовать ту, которая шла с платой.
И, да, в BIOS SuperMicro (следовательно, и кривых китайских поделках на его основе) действительно нет переменной настройки включения/отключения NUMA. Насколько я знаю, по умолчанию режим всегда включен. По крайней мере, падения производительности на восьмиканале при заливке свежего BIOS не отмечено.

Добавлено спустя 9 минут 12 секунд:

А нет, соврал! В настройках ACPI, по умолчанию включена.

Всем привет! Не получается подключиться через jviewer.jnlp. Подскажите, как это делать

Для начала установить Java версии 7. С версией 8 работать не будет. Далее в настройках Java разрешить не проверять подписи. Желательно также добавить адреса BMC в исключения.
После запустить и наслаждаться.

Добавлено спустя 1 час 41 минуту 39 секунд:

Только сейчас заметил пост. Это проблема кэширования данных браузером. Открываем-закрываем браузер, обычно всё проходит. Также к похожему результату может привести неверная команда ipmi, но через минут 10-15 и перезагрузку браузера проходит само.

Здравствуйте, во-первых спасибо вам большое. во-вторых подскажите пожалуйста, возможно глупый вопрос, но бифуркация слотов 2-3-4 которые х8, на х4х4 возможно в вашей версии, которую вы дорабатываете? У меня сейчас какой то один из 602 вроде стоит, и в 2 слоте который снизу х8, стоит карта расширения для nvme u2 дисков, 2шт, вот очень не хочу трогать 6-5 слот х16, т.к. планирую потом видеокарту воткнуть для ИИ.