Часовой пояс: UTC + 3 часа




Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 22 • Страница 1 из 21  2  >
  Версия для печати (полностью) Пред. тема | След. тема 
В случае проблем с отображением форума, отключите блокировщик рекламы
Автор Сообщение
 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
Всем снова огромный преогромный Привет!
Как и обещал, будет продолжение! :D кто не понимает о чем я клац
долго ждали наверное

Итак начнем:

Часть 1

Кластером это-Группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс, поподробнее про кластеры вот тут, так-же есть ТОП500 самых мощных кластеров.

Кластеры разделяют по типам:
1)Кластеры высокой доступности
2)Кластеры распределения нагрузки (Network Load Balancing, NLB)
3)Вычислительные кластеры
4)Системы распределенных вычислений (grid)
5)Кластер серверов, организуемых программно

P.s подробнее можете прочитать на вкикипедии, ссылка дана выше.

По сути это много компьютеров соединенных вместе, и работают они все слаженно.

У каждого кластера есть ОДИН главный компьютер, и ноды, на ГЛАВНОМ компьютере стоит весь софт(если кластер бездисковый поподробнее чуть-чуть позже), но если он не бездисковый, то у каждого нода есть HDD на котором хранится загрузочная система и файлы которые "рождаются" при его работе, при бездисковом кластере, вся система стоит на ГЛАВНОМ компьютере, другие ноды стоят без HDD, и в биосе у них стоит загрузка по сети так-же известная как NetBoot, подробнее о загрузке по сети вот тут и вот тут ,
при включении такого кластера, сначала включаются ГЛАВНЫЙ компьютер, затем запускается специальная программа, и только затем включаются ноды, спросите почему?
Отвечаю: При загрузке по сети, материнка как обычно загружается, соединяется с главным пк и ждет от него данные, но ждет она эти данные от 5 до 15 сек, и если данные не получены, вылетает запрос "Для продолжения нажмите ENTER" и она не начнет ожидать данных до тех пор, пока вы не нажмете ENTER.
Загрузка по сети, это что касается материнок со встроенным ENTERNET контролером.
Но что же делать при отсутствии этого контролера? честно? пока не разобрался :oops: ...

Часть 2

Системное ПО

Для самого проекта был взят OpenMOSIX(это патч ядра Linux), но проект уже закрыт и к тому же он не распределял нагрузку на все ноды, а задача просто напросто прерходила с одного Пк на другой, и при этом она потихоньку выполнялась, подробнее вот тут.
Для своего кластера мне не хотелось пихать на каждую материнку HDD и поэтому я перешел к поиску бездискового кластера, а если быть точным, готовой системы, и что же вы думаете? я нашел, несколько таких систем:
PelicanHPC(кстати есть русский туториал он вот тут , KestrelHPC(использует Ubuntu подобно OpenMosix, но за основу его подтолкнул PelicanHPC), Beowolf(практическое руководство, так же про него есть статья на Википедии) ну систем много, но я пока остановился на PelicanHPC его я опробовал на двух ноутбуках, все вышло, но с материнками пока не все так просто :(

Всем спасибо кто помогал, но это не значит что тема окончена! Подробнее:Сейчас не хватат БП, и систем охлаждений, боксовых кулеров, и т.п, так же, заберу всяко-разно барахло.

Части будут продолжатся, кому интересно ждите продолжения, кому не интересно, ни кого не заставляю читать, обсуждение можете писать прям сюда, вопросы и помощь, тоже сюда! :D

В следующих частях будет обсуждение по стойкам, как все компактно расположить, водяное охлаждение и т.п
P.s Если не в ту тематику написал, исправте, и скажите мне


ОБНОВЛЕНИЕ 22.07.2014
C загрузкой по сети без встроенной сетевушки разобрался, все просто: для переделки потребуется сетевушка с "кроваткой", кроватка бывает двух типов DIP(28 контактов если не изменяет память) и как на материнке BIOS.
И так, у нас есть много сетевух, с разными кроватками, но зачем они нужны?
туда вставляются микросхемы, СНАЧАЛА ИХ НУЖНО ПРОШИТЬ, но если вы их просто вставите, ничего не будет :D
что бы сетевевуха стала загрузочной, сначала нужно узнать код сетевухи, ну или точнее ID PCI, затем нужно зайти на САЙТ, и выбрать ID сетевой карты, затем выбираем образ .Zrom(так же есть другие, для фопика или CD допустим, если нет "кроватки") и прошиваем микросхему, вставляем, устанавливаем обратно на мать, в настройках BIOS ставим загрузку по сети(должен появится такой пунктик)ставим его по умолчанию, и готово :-) )


Евгений Моторкин, sdqf_20@mail.ru, 15 лет.

Добавлено спустя 53 минуты 13 секунд:[/color][/size]
Что то смотрю все такие вредные, статью читают, а написать что нибудь, нет :gamer:

_________________
Если что то не работает, нужно постучать :)


Последний раз редактировалось SDQF 22.07.2014 11:47, всего редактировалось 1 раз.


Партнер
 

Member
Статус: Не в сети
Регистрация: 30.08.2009
А чего тут комментировать? В проекте не описана цель. Без цели можно городить всё, что угодно. Вон, ребята в тестовой лаборатории сгородили кластер из Intel NUC. На вопрос "зачем" - затруднились ответить :D
Цитата:
представляющая с точки зрения пользователя единый аппаратный ресурс

Это описание только HPC кластера, к тому же это не единый ресурс. Объединять несколько машин в одно целое для увеличения производительности можно только топовые четырехпроцессорные железки (на аппаратном уровне), но это - не совсем кластер.


Последний раз редактировалось LCF51R 22.07.2014 11:17, всего редактировалось 1 раз.

 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
LCF51R ну мне он нужен для математических вычислений, плюс в PelicanHPC можно хоть что запустить, через терминал(в следующей части), и он будет сам все распределять :super:
хочу еще попробовать KestrelHPC но чет не разобрался

_________________
Если что то не работает, нужно постучать :)


 

Member
Статус: Не в сети
Регистрация: 30.08.2009
SDQF Если требуется высокая производительность на короткий срок - проще арендовать мощности у Amazon (например). Высокой производительности на разнородном устаревшем оборудовании Вам получить не удастся.
"Хоть что" запустить тоже не получится: для кластеризации требуется софт, который поддерживает кластеризацию. Цель всё так же туманна.


 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
LCF51R повторюсь еще раз, есть специальная программа которая сама все распределяет, допустим через нее запустим музыку, и она распределяет потоки по разным PC :D

_________________
Если что то не работает, нужно постучать :)


 

Member
Статус: Не в сети
Регистрация: 30.08.2009
SDQF Музыка будет исполняться на разных ПК %)? Или имеется в виду ее перекодирование? Железо-то какое "на руках"?


 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
просьба еще помочь с вот этим, т.к не добрый Sonic-Chainik уже заблокировал мою тему

_________________
Если что то не работает, нужно постучать :)


 

Member
Статус: Не в сети
Регистрация: 30.08.2009
SDQF Давайте примерно посчитаем производительность.
За точку отсчета возьмем Xeon 3065, который более производительный, чем любой из Ваших пентиумов 4 на 478 сокете. Его производительность согласно spec.org составляет ~33.7 единиц. Возьмем современный дешевый Xeon E3-1230v3, его производительность составляет ~210 единиц. Таким образом, один такой сервер заменит ~6 Ваших ПК по производительности. Соответственно, чтобы получить аналогичную производительность - потребуется 2 таких сервачка.
Стоимость сервера с процессором E3-1230v3 составит ~30т.р. Примерно в эту же сумму обойдется дешевая водянка на 3 Ваших ПК (если сможете ее найти и смастерить). Таким образом, стоимость охлаждения превысит стоимость современного железа примерно в 2 раза.
Теперь подумаем об энергопотреблении: пара таких серверов едва ли будут потреблять более 250-300W в пиковой загрузке. Сколько будут потреблять Ваши 12 ПК?
Прибавим сюда стоимость серверной стойки.
Итог: Ваш проект не целесообразен как экономически, так и с точки зрения надежности\геморойности.

Поэтому еще раз спрошу: в чем цель проекта? Пока я вижу, что Вы набрали кучу старого говна железа и пытаетесь изобрести из него "что-нибудь".
Если у Вас есть конкретная задача (проект), требующая решения, можем помочь советами.
Если цель - изучить построение кластера, то стоит начать с теории, а не с конкретного софта.
Если цель - потратить кучу времени "вникуда" только для того, чтобы запустить старый хлам, то Вы сами себе злобный чебурашка хозяин и мы тут Вам ничем помочь не сможем.


 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
LCF51R писал(а):
SDQF Музыка будет исполняться на разных ПК %)?

да нет, тип включили послушать :lol: , я к примеру, сказал,
SDQF писал(а):
Железо-то какое "на руках"?

понимаете, железа много, сокеты 478, 775, AM2, AM3, 939 (для стойки, материнки по размерам сортирую), штук 30-50 :hi: , но стойку же не сделаешь под разные форматы ATX, ведь правильно :ok: , отдали почти(материнки отличаются) 15 одинаковых Пк с одинаковым размером ATX, стойка 1.5 метров, в нее влезает 12 ПК, питание вот такое питание или вот такое пока не решил.
Почему у китайцав? А потому что 20 км ия у них :lol: и есть человек который торгуется в китае между совими, и если буду брать оптом, вообще выйдет 250р за штуку(6руб 1 юуань).

_________________
Если что то не работает, нужно постучать :)


 

Member
Статус: Не в сети
Регистрация: 30.08.2009
SDQF Всё понятно. Решайте дальше Вашего сферичского коня в вакууме. Стратите деньги в никуда.
P.S. Почитайте на досуге: http://www.linux.org.ru/news/doc/3976429


 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
LCF51R писал(а):
Всё понятно. Решайте дальше Вашего сферичского коня в вакууме. Стратите деньги в никуда.
P.S. Почитайте на досуге: http://www.linux.org.ru/news/doc/3976429

прошу вас не говорить о том как это невыгодно, и т.п у меня нет таких денег, и все это, делается в свободное время, самый мелкий процессор 10Гигафлоп, если мы возьмем стойку в 12 ПК, все равно выйдет 120гигафлоп, а это уже
i5-2500K
Intel Core i5-2500K 3,3-3,7 ГГц (2011) — 105,6-118 Гфлопс
википедия
а если считать что железо мне отдают бесплатно....
один водоблок 60р(если оптом дешевле), ну возьмем тогда 60р*12=720р+насос1200р+шланги 500р+радиатор отопления 1000р итог 3500р, а не та водянка за 30 тысяч :writer:

_________________
Если что то не работает, нужно постучать :)


 

Member
Статус: Не в сети
Регистрация: 30.08.2009
SDQF писал(а):
прошу вас не говорить о том как это невыгодно, и т.п у меня нет таких денег

То есть 60.000р у Вас нет, а отдавать по 3.500-4000р в месяц (только за 12 машин, за 50 машин - это будет порядка 20.000 в месяц при круглосуточной работе) за электричество у Вас есть? :D Вы вообще в курсе, что эта "стойка" из 50 машин будет потреблять порядка 7.5KW? Проводка-то дома выдержит? :D А куда Вы денете всё это тепло? Обычный домашний кондей с этим не справится, профессиональные решения будут стоить приличных денег.
SDQF писал(а):
и все это, делается в свободное время, самый мелкий процессор 10Гигафлоп, если мы возьмем стойку в 12 ПК, все равно выйдет 120гигафлоп

Не будет там 120 гигафлопс, учитывайте потери на синхронизации, которые в IP сетях будут немаленькими.
SDQF писал(а):
а если считать что железо мне отдают бесплатно....

Электричество с кондеями Вам тоже бесплатно отдадут?

В общем, удаляюсь из темы.


 

Member
Статус: Не в сети
Регистрация: 26.06.2008
Откуда: беларусь гомель
Фото: 20
если отдельно взять охлаждение ЦП - блоки эти всё равно мусор. хоть такой?
гребёнки для тёплых полов для распраллеливания потоков... 2 дюжины штуцеров для водоблоков, 6-8 для гребёнок, ~15 секций радиатора, насос с обвязкой... 5-7 метров шланга, 30 хомутов... добрых литров 5, а от и поболее антифриза... а оно того стоит?

Добавлено спустя 1 минуту 13 секунд:
ИМХО машины отдать в детдома, а самому купить нормальный более-менее современный сервак, благо их б/у десятками продают

а для экспериментов оставьте 3 машины, и кластер и проблем в 10 раз меньше

_________________
You MUST be STEEL!!! You MUST be DOOM!!!


Последний раз редактировалось Vetalar 22.07.2014 16:07, всего редактировалось 1 раз.

 

Member
Статус: Не в сети
Регистрация: 10.07.2008
Откуда: Екатеринбург
Фото: 3
тс точно сам себе злобный чебурашка.
Найди подругу себе или забухай на худой конец))))

_________________
Держи кровь чистой.
Мамкин пирожочек - лжец и мелкий мошенник.


 

Member
Статус: Не в сети
Регистрация: 03.03.2011
Откуда: Amsterdam
Если ставить себе целью изучение линуксов и кластерного по типу там например Apache Hadoop, то я бы на месте автора весь старый хлам отправил на барахолки, на вырученные деньги взял бы простенький пк на i5 или e3-1230, туда виртуалбокс и несколько виртуалок, на виртуалках поднимается любимый дистрибутив и настраивается Hadoop. В результате вот они, распределенные вычисления во все поля. В виртуальной сети. Как бы навык будет получен, разве что не придется копаться во всяком старом хламе.


 

Member
Статус: Не в сети
Регистрация: 30.08.2009
synch писал(а):
Если ставить себе целью изучение линуксов и кластерного по типу там например Apache Hadoop, то я бы на месте автора весь старый хлам отправил на барахолки, на вырученные деньги взял бы простенький пк на i5 или e3-1230, туда виртуалбокс и несколько виртуалок, на виртуалках поднимается любимый дистрибутив и настраивается Hadoop. В результате вот они, распределенные вычисления во все поля. В виртуальной сети. Как бы навык будет получен, разве что не придется копаться во всяком старом хламе.

Обоими руками поддерживаю.


 

Member
Статус: Не в сети
Регистрация: 10.07.2008
Откуда: Екатеринбург
Фото: 3
тс какой-то унылый тролль

_________________
Держи кровь чистой.
Мамкин пирожочек - лжец и мелкий мошенник.


 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
Что то я смотрю, тема не понравилась...
Давайте так, я делаю, а вы не флудите и просто будите помогать? :facepalm:
ну да, хочется мне попробовать соорудить, что здесь плохого? руки чешется! кого не устраивает, удаляйтесь, кто хочет помочь, помогайте, скажу спасибо.
копатся в старом барахле это мои проблеммы, вы же за меня не живете!

Добавлено спустя 1 минуту 43 секунды:
настроение испортили, слов нет :-(

_________________
Если что то не работает, нужно постучать :)


 

Member
Статус: Не в сети
Регистрация: 10.07.2008
Откуда: Екатеринбург
Фото: 3
SDQF :lol:

_________________
Держи кровь чистой.
Мамкин пирожочек - лжец и мелкий мошенник.


 

Junior
Статус: Не в сети
Регистрация: 02.07.2014
Откуда: Хабаровск
Cider некоторых еще вроде людьми называют...

_________________
Если что то не работает, нужно постучать :)


Показать сообщения за:  Поле сортировки  
Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 22 • Страница 1 из 21  2  >
-

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 19


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB | Kolobok smiles © Aiwan