Часовой пояс: UTC + 3 часа




Форум закрыт Новая тема / Эта тема закрыта, вы не можете редактировать и оставлять сообщения в ней. Закрыто  Сообщений: 41 • Страница 1 из 31  2  3  >
  Пред. тема | След. тема 
В случае проблем с отображением форума, отключите блокировщик рекламы
Автор Сообщение
 

Member
Статус: Не в сети
Регистрация: 24.10.2011
Обсуждение заметки 'Маркетинговые штучки: сноб-потребитель и слишком большой и быстрый HDD'.

В этой серии заметок мы поговорим о неутомимой борьбе сноба-потребителя с такими энергонезависимыми накопителями информации, как жесткие диски. Как обычно, пойдем в обход, используя много вводного материала.

Цитата:
Часть первая.

"Произошла неустранимая системная ошибка: ваш жесткий диск слишком большой и быстрый, система была остановлена."
сообщение операционной системы.

А начнем мы с такой на первый взгляд смешной проблемы 2012 года, как слишком большие и слишком быстрые жесткие диски, при работе с которыми у современных улучшенных операционных систем возникают трудности.

Содержание.

1. Как расширять MBR.
2. Почему плохо работать с логическими секторами по 512 байт поверх физических секторов по 4Кбайт?
3. Почему хороши HDD диски большого объема?

не требуется ничего — ни UEFI BIOS, ни секторов по 4К, ни чего-то еще грандиозного...
операция записи 512 байт превращается в операцию чтения 4К — модификации 512 байт из них — записи 4К на диск...
при объединении в RAID 0 массив дисков, есть смысл разделять полученный массив на разделы по скорости...



Партнер
 

Member
Статус: Не в сети
Регистрация: 05.01.2005
Откуда: Тверь
Фото: 0
Отличная статья. Спасибо автору.
Но очень бы хотелось что бы автор поподробнее осветил проблему совместимости секторов на современных дисках (где секторы по 4к) и её реализацию в современных ОС XP, Vista, 7.
Ведь для XP - необходимо выравнивание, но и после него падение производительности HDD весьма существенное. А Виста и Семерка могут обходиться без выравнивания, но достаточно ли качественно это у них реализованно?
Автор, может в следующей части осветишь эти вопросы? Было бы очень интересно.

_________________
TUF B450-PRO GAMING+R5 3600+ID-Cooling SE-241, 2х16Гб Ballistix Sport LT (3200), ASUS R270, Б.П. Corsair RM750X Gold,
корп. Fractal Design Define R4


 

Member
Статус: Не в сети
Регистрация: 22.08.2011
Отличная статья, но для полноты картины следует добавить главу о EFI/GPT, его возможностях, плюсах и минусах.


 

Junior
Статус: Не в сети
Регистрация: 13.07.2008
Откуда: Пермский край
Отлиная статья , требую продолжения ! :-)

_________________
Посмотрим, поколупаем, обругаем и будем пользоваться.


 

Member
Статус: Не в сети
Регистрация: 18.08.2009
Откуда: Орел
Расширил кругозор.
grizlyk Сердечно благодарю!

_________________
Как жаль, что мне не суждено
Стать частью этого большого мира.
Я — человек. На мне стоит клеймо:
Будильник, офис, пиво и квартира.


 

Member
Статус: Не в сети
Регистрация: 24.10.2011
Обсуждение заметки 'Маркетинговые штучки: сноб-потребитель и HDD #2'.

Продолжаем разовор о неутомимой борьбе сноба-потребителя с такими энергонезависимыми накопителями информации, как жесткие диски.

Цитата:
Часть вторая.

Сегодня лекция:
Сеансы Компьютерной Магии
(с полным её разоблачением)
Общественный разоблачитель, гр.: grizlyk

СКМ выпуск #1: RAID 0 и страхи.

«- А мне до крайности не нравится эта затея и вообще я удивляюсь, как ему разрешили это!
- Нет, не скажи, это очень тонкий шаг. Тут вся соль в разоблачении.»

Из разговора.

Содержание.

1. Что такое RAID?
2. Зачем нам RAID 0?
3. Как пугать с помощью RAID 0 (Швейк, который не боялся пироксилина).

При существующих ценах на HDD и SDD наиболее эффективным по параметрам максимизации скорости и минимизации цены за гигабайт является комбинация из RAID 0 массивов HDD дисков большой емкости и RAID 0 массивов SSD дисков малой емкости...
Для сохранения данных с одного накопителя или с RAID 0 массива пользуйтесь, пожалуйста, периодическим архивированием модификаций важных для вас файлов на резервный накопитель....


 

Member
Статус: Не в сети
Регистрация: 27.09.2009
Откуда: Россия, Пермь
Спасибо автору, интересно, много знал, много узнал...
P.S. Вот интересно, кто то тут сложил вероятности выхода из строя каждого диска и получил в два раза большую вероятность выхода из строя, но он не учел что эти события, а точнее поменялись условия... Диски в рейде (каждый) работают в другом режиме, нежили работа отдельного диске не в рейде... Хотя, что то и не изменилось, я думаю вероятность выхода из строя не растет не прямо пропорционально росту количества дисков в рейде...

_________________
Работа это не только путь решения бытовых проблем...


 

Member
Статус: Не в сети
Регистрация: 18.08.2009
Откуда: Орел
}I{eneI{

Типичная подмена понятий

Рейд это средство отказоустойчивости, а не бэкапа.
Задача рейда - уменьшения времени простоя информационной системы по причине выхода из строя НЖМД.
Рейд отсрачивает время ремонта/восстановления от сию_секунду до ближайшей ночи/выходных, позволяя продолжать работу и не терпеть убытки/лишения премий из-за простаивающего сервака.

Хранение рейдам приплели неграмотные человеки. Ведь с рейдом к вероятности выхода из строя НЖМД надо еще приплюсовывать и вероятность поломки рейд-контроллера, а она ой как ненулевая.
Правильное хранение ровно одно - копия на другом физическом носителе в другой комнате в металлическом шкафу (клетка Фарадея). Не дураки писали.

Кстати в серьезных конторах правила противопожарной безопасности предписывают передавать копии в вышестоящую контору и в случае чего первым делом выносить бэкап. Из одной строчки сразу следуют 4 пункта:
а) бэкап-сервак
б) правила и порядок бэкапа
в) контрольные копии на другом физическом носителе в другом помещении, в идеале в другом конце города с другим провайдером/электросетями/ответственными
Как правило на практике контрольные копии заливают на болванки многотомными архивами каждую неделю и передают на хранение.
г) рэйды даже не упоминаются. Потому что бэкап.

Поэтому выключи жмота и вместо рейда покупай еще жеских, через DSynchronyze настраивай копирование и будет тебе хэппи.

___________

Лично я для себя решил сделать еще один комп-хранилку на придушенном пассивном АМД А4 в миниАТХ корпусе но с 4-5 жескими.

_________________
Как жаль, что мне не суждено
Стать частью этого большого мира.
Я — человек. На мне стоит клеймо:
Будильник, офис, пиво и квартира.


 

Member
Статус: Не в сети
Регистрация: 27.09.2009
Откуда: Россия, Пермь
Rimsky писал(а):
Рейд это средство отказоустойчивости, а не бэкапа.

Интересно от кого вы такое могли слышать )))
Кстати, в более высоких рейдах есть еще разделение не только по адресу, но и по роли в рейде... как же там сосчитать этот процент, опять сложить )))
Rimsky писал(а):
Рейд отсрачивает время ремонта/восстановления от сию_секунду до ближайшей ночи/выходных, позволяя продолжать работу и не терпеть убытки/лишения премий из-за простаивающего сервака.

А еще можно тупо выдернуть диск из полки, посмотреть на него и опять воткнуть... )))
Про зеркалирование (точно забыл понятие, вроде так) я вообще молчу, вспоминается крепкий орешек 4...
Бэкапы делали, ох уж эти бд...

_________________
Работа это не только путь решения бытовых проблем...


 

Member
Статус: Не в сети
Регистрация: 24.10.2011
}I{eneI{ писал(а):
я думаю вероятность выхода из строя не растет не прямо пропорционально росту количества дисков в рейде...

offtopic
Теоретически, в составной системе ее части могут быть взаимосвязаны и "наводить" дополнительную ненадежность, что математически оценивается как суммирование. С другой стороны, тройное мажоритарное резервирование реального времени увеличивает число компонентов в три раза, но суммарная надежность получается выше, чем у одного компонента. Но к нашему вопросу это все не имеет отношения.

Повторю: сохранение данных на "не серверах" реализуется не в реальном времени, а архивированием - периодическим сжатием и сохранением измененной информации на резервных накопителях, при этом надежность RAID 0 массива на "не серверах" не влияет на сохранность данных, а влияет только на то, как часто вы будете перепокупать сломанный винчестер и восстанавливать исходное состояние из архива: как запись на новый RAID 0 массив исходного состояния и внесение изменений от последней сохраненной модификации; или воспользовавшись услугой "восстановление данных с поврежденного накопителя".

Это утверждение прямо противоположно по смыслу с растиражированным утверждением о том, что "RAID 0 массив имеет низкую сохраннность данных или уменьшает ее" применительно к "не серверам".

Применительно к чему угодно, RAID 0 массив из отдельных накопителей, если накопитель признан в данном применении заведомо надежным элементом (например, три девятки вместо двух), не снижает надежность при разумном числе накопителей (в данном примере до десятка). Применение RAID 0 массива эквивалентно надежности применения тех же самых накопителей, которые не связаны в RAID 0 массив.

Утверждение о низкой надежности RAID 0 массива было связано с тем, что на данном сервере надежность отдельного накопителя признана неудовлетворительной, число накопителей RAID 1 в данном случае зависит от конкретных значений чисел надежности компонент. Для "не серверов" или серверов, которые допускают установку отдельного накопителя, все эти рассуждения неинтересны.
offtopic
Надежность вещь, безусловно важная, вот что было написано в 1986 году в детской книге "В.А.Абчук - Правила удачи" http://www.biblus.ru/Default.aspx?book=3j3j4m09d1 - стр.90 "Саяно-Шушенская плотина, например, выгодно отличается /"по коэффициенту смелости"/ от плотин Глен-Кеньон и Хангри Хорс, построенных в США". Связь "коэффициента смелости" с аварией это совпадение. Книги в сети я не нашел, но ее можно взять в любой районной детской библиотеке или заказать через МБА, не дифицит. Но к нашему вопросу это не имеет отношения.


Rimsky писал(а):
Рейд это средство отказоустойчивости, а не бэкапа.
RAID <номер> это способ <номер> размещения данных на нескольких накопителях, которые работают как один. Аналог вычислительной сборки - кластер, он тоже служит не для отказоустойчивости, или бэкапа, а для выполнения вычислений на нескольких машинах, которые работают как одна.


 

Member
Статус: Не в сети
Регистрация: 18.08.2009
Откуда: Орел
grizlyk писал(а):
RAID <номер> это способ <номер> размещения данных на нескольких накопителях, которые работают как один. Аналог вычислительной сборки - кластер, он тоже служит не для отказоустойчивости, или бэкапа, а для выполнения вычислений на нескольких машинах, которые работают как одна.

Бенчмарки и скорость копирования рейд <номер> я замерял. Впечатляет, дадад. Но вот более приземленное случайное чтение/запись базки 200 гиг намекает либо на 15k либо на SSD. На механических жеских время доступа в лучшем случае для массива остается таким же, но как правило увеличивается. Дальше надо рассуждать что в одних задачах скорость чтения перекрывает падение врмени доступа, в других - нет, таблички пошукать. Но мне вломмм.

_________________
Как жаль, что мне не суждено
Стать частью этого большого мира.
Я — человек. На мне стоит клеймо:
Будильник, офис, пиво и квартира.


 

Junior
Статус: Не в сети
Регистрация: 29.04.2005
Автор, спасибо за эпический труд! А недочёты всегда найдут, просто исправь, если они действительно есть ;)


 

Вы кое-что не учли. Вероятность отказа RAID 0 такая же, как вероятность отказа самого плохого его узла - это верно. Но вы забываете о другом: т.к. данные хранятся 50 на 50 (или 25/25/25/25) и фрагменты друг без друга никому не нужны, для полной потери данных в случае их распространения на все накопители (т.е. достаточного для этого размера) достаточно выхода из строя одного накопителя из набора, в то время, как если вы храните данные без RAID 0, то в случае выхода из строя одного накопителя вы рискуете потерять только фрагмент (половину, четверть и т.д.), а не все сразу. По этой причине фотографы с большим желанием снимают на карты памяти 4ГБ, а не 16ГБ. Т.е. да, так важную информацию хранить все-таки опаснее и желательно ее дублировать.


 

Member
Статус: Не в сети
Регистрация: 21.01.2006
Откуда: Москва
Цитата:
применение RAID 0 для HDD оправданно всегда, а особенно для HDD дисков типа green, поскольку получается тихий накопитель большой емкости с высокой скоростью последовательного доступа. Применение RAID 0 для SSD оправданно всегда.

Да ладно? Это свободный полет мысли? На факты есть что ответить? Про HDD тоже бред, ибо вот.
Как вышесказанное вяжется со сказанным в статье ранее, откуда следует, что RAID-0 быстрее только при последовательном чтении/записи на другой массив. Просто ппц насколько часто встречающийся сценарий. В случае с SSD почти на всём, кроме тупого копирования, скорость упирается в процессор (Сандика 5 ГГц мало), куда уж там RAID или изделия на PCIe.

Для итоговой производительности в конечном счете важно время выполнения заданной операции, т.е. минимальные задержки. У HDD на мало-мальски случайных операциях время отклика возрастает катастрофически. RAID не может уменьшить это время в принципе, т.к. всё ограничивается вращением блинов и позиционированием головок. Значительный прирост в скорости относительно одиночного диска кроме последовательных операций может быть только под мощной многопоточной нагрузкой, когда NCQ выстроит команды более-менее последовательно. Но время выполнения каждой конкретной операции всё равно будет большим и скакать в очень широких пределах.
В домашних компах большая часть нагрузки - близкие к случайным операции без длинной очереди, поэтому RAID даже из 10 хардов не способен работать как SSD.
Цитата:
Вот эта вот "меньшая отказоустойчивость", радостно растиражированная в тысячах статей в интернете, откровенно пугает, так и представляю себе - поставил два диска рядышком и началось - поломка за поломкой, данным алес капут

Тонкий намек, что вы умнее тысяч других авторов?
Цитата:
Нельзя диски в RAID 0 рассматривать как отдельные накопители, надежность RAID 0 массива определяется надежностью самого ненадежного компонента - одного накопителя. Нет никакой фактической информации, что десять дисков работая рядом делают это хуже, чем один диск. Тоже самое, например, с автомобилями.

Феерический бред. Про автомобили: где выше шанс ДТП со смертельным исходом, в городе с 10 машинами или с 1000000? Про MTBF: смысл в миллионе часов - не сто лет безотказной работы, а что в массиве из миллиона дисков они будут дохнуть в среднем каждый час. Ну или есть вероятность в пару процентов, что одиночный диск умрёт в течение года. В массиве всё это увеличивается в разы пропорционально числу дисков.
Архивирование и сохранность данных на серверах не имеет никакого отношения к надежности конкретного RAID массива. На писюках и на серверах смысл одинаков, только числа другие.
Большой суммарный кэш хардов в теории мог бы быть заманчивым, но кэш ОС умнее, а главное больше (измеряется в гигах, а не в метрах). Нужно объяснять, что будет при резком отключении питания и зачем на серверные контроллеры ставят кэш с батарейкой, а собстенный кэш винтов отключают?
Считать накопители заведомо надежными в малых массивах можно, но в реальной жизни добавляется шанс глюка контроллера, который может развалить массив даже при живых хардах. Этот компонент нельзя исключать, т.к. при "бессмертных" хардах он становится важнейшим. Я уж молчу про влияние внешних факторов, т.е. повышенные вибрации, температура, нестабильность напряжения от БП и т.п. Одиночный хард в таких условиях просто перезапустится, может чекдиск понадобится прогнать, а RAID развалится с концами. В итоге шанс потери данных на нулевом массиве даже из пары хардов катастрофически выше одиночного харда.

_________________
http://www.overclockers.ru/tag/dentarg


 

Member
Статус: Не в сети
Регистрация: 13.03.2011
Откуда: Челябинск
Фото: 1
1. совет - если планируеш постоянно писать на ПС, то лучше заведи отдельную тему - Персональная страница ...
2. понимаеш ... Э, все таки интересные заметки пишутся по несколько иному принцыпу - представь ты сидиш за чашечкой кофе, рассказываеш собеседнику об чем-то интересном.

случайная цитата из записи, что за собеседник которому ты рассказываеш подобное
Цитата:
Это не приведет к искажению результата взвешивания, поскольку любая попытка выдать оценку информации от "лжесвидетеля" приведет к поражению, потому как информацию от "лжесвидетеля" надо рассматривать как синтаксически и семантически правильный выход от генератора случайный текстов, который в итоге не имеет никакого смысла.
"Сверкалось, хливкие шорьки пырялись по наве". Сразу ясно, что это абракадабра, но информация от лжесвидетеля это то же самое, но уже выглядит как разумный довод. Но только выглядит.
Принципиально - учитывать информацию от лжесвидетеля это самоубийство для "добросовестного участника".


 

Member
Статус: Не в сети
Регистрация: 27.06.2010
Уже как 3 года пользуюсь raid0 из двух st3250418as.
Скорость:
#77

RAID был построен на P55, затем со сменой i5-750 на 2500k поменялась и mobo на p67. RAID прекрасно переехал на новую платформу с полным сохранением всех данных. Позже вышел новый чипсет Z77 и я купил себе мат. плату на нем. RAID по прежнему радует скоростями. За все время эксплуатации не было ни одного "развалится с концами", не было ни одного чекдиска. Винты радуют своим температурным режимом, хоть и стоят вплотную друг к другу. Для важной информации у меня есть старенький винт на 500, которому уже лет пять )) Тоже сигейт.

RAID использую в основном для ОС и игрушек. Скорость загрузки ОС никак не зависит от скорости дисков. Через неделю/месяц/год ОС начинает грузиться долго и ничего с этим не сделать. Можно переустанавливать систему каждый месяц, но мне проще не выключать комп)). Игры грузятся заметно быстрее. Не буду врать насчет "в разы", но 50% прироста есть.

Собирался RAID три года назад, когда цены на HDD были еще "допотопные", а SSD были 32/64 за кучу денег )) Так что на тот момент соотношение цена/производительность было очень хорошим.

Цитата:
в реальной жизни добавляется шанс глюка контроллера, который может развалить массив даже при живых хардах.
в реальной жизни шанс глюка контроллера SSD на порядок выше )))

_________________
Рекомендую посетить мой небольшой проект http://www.animalfilms.net


 

Member
Статус: Не в сети
Регистрация: 16.01.2007
Фото: 23
Dentarg писал(а):
но в реальной жизни добавляется шанс глюка контроллера, который может развалить массив даже при живых хардах

Fanatic писал(а):
в реальной жизни шанс глюка контроллера SSD на порядок выше )))


На интегрированном контроллере на юге шанс глюка его высок. Спустя год, в августе, у меня raid 10 развалился полностью, за выходные дни что меня не было на работе. Винты при этом все живые. Один раз он диск просто спонтанно выкинул из массива. Тоже диск живой был.
Ладно хоть собрал raid 0 виртуальный из дисков и стащил инфу процентов на 90 целую.
На хардварном контроллере вероятность глюка низка. Все таки, это энтерпрайз.
У меня же raid 10 был построен на интегрированном из желания у начальника не тратить надцать тысяч на контроллер.

_________________
5800X3D | Deepcool AS500 | ASUS Prime X470-Pro | 2x16gb BL16G32C16U4W | XFX RX 6900 XT SWIFT 319 | NZXT H710 | Corsair RM1000i


 

Member
Статус: Не в сети
Регистрация: 14.11.2007
Откуда: Москва
Фото: 1
grizlyk К теме бэкапов. И так: вы предлагаете иметь n дисков в RAID0 и плюс к этому диск, равный или больший по объёму, чем этот RAID0 для того, чтобы беспроблемно перезаливаться при сбое. Я верно вас понимаю? Т.е. в самом простом случае в системнике должно находиться 3 харда (ну или 2 внутри +внешняя коробка +диск большого объёма)?


 

Member
Статус: Не в сети
Регистрация: 17.04.2007
Статья написано безграмотно, как по стилю изложения, так и по приведенной информации.
1. Не ясно о чем пишет автор, о технологии RAID 0 или о ее реализации? Которая кстати очень сильно будет отличаться в случае аппаратной/аппаратно программной/и программной реализации (учитывая что даже в каждой приведенной категории будут свои подвиды и нюансы)
2. далее по накатанной, из-за отсутствия у автора понимания, а о чем же он пишет (см. 1) приводится некое сумбурное видение устройства НЖМД, которое не имеет никакого отношения к RAID 0 (блочная запись в данное технологии не завязана на дорожки и сектора, а только на размер блока, который варьируется в зависимости от решаемых с использованием RAID 0 задач... (в случае же программного, он вообще оперирует понятием не ниже кластера, размер которого определяется из размера диска).
3. раздел 2.3 вообще представляет из себя некий сумбурный "бред", нельзя оперировать абстрактными произвольными цифрами для получения реального результата, я еще понимаю построена была бы некоторая модель приближения и эти цифры в ней использовались, а тут оперирование абстракциями с получением реального результата
4. в 2.4 автор вообще не понимает о чем пишет, и что у него возрастает, так как не имеет понимания о функционировании дисков, последовательной и произвольной выборке данных, данный тест показывает лишь что мы считали произвольный блок, и два последовательных блока из места позиционирования головки (а скорее всего вообще из кэш, так как современные диски используют алгоритмы "предугадывания")
5. с вероятностной моделью у автора совсем туго...

Fanatic
ваш пример с возможностью переноса основан на том что вы используете программно аппаратный рэйд, да еще и неизменный с 8 поколения северных мостов интела... проблемы у Вас наступят с полной смертью одного из дисков (полоски вы не сможете восстановить).


 

Member
Статус: Не в сети
Регистрация: 29.04.2006
Откуда: Москва
Боюсь автор обладает весьма поверхностными практическими знаниями о построении массивов на рабочих станциях (не на серверах с аппаратным контроллером за 3-4 сотни зелени). Особенно начиная с фразы

Цитата:
Применение RAID 0 массива эквивалентно надежности применения тех же самых накопителей, которые не связаны в RAID 0 массив.


Акцентируя внимание на тупой железке, автор забывает про данные, расположенные на этих самых носителях.
Я сознательно не беру в пример сейчас Raid 5, так как его построение требует аппаратного контроллера причем желательно с энергонезависимым кэшем.

А теперь берем некий массив данных и располагаем их на соответствующих накопителях

1 жесткий диск: в случае аппаратной проблемы мы теряем данные, но если пластины целы - то имеем некоторые шансы вернуть данные.
2 жестких диска в страйпе: мы получаем увеличенную скорость чтения и записи, но в случае выхода из строя одного из накопителей - мы фактически теряем данные всего массива.
2 жестких диска в зеркале: в случае отказа одного из дисков мы тратим время на репликацию, но в любом случае - ценой скорости работы и объемом места мы гарантируем себе более высокую (не в 2 раза - глюки двух хардов сразу и контроллера никто не отменял) сохранность данных.

Но это все теория. На практике же, действительно, при хорошем охлаждении пара жестких дисков в страйпе, скорее всего, прослужит верой и правдой. Можно утверждать, что надежность Raid 0 эквивалентна надежности одного накопителя - для получения эпик фейла достаточно выхода из строя одного диска. Мы уже данные потеряли. И в общем то не шибко важно умер один хард или оба сразу.

Цитата:
Разговор этих людей касался серверных систем, где существует такие параметры как «время работы сервера без отказов накопителей», «время восстановления после такого отказа» и «время работы до потери данных». Это проблемы очень далеки от потребностей десктопных компьютеров и понимания их пользователей. Достаточно сказать, что на такой сервер невозможно установить один накопитель, чтобы вписаться в эти параметры, но подавляющее число десктопов имеют только один накопитель и при этом чувствуют себя защищенными.

Для среднестатистического пользователя и сама фраза Raid 0 является абракадаброй и проделками лукавого, посему этот вариант не берем. А в серверных системах применяется совсем другая логика. И что уж говорить... По уму и несколько другие жесткие диски. Лишь реалии России и ведения бизнеса вносят свои коррективы.


Показать сообщения за:  Поле сортировки  
Форум закрыт Новая тема / Эта тема закрыта, вы не можете редактировать и оставлять сообщения в ней. Закрыто  Сообщений: 41 • Страница 1 из 31  2  3  >
-

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  

Лаборатория














Новости

Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB | Kolobok smiles © Aiwan