Часовой пояс: UTC + 3 часа




Куратор(ы):   sashmxm    Mad'Max   



Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 5659 • Страница 282 из 283<  1 ... 279  280  281  282  283  >
  Пред. тема | След. тема 
В случае проблем с отображением форума, отключите блокировщик рекламы
Автор Сообщение
 

Junior
Статус: Не в сети
Регистрация: 28.04.2018
Откуда: Саратов
SlavicUnion писал(а):
Хотелось бы толковых российских проектов конечно, в идеале на собственной платформе, а то всё считаем, как ни крути на заклятых "партнёров" хоть вроде, как и результаты в открытом доступе.
Это так, размышления.


Я недавно задавал примерно такой же вопрос Владимиру Воеводину, и вот что он мне ответил:

Цитата:
Все суперкомпьютерные задачи перевести на BOINC нереально, поскольку многие задачи предполагают очень быструю связь процессоров между собой, и в распределенной среде от параллелизма для таких задач будет не ускорение, а замедление,
- Вы правы в том, что большой класс задач средствами типа BOINC вполне можно решать, и люди этим пользуются. Мы и сами в начале 2000-х проводили исследования в этой области, создав систему X-Com (http://x-com.parallel.ru/), с помощью которой объединяли компьютеры по всей России.


Кстати, вот информация, после которой за державу обидно:

Цитата:
“Согласно рейтингу суперкомпьютеров TOP500, «Ломоносов-2» занимает 63 место, он один из трех российских суперкомпьютеров, которые вообще представлены в списке. По мнению Воеводина, у России есть все шансы занять позицию выше, однако сделать это невозможно из-за недостаточного финансирования. Более того, в МГУ своими силами уже создали инженерную инфраструктуру, позволяющую увеличить мощность суперкомпьютерного комплекса до 100 петафлопс и выше, но подходящего «железа» еще нет”.
Источник


Цитата:
“[КШ] Есть ли в России острая потребность в ещё более мощных суперкомпьютерах?
[ВВ] Издеваетесь? Пятьсот пятнадцать ждущих задач! Причём это только фундаментальная наука. И вы спрашиваете про потребности?!”
Источник


Другие страны не жалеют денег на строительство суперкомпьютеров, а наше государство не осознает, что без быстрой обработки научных результатов мы будем, метафорически выражаясь, "ехать в последнем вагоне поезда".

Добавлено спустя 14 минут 17 секунд:
Кстати, после прочтения данной информации я поинтересовался у руководителей проектов, не собираются ли они перенести обработку данных на платформу BOINC:

Цитата:
В настоящий момент Астрокосмический центр ФИАН работает над завершением сбора, корреляции и архивации полученного громадного объема уникальных научных данных, международные научные группы продолжают обработку, анализ и публикацию результатов.
Астрокосмический центр ФИАН надеется на продолжение сотрудничества в рамках проекта “Миллиметрон”, который разовьет успехи “РадиоАстрона” в миллиметровом и субмиллиметровом диапазонах длин волн.
Источник

Напомним коротко о проекте и некоторых полученных результатах. Заметим, что обработка интерферометрических данных — процесс длительный и трудоемкий. Потребуется еще как минимум пять лет для завершения полноценного анализа и интерпретации накопленного на сегодня объема данных.
Источник


Вот что они мне ответили:

Цитата:
Благодарим Вас за интерес к нашим проектам. На сегодняшний день обработка данных проекта РадиоАстрон не упирается в нехватку ресурсов. Мы обладаем достаточными вычислительными мощностями.
У РСДБ данных, кроме прочего, есть специфика. Она связана с гигантскими объемами сырых данных. Поэтому, если бы мы захотели коррелировать свои данные на мощностях пользователей, это потребовало бы перегонять по интернету значительные объемы. Не эффективно и не реалистично.



Партнер
 

Member
Статус: Не в сети
Регистрация: 11.02.2003
Не было до конца понятно куда постить: то ли в ветку БОИНК, поскольку речь идёт об установке клиента, то ли сюда, т.к. проект не официально поддерживаемый. В итоге решил сюда. Если что, перенесите.
Просьба ко всем тру-линуксойдам: я только начинающий, так что, если увидите какой косяк, просьба сильно не пинать и указать на ошибки.
Итак,
Установка BOINC под проект LHC@Home в среде LINUX, в частности на UBUNTU
Предварительный этап: зайти в BIOS и разрешить (enable) виртуализацию процессора.

Предполагается, что Linux уже установлен. Если нет, то установить Линукс.

Установка BOINC
В терминале BOINC устанавливается следующими командами.
BOINC входит в официальный пакет источников. Вы устанавливаете следующий пакет
Код:
sudo apt-get install boinc

boinc — это метапакет, который устанавливает клиент и менеджер. Они также могут быть установлены индивидуально:
• boinc-client
• boinc-manager
Код:
sudo apt-get install boinc-client boinc-manager

Для генерации системных файлов запустите и остановите клиент
Код:
boinc-client start
boinc-client stop


Для установки в системе без графического интерфейса достаточно установить только клиент (boinc-client). Затем менеджер может настроить его с удаленного компьютера.
После установки демон запускается автоматически. В графической среде BOINC менеджер запускается из меню Applications -> System Tools -> BOINC Manager. При запуске в первый раз будет предложено выбрать проект(-ы).
После завершения установки демон сконфигурирован таким образом, чтобы стартовать при запуске компьютера. Временно можно запретить (а потом восстановить) автозапуск в файле /etc/default/boinc-client:
Код:
# Set this to 1 to enable and to 0 to disable the init script.
ENABLED="1"


После установки лучше перезагрузиться. Если нет такой возможности, то перезапустить клиент:
Код:
sudo /etc/init.d/boinc-client restart

Для того, чтобы можно было управлять клиентом с других компьютеров, необходимо внести правки в файл "gui_rpc_auth.cfg" , который находится в домашней директории пользователя. В файле уже находится сгенерированный случайным образом пароль для доступа. Создайте новый, если Вам это необходимо, сохраните файл. Помните, что на многопользовательском компьютере необходимо защищать свои файлы от доступа третьих лиц. Также, необходимо будет создать файл "remote_hosts.cfg" в директории пользователя. Внесите все IP в файл, с которых планируется вход в этот boinc -клиент, например:
192.168.0.2
192.168.0.3

Так как данный проект использует Oracle VirtualBox, то необходимо его установить:

УСТАНОВКА VIRTUALBOX 6.0 В UBUNTU 18.04
Установка VirtualBox в Ubuntu 18.04 выполняется из официального репозитория разработчиков. Только так Вы можете получить самую свежую версию платформы. Для начала давайте установим пакеты, которые нам понадобятся:
Код:
sudo apt install gcc make linux-headers-$(uname -r) dkms

Дальше необходимо добавить репозиторий. Для этого выполните:
Код:
$ wget -q https://www.virtualbox.org/download/oracle_vbox_2016.asc -O- | sudo apt-key add -
$ wget -q https://www.virtualbox.org/download/oracle_vbox.asc -O- | sudo apt-key add -
$ sudo sh -c 'echo "deb http://download.virtualbox.org/virtualbox/debian $(lsb_release -sc) contrib" >> /etc/apt/sources.list.d/virtualbox.list'

Перед тем как установить VirtualBox в Ubuntu 18.04 нужно обновить репозитории следующей командой:
Код:
$ sudo apt update

Не забудьте удалить старую версию или версию из репозиториев, если она была установлена:
Код:
$ sudo apt purge virtualbox*

И непосредственно, установка VirtualBox:
Код:
$ sudo apt install virtualbox-6.0

Удалить VirtualBox можно также, как и устанавливали, с помощью пакетного менеджера:
Код:
$ sudo apt purge virtualbox-6.0

Если VirtualBox был установлен из официального репозитария Ubuntu, тогда extension pack устанавливается так же из репозитария:
Код:
$ sudo apt-get install virtualbox-ext-pack


Далее необходимо добавить пользователя в группу Vboxusers и boinc и перезагрузить компьютер.

Потом добавьте Ваши проекты командой (общий вид)
Код:
boinccmd --project_attach URL auth

Конкретно:
Для подключения к проекту через командную строку необходимо создать файл с ключом (ключ жёстко привязан к моей учётной записи в проекте). Для этого вв директории с данными boinc необходимо создать файл с именем account_lhcathome.cern.ch_lhcathome.xml и отредактировать его следующим образом:
Код:
<account>
    <master_url>https://lhcathome.cern.ch/lhcathome/</master_url>
    <authenticator>5943_2a11efcd333d808bd2653abcd1ee09a2</authenticator>
</account>


Второй вариант (вместо предыдущего) — это запустить клиент с ключом:
Код:
boinccmd --project_attach https://lhcathome.cern.ch/lhcathome/5943_2a11efcd333d808bd2653abcd1ee09a2

Проверим:
Код:
boinccmd --get_state
boinccmd --get_project_status

Запросить задания
Код:
boinccmd --get_tasks

Данный номер - просто для примера написал, в реальности мой - иной; у вас - будет свой.

Пошаговая инструкция на официальном сайте LHC@Home (видео) http://cds.cern.ch/record/2138085?ln=en

Источники информации (возможно что-то упустил):
https://boinc.berkeley.edu/wiki/Installing_BOINC
https://lhcathome.cern.ch/lhcathome/for ... hp?id=4703
https://forum.lissyara.su/soft-f3/chere ... 44638.html

P.S. Не понятно: надо ли самому ставить CernVM или оно само как-то ставится…
http://cernvm.cern.ch/

_________________
Ещё не придумал...


Последний раз редактировалось MegaCalcii 22.09.2019 14:40, всего редактировалось 1 раз.
Под спойлер,т.к. слишком длинное


 

Member
Статус: Не в сети
Регистрация: 17.06.2008
Откуда: Москва
Фото: 8
Прорвался на первое место :crazy: :super: :dance: :dance:


Вложения:
MilkyWay@home 1.jpg
MilkyWay@home 1.jpg [ 196.9 КБ | Просмотров: 855 ]

_________________
Вместе мы СИЛА!
 

TSC! Russia member
Статус: Не в сети
Регистрация: 20.10.2014
Фото: 7
bootvirus писал(а):
Прорвался на первое место

Так держать :good:

_________________
TSC! Russia - добровольные распределённые вычисления.
Не используемые мощности твоего ПК могут помочь науке и людям в борьбе с тяжелыми заболеваниями.


 

Member
Статус: Не в сети
Регистрация: 11.02.2003
14-15 сентября 2019 г. ЦЕРН проводит день открытых дверей 2019 официальная информация и зарегистрироваться можно по этой ссылке, на котором проект LHC@Home будет представлен небольшим стендом. Посетителям будет предложен ряд мероприятий, которые желательно запланировать заранее. По ссылке можно открыть вкладку Agenda и там посмотреть более конкретно.
Количество посещений LHC ограничено.
Ссылка на видео-завлекалочку проекта https://videos.cern.ch/record/2309566
Ссылка на объявление на форуме: https://lhcathome.cern.ch/lhcathome/for ... hp?id=5129
Команда SixTrack приветствует вас в CERN и приветствует то процессорное время, которое вы нам предоставляете. Мы хотели бы знать, когда вы, скорее всего, будете проходить мимо ИТ-стенда, чтобы мы сконцентрировали свои усилия на времени, когда большинство из вас может быть там. Поэтому, пожалуйста, найдите ниже рисунок, который мы будем использовать для определения оптимального временного окна:
https://doodle.com/poll/qpw36awgspufawi7 - если будете посещать стенд, то выберете удобное время.
Я к сожалению в эти даты по семейным обстоятельствам не смогу :cry:

_________________
Ещё не придумал...


 

Member
Статус: Не в сети
Регистрация: 16.06.2008
Откуда: Петрозаводск
А кто хорошо знает английский, а не могли бы Вы написать автору проекта Asteroids@Home чтобы убрал неоптимизированные 32 разрядные приложения.
http://asteroidsathome.net/boinc/apps.php
Поскольку даже одноядерные Celeron 2003-2004 годов выпуска поддерживают SSE2 инструкции. Более старые процессоры вообще вряд ли задействованы в расчётах. А то вот так часто бывает, что на современные компьютеры с 32 разрядным Windows иногда приходит это неоптимизированное приложение и считает около 6 – 7 часов, в то время как на втором ядре этого же компьютера приложение с SSE2 оптимизацией считает за 2 часа. Из-за этих неоптимизированных приложений столько процессорного времени теряется.


Вложения:
apps_asteroids.png
apps_asteroids.png [ 64.82 КБ | Просмотров: 790 ]

_________________
http://vk.com/boinc - всё о распределённых вычислениях.
 

Member
Статус: Не в сети
Регистрация: 11.02.2003
Что-то такое?
Уважаемые господа!
Обращаюсь к вам с вопросом относительно неоптимизированных 32 битных заданий для проекта.
У меня имеются вполне современные компьютеры с 32 разрядным Windows и иногда приходит это неоптимизированное приложение, которое считается около 6 – 7 часов, в то время как на втором ядре этого же компьютера такое же приложение, но с SSE2 оптимизацией считается за 2 часа.
С другой стороны даже одноядерные Celeron 2003-2004 годов выпуска поддерживают SSE2 инструкции, а более старые процессоры вообще вряд ли задействованы в расчётах.
Из-за этих неоптимизированных приложений теряется большое количество процессорного времени.
С уважением,
Вася
====================
Dear Sirs!
I have a question concerning 32-bit non-optimized tasks for the project.
I have modern enough computers with 32-bit Windows installed and sometimes these non-optimized application comes in, and it takes about 6 - 7 hours to crunch it, meanwhile on the second core of the same CPU the same application, but with SSE2 optimization crunches about 2 hours.
On the other hand, even single-core Celeron 2003-2004 models supports SSE2 instructions and I doubt that the more older processors are taking part of the project for crunching.
Due to these non-optimized applications, we waste a large amount of processor time.
Respectfully,
Vasia

_________________
Ещё не придумал...


 

Member
Статус: Не в сети
Регистрация: 16.06.2008
Откуда: Петрозаводск
Спасибо за перевод на английский!

_________________
http://vk.com/boinc - всё о распределённых вычислениях.


 

Member
Статус: Не в сети
Регистрация: 11.02.2003
Запустил я первый сервер на Xeon E5-2667 v3 @ 3.20GHz [Family 6 Model 63 Stepping 2] (32 процессора) в проекте LHC@Home
Скорость радует настолько, что хочется отключить все остальные ноды: во-первых: 32 задания - экрана не хватает, во-вторых: имеются явные спринтеры, так, одно задание считается приблизительно чуть больше 20 минут. Таких заданий не много,порядка 10%, остальные же считают порядка 5 часов, то есть стандартное время.

_________________
Ещё не придумал...


 

Member
Статус: Не в сети
Регистрация: 30.04.2013
Фото: 0
Yura12 писал(а):
А кто хорошо знает английский, а не могли бы Вы написать автору проекта Asteroids@Home чтобы убрал неоптимизированные 32 разрядные приложения.
http://asteroidsathome.net/boinc/apps.php
Поскольку даже одноядерные Celeron 2003-2004 годов выпуска поддерживают SSE2 инструкции. Более старые процессоры вообще вряд ли задействованы в расчётах. А то вот так часто бывает, что на современные компьютеры с 32 разрядным Windows иногда приходит это неоптимизированное приложение и считает около 6 – 7 часов, в то время как на втором ядре этого же компьютера приложение с SSE2 оптимизацией считает за 2 часа. Из-за этих неоптимизированных приложений столько процессорного времени теряется.

ради одного тебя их убирать не станут тк есть компы с процами без sse2,что бы обычные не приходили отмени их несколько раз и перестанут приходить

_________________
AM4 R7 1700X=4500Mhz,R7 2700X=4600Mhz,R5 2500X=4650Mhz
AM3 FX-8300=5700Mhz
FM2 A4-5300=5508Mhz,Athlon x2 370k=5400Mhz,A10-7860k=5350Mhz


 

Member
Статус: Не в сети
Регистрация: 11.02.2003
Интересная ситуация складывается с расчётами в частности в проекте Milkyway@home на видеокартах различных производителей. Для сравнения на испытательной системе AMD Ryzen 7 2700X (8-Core CPU) воткнул две видео карты: в основной слот AMD Radeon RX 580 Series (8192MB) OpenCL: 2.0 (MSI Armor RX 580) и через райзер - NVIDIA GeForce GTX 1080 Ti (4095MB) driver: 391.01 OpenCL: 1.2 (на самом деле - это MSI Gaming 1080Ti 11Gb). Система: Microsoft Windows 7 Ultimate x64 Edition SP-1.
В результате карта от AMD более низшего класса быстрее карты более высокого класса (если посмотреть по затраченному времени и оставшемуся времени напротив каждой из карт, то имеем: 86 сек против 89 сек).
В защиту NVidia можно лишь сказать, что она через райзер работает. Но то, что AMD более низкого класса - тут не поспоришь.
P.S. Надо будет поменять их местами и провести другой эксперимент.


Вложения:
comparative-time_Nvidia1080Ti_vs_Radeon-580x.jpg
comparative-time_Nvidia1080Ti_vs_Radeon-580x.jpg [ 225.33 КБ | Просмотров: 525 ]

_________________
Ещё не придумал...
 

Member
Статус: Не в сети
Регистрация: 30.04.2013
Фото: 0
Vaga писал(а):
Интересная ситуация складывается с расчётами в частности в проекте Milkyway@home на видеокартах различных производителей. Для сравнения на испытательной системе AMD Ryzen 7 2700X (8-Core CPU) воткнул две видео карты: в основной слот AMD Radeon RX 580 Series (8192MB) OpenCL: 2.0 (MSI Armor RX 580) и через райзер - NVIDIA GeForce GTX 1080 Ti (4095MB) driver: 391.01 OpenCL: 1.2 (на самом деле - это MSI Gaming 1080Ti 11Gb). Система: Microsoft Windows 7 Ultimate x64 Edition SP-1.

неплохо так задание по 1,5мин делается)

_________________
AM4 R7 1700X=4500Mhz,R7 2700X=4600Mhz,R5 2500X=4650Mhz
AM3 FX-8300=5700Mhz
FM2 A4-5300=5508Mhz,Athlon x2 370k=5400Mhz,A10-7860k=5350Mhz


 

TSC! Russia member
Статус: Не в сети
Регистрация: 13.04.2008
Откуда: Смоленск
Радеоны всегда могли в математику, а милка смогла в программистов, в отличии от не будем показывать пальцем. Поэтому имеем то, что имеем.
Милка дружит с линуксом?

_________________
«Ты можешь рассчитывать на человечество, они всегда сведут все к наименьшему знаменателю и насрут на все сверху!» Lemmy Kilmister


 

Member
Статус: Не в сети
Регистрация: 30.04.2013
Фото: 0
GoLeM_LI писал(а):
Радеоны всегда могли в математику, а милка смогла в программистов, в отличии от не будем показывать пальцем. Поэтому имеем то, что имеем.
Милка дружит с линуксом?

судя по приложениям да https://milkyway.cs.rpi.edu/milkyway/apps.php

_________________
AM4 R7 1700X=4500Mhz,R7 2700X=4600Mhz,R5 2500X=4650Mhz
AM3 FX-8300=5700Mhz
FM2 A4-5300=5508Mhz,Athlon x2 370k=5400Mhz,A10-7860k=5350Mhz


 

Member
Статус: Не в сети
Регистрация: 09.04.2011
Фото: 10
Vaga писал(а):
Интересная ситуация складывается с расчётами в частности в проекте Milkyway@home на видеокартах различных производителей. Для сравнения на испытательной системе AMD Ryzen 7 2700X (8-Core CPU) воткнул две видео карты: в основной слот AMD Radeon RX 580 Series (8192MB) OpenCL: 2.0 (MSI Armor RX 580) и через райзер - NVIDIA GeForce GTX 1080 Ti (4095MB) driver: 391.01 OpenCL: 1.2 (на самом деле - это MSI Gaming 1080Ti 11Gb). Система: Microsoft Windows 7 Ultimate x64 Edition SP-1.
В результате карта от AMD более низшего класса быстрее карты более высокого класса (если посмотреть по затраченному времени и оставшемуся времени напротив каждой из карт, то имеем: 86 сек против 89 сек).
В защиту NVidia можно лишь сказать, что она через райзер работает. Но то, что AMD более низкого класса - тут не поспоришь.
P.S. Надо будет поменять их местами и провести другой эксперимент.


Для Милки надо смотреть на производительность ВК в операциях c числами двойной точности ("Double precision") ;) Тогда будет понятно, почему 1080Ti чуток медленнее. А хватает рейзера или нет, думаю, можно оценить по загрузке PCI-E шины. А вот фолдинге и других проектах используется лишь одинарная точность ("Single preciccion"), во многом поэтому ВК от Nvidia там и доминируют.


 

Куратор темы
Статус: Не в сети
Регистрация: 23.12.2006
Откуда: Rīga
Фото: 0
GoLeM_LI писал(а):
Милка дружит с линуксом?

конечно!
И в Einstein@home, где одинарная точность, тоже AMD превосходит NVIDIA


 

Member
Статус: Не в сети
Регистрация: 09.04.2011
Фото: 10
sashmxm писал(а):
конечно!
И в Einstein@home, где одинарная точность, тоже AMD превосходит NVIDIA

Правильно ли я понимаю, что на картах AMD c "теоретическими" гигафлопсами ниже, чем у NVIDIA задания выполняются быстрее?


 

Member
Статус: Не в сети
Регистрация: 11.02.2003
Да, именно так

_________________
Ещё не придумал...


 

Куратор темы
Статус: Не в сети
Регистрация: 23.12.2006
Откуда: Rīga
Фото: 0
невероятно, но факт


 

Member
Статус: Не в сети
Регистрация: 11.02.2003
Более-менее поставил на поток компьютеры, в среднем в проекте LHC@Home производительность такая (только CPU):
[][][][][][][][][][][][][][][][][][][][]
19.800 Intel(R) Xeon(R) CPU E5-2667 v3 @ 3.20GHz [Family 6 Model 63 Stepping 2] (32 процессоров)
[][][][][][][
6.500 AMD Ryzen 7 2700X Eight-Core Processor [Family 23 Model 8 Stepping 2] (16 процессоров)
[][][
2.400 Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz [Family 6 Model 158 Stepping 9] (8 процессоров)
[][][
2.300 AMD FX(tm)-8320 Eight-Core Processor [Family 21 Model 2 Stepping 0] (8 процессоров)
[][
1.350 Intel(R) Pentium(R) CPU J2900 @ 2.41GHz [Family 6 Model 55 Stepping 8](4 процессоров)
_____________________________________________
Прикрепляю скриншот со столь различным временем расчёта казалось бы одинаковых заданий.
Оговорюсь сразу: нет заданий, оптимизированных под SSE2, все (на экране) оптимизированы под AVX. Сразу же бросаются в глаза два спринтера: одно, практически посчитанное (специально подождал почти до 100%, прежде, чем сделать скриншот), и другое - посчитанное на 3/5. Также заметны два тихохода, но это иные задания: CMS.
Вот статистика по посчитанному заданию:
Код:
Application
SixTrack 502.05 (avx)
Name workspace2_lhc2017_c12_o40_N1.3_e0.9__46__s__62.27_60.295__10_12__6__15_1_sixvf_boinc4512
Estimated computation size 180,000 GFLOPs
CPU time 01:09:55
Elapsed time 01:10:35
Estimated time remaining
---
Fraction done
100.000%
Virtual memory size 75.91 MB
Working set size 47.81 MB
Progress rate 2.352% per minute
Executable sixtrack_win32_50205_avx.exe

Для примера приведу данные по заданию CMS:
Код:
Application CMS Simulation 49.00 (vbox64)
Name CMS_1692448_1569950069.019204
State Running
Estimated computation size 1,000,000 GFLOPs
CPU time 00:53:33
Elapsed time 01:52:59
Estimated time remaining 08:20:55
Fraction done 10.264%
Virtual memory size 116.41 MB
Working set size 2.79 GB
Progress rate 5.400% per hour
Executable vboxwrapper_26198ab7_windows_x86_64.exe


Вложения:
Комментарий к файлу: время расчётов
web_LHC@Home_task-time.jpg
web_LHC@Home_task-time.jpg [ 164.39 КБ | Просмотров: 252 ]

_________________
Ещё не придумал...
Показать сообщения за:  Поле сортировки  
Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 5659 • Страница 282 из 283<  1 ... 279  280  281  282  283  >
-

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  



Лаборатория














Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB | Kolobok smiles © Aiwan