Часовой пояс: UTC + 3 часа




Куратор(ы):   Mad'Max    sashmxm   



Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 6386 • Страница 319 из 320<  1 ... 316  317  318  319  320  >
  Пред. тема | След. тема 
В случае проблем с отображением форума, отключите блокировщик рекламы
Автор Сообщение
 
Прилепленное (важное) сообщение

Member
Статус: Не в сети
Регистрация: 04.02.2003
Откуда: Москва
Обсуждаем проект Rosetta@Home.
Все вопросы задавать только после прочтения
FAQ по проекту Rosetta@Home
(обновлен 05.07.2020)

официальный сайт проекта
наша команда номер 528.
скачать BOINC клиент. (Windows, OS X, Linux, Android)
"Portable" версия BOINC клиента

Новости о борьбе с COVID 19 и о проекте в целом с оф. форума за март 2020 (спасибо Lecc)
Список научных достижений за последние 5 лет от 19.01.2019 (спасибо Lecc за анализ)

Альтернативная статистика:
1) BOINCstats;
2) stats.free-dc;

Соседние темы:
[TSC!] Наши успехи в Rosetta@Home
[R@H] Догонялки
[TSC!] Разбираемся с BOINC
[TSC!] Заготовки для FAQ BOINC
[TSC!] Выбор железа для F@H и R@H

Мы в Telegram - https://t.me/TSCRussia


Последний раз редактировалось sashmxm 13.09.2021 12:16, всего редактировалось 30 раз(а).
Telegram



Партнер
 

Куратор темы
Статус: Не в сети
Регистрация: 19.01.2010
Откуда: Санкт-Петербург
Leonator писал(а):
Да? а почему в Total queued jobs рисует два ляма заданий?

TimopheySnz писал(а):

sashmxm писал(а):
статус сервера не отображает реальной ситуации с заданиями последнее время.

Все нормально со статистикой заданий. Просто нужно понимать как она устроена и что именно где показывается. Я как-то подробно писал уже об этом, но это было давно (уже несколько лет как), так что можно повториться.

1. На главной странице (https://boinc.bakerlab.org/rosetta/ ) параметр Total queued jobs - это общая очередь запланированных заданий всех типов. Они еще не созданы, это только план. Пополняется эта очередь вручную и сразу большими порциями (обычно сотни тысяч или несколько миллионов за раз), когда ученые проекта запускают в работу какую-то новую задачу и размечают план в стиле: нам нужно по таким-то целям (белкам/молекулам) просчитать по N моделей для каждого X и Y из такого-то диапазона параметров и таким вот их шагом изменения.

2. Из этой очереди (плана) потом генератор заданий (уже программа работающая на сервере в автоматическом режиме) создает собственно BOINC-жабы: вносит необходимые записи в базы данных, генерирует исходные файлы (переменную часть, уникальную для каждой жабы), заливает их на файл-сервер откуда их потом может забирать BOINC клиент, проверяет доступность общих (разделяемых между множеством жаб) файлов и т.д. В общем проводит разную техническую подготовительную работу.
Генерируется оно небольшими порциями по несколько сотен штук за раз (но регулярно - в норме генератор работает 24х7 и выплевывает новые порции подготовленных жаб каждые несколько минут), а общий запас обычно поддерживается на уровне не больше нескольких десятков тысяч жаб, чтобы не загружать основную базу данных. По мере снижения запаса генератор заданий постоянно добавляет новые. Вот эти задания уже могут разбирать наши BOIC клиенты.

При этом генераторов заданий у Розетты сейчас два:
rah_make_work_rosetta

rah_make_work_rosetta_python_projects

Первый генерирует обычные задания для классической Розеты. Второй Питоновские задания работающие только в Виртуалбоксе.
Раньше еще была Розетта-мини, но для нее заданий уже очень давно не дают и скорее всего уже никогда не будут, она намечена "под списание".

3. Вот эти очереди уже готовых для загрузки клиентами заданий отображаются уже на странице статуса сервера, столбик "Unsent" в таблице "Tasks by application" : https://boinc.bakerlab.org/rosetta/server_status.php

И поскольку задания есть двух разных типов, под разные приложения, то и очередей заданий тут уже две отдельных - в одной только обычные жабы (Rosetta), в другой только питоновские, под виртуалбокс (rosetta python projects).

4. Если в Total queued jobs заданий дофига, а в статусе сервера "unsent" в интересующей нас очереди стоит по нулям, то вероятно либо совсем отвалился соответствующий генератор заданий (программа в данный момент не работает и новых жаб не создает, а уже имевшийся запас обычно в этом случае разбирается за несколько часов). Либо он по какой-то причине не успевает их создавать в нужных количествах - клиенты разбирают их намного быстрее чем генерируются новые. Последний раз был как раз такой.

Это уже может быть связано или с упавшей по какой-либо причине производительностью генератора (какие-то проблемы на сервере на котором его программа крутится). Либо, например как в было в последний раз, когда был большой поток сбойных/глючных заданий, которые быстро вылетают при обсчете на клиенте (вместо счета по 8 часов на каждую жабу). Из-за этого клиенты забирают с сервера в разы/на порядок больше заданий чем обычно и генератор просто не успевает создавать новые в нужных количествах. Кому-то, то что он успел создать все-таки достаются (кто прислал запрос в первые секунды, после того как генератор выдал очередную порцию), но большинство получает ответ, что заданий нет. Хотя по факту они есть, только достаются самым везучим/самым упертым, кто успевает их схватить.


 

Куратор темы
Статус: Не в сети
Регистрация: 23.12.2006
Откуда: Rīga
Фото: 0
Спасибо за разбор что-где-когда! Реально помогает, когда понимаешь правильно, как работает проект.


 

Member
Статус: Не в сети
Регистрация: 27.08.2015
Откуда: Снежинск
накрылась лавка?
с 23дек по сути не было заданий


 

TSC! Russia member
Статус: Не в сети
Регистрация: 31.08.2005
Откуда: Петербург
Фото: 0
TimopheySnz В питоне задания есть. Но выдаются как-то странно, BOINC с виртуалкой поставил, ничего не запрещал - все равно по нулям. И ученые непонятно чем занимаются, в очереди научных планов 2,5 млн заданий.

_________________
www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech


 

Куратор темы
Статус: Не в сети
Регистрация: 23.12.2006
Откуда: Rīga
Фото: 0
если мы говорим о 2,5 млн питоновских, то это вообще не радует. Пока считаем Sidock.. ну или WCG по желанию, чтобы не простаивали компы.


 

TSC! Russia member
Статус: Не в сети
Регистрация: 01.02.2014
Откуда: регион 64
Фото: 31
sashmxm писал(а):
нужно отключить в файле настроек сс_сonfig.xml получение vbox заданий :
Код:
<dont_use_vbox>1</dont_use_vbox>
Стало быть, пока бесполезно пытаться с этим способом? Ответ с сервера все тот же
Код:
02.02.2022 22:25:17 | Rosetta@home | Сообщение от сервера: VirtualBox is not installed

_________________
"...Никем не ставший, зачем ты жил?!..."


 

Member
Статус: Не в сети
Регистрация: 27.08.2015
Откуда: Снежинск
да это не связано
хоть что пиши - пару раз в неделю падает несколько заданий и всё
примерно также умирали POEM и GPUGRID


 

TSC! Russia member
Статус: Не в сети
Регистрация: 01.02.2014
Откуда: регион 64
Фото: 31
мне нормально так упало розетты, 27 заданий, проц под завязку. До 500 метров на поток, 24% физ. памяти занято

_________________
"...Никем не ставший, зачем ты жил?!..."


 

Member
Статус: Не в сети
Регистрация: 16.06.2008
Откуда: Петрозаводск
А подскажите, пожалуйста, а что, счётное приложение Rosetta@Home уже не работоспособно под Windows XP ?

_________________
http://vk.com/boinc - всё о распределённых вычислениях.


 

TSC! Russia member
Статус: Не в сети
Регистрация: 01.02.2014
Откуда: регион 64
Фото: 31
Yura12,
Код:
Microsoft Windows (98 or later) running on an Intel x86-compatible CPU    4.21    8 May 2020, 22:21:24 UTC    20 GigaFLOPS
Вроде как должно работать, сам на XP никогда не считал. FAQ с системными требованиями бегло не нашел. Что пишет лог/просмотр событий?

_________________
"...Никем не ставший, зачем ты жил?!..."


 

Member
Статус: Не в сети
Регистрация: 16.06.2008
Откуда: Петрозаводск
Во время ошибки в лог-файлы записывается это:

Код:
02-Feb-2022 23:30:01 [Rosetta@home] Starting task rb_02_02_203196_199155_ab_t000__robetta_cstwt_5.0_FT_IGNORE_THE_REST_06_11_2904963_30_0
02-Feb-2022 23:30:19 [Rosetta@home] Computation for task rb_02_02_203196_199155_ab_t000__robetta_cstwt_5.0_FT_IGNORE_THE_REST_06_11_2904963_30_0 finished
02-Feb-2022 23:30:19 [Rosetta@home] Output file rb_02_02_203196_199155_ab_t000__robetta_cstwt_5.0_FT_IGNORE_THE_REST_06_11_2904963_30_0_r391440124_0 for task rb_02_02_203196_199155_ab_t000__robetta_cstwt_5.0_FT_IGNORE_THE_REST_06_11_2904963_30_0 absent
02-Feb-2022 23:32:06 [Rosetta@home] Sending scheduler request: To fetch work.
02-Feb-2022 23:32:06 [Rosetta@home] Reporting 1 completed tasks


Хотя думаю уже и не стоит тратить время, разбираться с этим одним старым слабым компьютером 12 летней давности под Windows XP.

_________________
http://vk.com/boinc - всё о распределённых вычислениях.


 

Member
Статус: Не в сети
Регистрация: 27.08.2015
Откуда: Снежинск
ожил вроде


 

Member
Статус: Не в сети
Регистрация: 26.12.2016
Откуда: г.Обнинск
Сыплются задания movingtsub-..., все вылетают по ошибке вычислений через несколько секунд. Чего зря воздух греть, - приостановил Розетту.

Причина везде "Output file ... absent" Выходит, результат не интересен, главное - сам процесс!

_________________
Dust in the wind


 

Куратор темы
Статус: Не в сети
Регистрация: 19.01.2010
Откуда: Санкт-Петербург
Leonator писал(а):
TimopheySnz В питоне задания есть. Но выдаются как-то странно, BOINC с виртуалкой поставил, ничего не запрещал - все равно по нулям. И ученые непонятно чем занимаются, в очереди научных планов 2,5 млн заданий.

Если виртуалка стоит и все разрешено (не отключено на стороне клиента), то стоит проверить свои компы на сервере проекта - там есть настройка что-то вроде "не присылать vBOX задания". Важно: настройка на конретный компьютер, а не аккаунт. Со странички https://boinc.bakerlab.org/rosetta/hosts_user.php

Вроде как она сама автоматически включается если было много ошибок при счете в vBOX на конкретном компе.
А назад - только вручную.

Насчет чем ученые занимаются, как я понял из обрывочного чтения официальных форумов они сейчас большую часть работы, которой раньше был загружен проект - по предсказанию 3d структуры белка по его аминокислотной формуле сейчас на нейросетях считают (trRosetta - ближайший аналог AlphaFold от DipMind, можно погуглить по нему, т.к. о нем намного больше писали чем о нейросетевой розетке), которые в этом оказались очень хороши - в большинстве случаев результаты выдают лучше, чем все те алгоритмы, что в проекте вручную пилили больше десятка лет. При этом они использует минимум на порядок меньше выч. ресурсов, так что предсказания структуры считают обычно прямо у себя на серверах, без задействования распределенных вычислений.

Научное "хардкор чтиво" по успехам Розетты (или точнее лабы Бейкера) в предсказании структуры белков с помощью нейросетей:
https://www.pnas.org/content/117/3/1496

А в R@H загружают другие типы задания, под которые нейросетей нет, например докинг (моделирование взаимодействий между несколькими белками или белок + разные хим. соединения, включая потенциальные лекарства). Ну и периодический контроль запускают - сравнение результатов полученных от нейросетей с результатами классических алгоритмов. Т.к. ИНС лучше в большинстве случаев, но не всегда.

P.S.
Конкретно сейчас стандартные задания для Розетты есть, почти 1 млн. штук в очереди и около 20 тыс. готовых к немедленной отправке.
Правда в этом пакете много сбойных - 2 больших серии заданий, в одной вылетают сразу на старте у всех, другой после нескольких часов счета. Остальные считаются нормально.


 

TSC! Russia member
Статус: Не в сети
Регистрация: 31.08.2005
Откуда: Петербург
Фото: 0
Mad'Max Спасибо за новости. В принципе, что нейросеть припашут на этот проект, было ожидаемо, игра в фолдинг оказалась очень успешной, а алгоритмизировать, почему человек свернул молекулу так а не иначе это чисто техническая задача. Хотя могли бы наверное часть расчетов сделать клиентской и на видеокартах. В общем, как я понял, тупое числодробилово уже не так востребовано.

_________________
www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech


 

TSC! Russia member
Статус: Не в сети
Регистрация: 01.02.2014
Откуда: регион 64
Фото: 31
Ральф сервак в отрубе походу, хост пингуется

_________________
"...Никем не ставший, зачем ты жил?!..."


 

TSC! Russia member
Статус: Не в сети
Регистрация: 01.02.2014
Откуда: регион 64
Фото: 31
Так и не растолкался поставить виртуалку и всё на ней настроить, но гора внезапно пришла к Магомеду


Вложения:
Комментарий к файлу: и память свободна
Rosetta_23t_ramnotmuch_ok.png
Rosetta_23t_ramnotmuch_ok.png [ 128.29 КБ | Просмотров: 2017 ]

_________________
"...Никем не ставший, зачем ты жил?!..."
 

Member
Статус: Не в сети
Регистрация: 27.08.2015
Откуда: Снежинск
загибается похоже мероприятие...
написал видимо кандидатскую да забил...


 

Member
Статус: Не в сети
Регистрация: 27.08.2015
Откуда: Снежинск
у меня одного перестало казать каунтри позишн?


 

TSC! Russia member
Статус: Не в сети
Регистрация: 01.02.2014
Откуда: регион 64
Фото: 31
Знать бы еще что это такое
Как графически выглядит обсчсет розетты сегодня (просто скрин по красоте)
#77

_________________
"...Никем не ставший, зачем ты жил?!..."


Показать сообщения за:  Поле сортировки  
Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 6386 • Страница 319 из 320<  1 ... 316  317  318  319  320  >
-

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB | Kolobok smiles © Aiwan