статус сервера не отображает реальной ситуации с заданиями последнее время.
Все нормально со статистикой заданий. Просто нужно понимать как она устроена и что именно где показывается. Я как-то подробно писал уже об этом, но это было давно (уже несколько лет как), так что можно повториться.
1. На главной странице (https://boinc.bakerlab.org/rosetta/ ) параметр Total queued jobs - это общая очередь запланированных заданий всех типов. Они еще не созданы, это только план. Пополняется эта очередь вручную и сразу большими порциями (обычно сотни тысяч или несколько миллионов за раз), когда ученые проекта запускают в работу какую-то новую задачу и размечают план в стиле: нам нужно по таким-то целям (белкам/молекулам) просчитать по N моделей для каждого X и Y из такого-то диапазона параметров и таким вот их шагом изменения.
2. Из этой очереди (плана) потом генератор заданий (уже программа работающая на сервере в автоматическом режиме) создает собственно BOINC-жабы: вносит необходимые записи в базы данных, генерирует исходные файлы (переменную часть, уникальную для каждой жабы), заливает их на файл-сервер откуда их потом может забирать BOINC клиент, проверяет доступность общих (разделяемых между множеством жаб) файлов и т.д. В общем проводит разную техническую подготовительную работу. Генерируется оно небольшими порциями по несколько сотен штук за раз (но регулярно - в норме генератор работает 24х7 и выплевывает новые порции подготовленных жаб каждые несколько минут), а общий запас обычно поддерживается на уровне не больше нескольких десятков тысяч жаб, чтобы не загружать основную базу данных. По мере снижения запаса генератор заданий постоянно добавляет новые. Вот эти задания уже могут разбирать наши BOIC клиенты.
При этом генераторов заданий у Розетты сейчас два: rah_make_work_rosetta
rah_make_work_rosetta_python_projects
Первый генерирует обычные задания для классической Розеты. Второй Питоновские задания работающие только в Виртуалбоксе. Раньше еще была Розетта-мини, но для нее заданий уже очень давно не дают и скорее всего уже никогда не будут, она намечена "под списание".
3. Вот эти очереди уже готовых для загрузки клиентами заданий отображаются уже на странице статуса сервера, столбик "Unsent" в таблице "Tasks by application" : https://boinc.bakerlab.org/rosetta/server_status.php
И поскольку задания есть двух разных типов, под разные приложения, то и очередей заданий тут уже две отдельных - в одной только обычные жабы (Rosetta), в другой только питоновские, под виртуалбокс (rosetta python projects).
4. Если в Total queued jobs заданий дофига, а в статусе сервера "unsent" в интересующей нас очереди стоит по нулям, то вероятно либо совсем отвалился соответствующий генератор заданий (программа в данный момент не работает и новых жаб не создает, а уже имевшийся запас обычно в этом случае разбирается за несколько часов). Либо он по какой-то причине не успевает их создавать в нужных количествах - клиенты разбирают их намного быстрее чем генерируются новые. Последний раз был как раз такой.
Это уже может быть связано или с упавшей по какой-либо причине производительностью генератора (какие-то проблемы на сервере на котором его программа крутится). Либо, например как в было в последний раз, когда был большой поток сбойных/глючных заданий, которые быстро вылетают при обсчете на клиенте (вместо счета по 8 часов на каждую жабу). Из-за этого клиенты забирают с сервера в разы/на порядок больше заданий чем обычно и генератор просто не успевает создавать новые в нужных количествах. Кому-то, то что он успел создать все-таки достаются (кто прислал запрос в первые секунды, после того как генератор выдал очередную порцию), но большинство получает ответ, что заданий нет. Хотя по факту они есть, только достаются самым везучим/самым упертым, кто успевает их схватить.
TSC! Russia member
Статус: Не в сети Регистрация: 31.08.2005 Откуда: Петербург Фото: 0
TimopheySnz В питоне задания есть. Но выдаются как-то странно, BOINC с виртуалкой поставил, ничего не запрещал - все равно по нулям. И ученые непонятно чем занимаются, в очереди научных планов 2,5 млн заданий.
_________________ www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech
Куратор темы Статус: Не в сети Регистрация: 19.01.2010 Откуда: Санкт-Петербург
Leonator писал(а):
TimopheySnz В питоне задания есть. Но выдаются как-то странно, BOINC с виртуалкой поставил, ничего не запрещал - все равно по нулям. И ученые непонятно чем занимаются, в очереди научных планов 2,5 млн заданий.
Если виртуалка стоит и все разрешено (не отключено на стороне клиента), то стоит проверить свои компы на сервере проекта - там есть настройка что-то вроде "не присылать vBOX задания". Важно: настройка на конретный компьютер, а не аккаунт. Со странички https://boinc.bakerlab.org/rosetta/hosts_user.php
Вроде как она сама автоматически включается если было много ошибок при счете в vBOX на конкретном компе. А назад - только вручную.
Насчет чем ученые занимаются, как я понял из обрывочного чтения официальных форумов они сейчас большую часть работы, которой раньше был загружен проект - по предсказанию 3d структуры белка по его аминокислотной формуле сейчас на нейросетях считают (trRosetta - ближайший аналог AlphaFold от DipMind, можно погуглить по нему, т.к. о нем намного больше писали чем о нейросетевой розетке), которые в этом оказались очень хороши - в большинстве случаев результаты выдают лучше, чем все те алгоритмы, что в проекте вручную пилили больше десятка лет. При этом они использует минимум на порядок меньше выч. ресурсов, так что предсказания структуры считают обычно прямо у себя на серверах, без задействования распределенных вычислений.
Научное "хардкор чтиво" по успехам Розетты (или точнее лабы Бейкера) в предсказании структуры белков с помощью нейросетей: https://www.pnas.org/content/117/3/1496
А в R@H загружают другие типы задания, под которые нейросетей нет, например докинг (моделирование взаимодействий между несколькими белками или белок + разные хим. соединения, включая потенциальные лекарства). Ну и периодический контроль запускают - сравнение результатов полученных от нейросетей с результатами классических алгоритмов. Т.к. ИНС лучше в большинстве случаев, но не всегда.
P.S. Конкретно сейчас стандартные задания для Розетты есть, почти 1 млн. штук в очереди и около 20 тыс. готовых к немедленной отправке. Правда в этом пакете много сбойных - 2 больших серии заданий, в одной вылетают сразу на старте у всех, другой после нескольких часов счета. Остальные считаются нормально.
TSC! Russia member
Статус: Не в сети Регистрация: 31.08.2005 Откуда: Петербург Фото: 0
Mad'Max Спасибо за новости. В принципе, что нейросеть припашут на этот проект, было ожидаемо, игра в фолдинг оказалась очень успешной, а алгоритмизировать, почему человек свернул молекулу так а не иначе это чисто техническая задача. Хотя могли бы наверное часть расчетов сделать клиентской и на видеокартах. В общем, как я понял, тупое числодробилово уже не так востребовано.
_________________ www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения