Бред. Я в своей нейросети использовал вначале FP32 и перед её реализацией был уверен, что мне этого типа хватит и больше для неё и не надо, а когда её реализовал, то с типом FP32 она работала плохо и не хватало точности, из-за чего обучение проходило плохо. Потом я поменял тип на FP64 и всё стало просто супер. Поэтому без FP64 — это просто игрушка и не для каких серьёзных расчётов не годиться и для серьёзных нейросетей не годиться, но в нейросетях всё зависит от структуры, где может хватить FP32, а где его будет мало, как в моём случае. Т.е. если синапсов у нейрона будет много, то FP32 будет не хватать.
NVIDIA говорит о конкретных задачах, где будет хватать FP16 и FP 32 - о распознавании образов. А вы о чём?
Пардон, но.... какие рассчеты на нейронной сети? Нейронная сеть - инструмент прогнозирования и/или распознавания (благодаря размытой логике). Естественно, есть задачи, где и четверная точность с трудом потянет (симуляции в области ядерной физики, где и порядки серьезные и мантисса должна быть очень длинной). А есть задачи, которым и половинной точности - за глаза. Давайте все-таки не смешивать несмешиваемое и различать немного задачи по их типу.
Member
Статус: Не в сети Регистрация: 25.12.2005 Откуда: Москва Фото: 0
Надеюсь последующие фотографии Хуанга с макетами будут не с санитарами на заднем фоне ??
Добавлено спустя 19 минут 59 секунд:
Ayame82 писал(а):
люди, объясните мне про шину Nvlink
Предполагается, что NVLink будет использовать мезонинный разъем. Будет использована компанией Nvidia с 2016 года в графических продуктах, построенных на основе архитектуры Nvidia Pascal.
люди, объясните мне про шину Nvlink. Для неё понадобится новый разъем на материнской плате?
Потом - возможно. В начале это, скорее всего, будет шина связующая несколько карт между собой (как сейчас SLI-мостик). Вот только скорость сообщения - 20 гигабайт в секунду (если 1 связующий блок). При механизмах когерентности кэшей, встроенных в NVLink, это дает теоретическую возможность использовать память как единый пул или хотя бы действовать по принципу UMA - возможность самостоятельно считывать (не записывать) данные из VRAM другого чипа. Это может и кардинально улучшить работу GPGPU с несколькими картами и значительно улучшить как качество, так и снихронизацию AFR (для игр и для профессионального использования). В перспективе, если NVLink пройдет и как основной интерфейс для карты, то карта сможет сама считывать данные из системной памяти.
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 12
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения