Эта карта создана для ИИ большей частью, 32ГБ об этом красноречиво говорят. В этой области главное это объём и скорость памяти. К тому же добавили FP4 под нейросетки, в этом плане она в разы быстрее 4090. Она создана под то что будет актуально через пару лет. Поэтому стоит смотреть на неё либо как на инвестицию под новые ИИ фичи, либо ждать RTX 6090, когда эти фичи уже внедрят. Главное тут не пытатся экономить и покупать 16 гиговые карты - это ещё больший развод на бабки чем 5090.
В картах для ИИ памяти нужно еще больше. У нвидии будет отдельная, уже спеки показывали.
2500 - интересно, а вот 4000 баксов за 64Гига уже нет. Теперешные нейросетки умеют использвать несколько ГПУ. Проще две 5090 купить и получить те же 64 гига, но уже с двойной производительностью и продать такое будет проще.
Varg писал(а):
Ни одна промышленная нейросеть не использует FP4. В этом плане чистая подтасовка цифр.
Я имею ввиду что это карта с ориентировкой на ИИ для десктопа, а здесь FP4 - это стандарт, потому что памяти мало. Речь идёт о языковых моделях, ИИ в играх, различных генераторах картинок, видео, ассистентах для программирования, собственнных голосовых помощниках способных что-то делать на ПК, искать в сети и т.д. тот же Copilot от МС уже существует. Такого плана вещи скоро будут повсеместно встраивать в софт. 5090 тем и хороша что она и в играх ничё и памяти накинули, а Titan если выйдет с теми параметрами что в таблице - это уже реально чисто профессиональная железка, а не универсальная.
Community Manager
Статус: Не в сети Регистрация: 30.12.2004 Откуда: У зайца яйца
stockclock писал(а):
Я имею ввиду что это карта с ориентировкой на ИИ для десктопа, а здесь FP4 - это стандарт, потому что памяти мало.
Приведешь несколько примеров этого "стандарта", то есть использующих FP4 ИИ-приложений для десктопа?
Термин "промышленные" в айти не связан со станками и заводами, а всего лишь означает стадию жизненного цикла ПО, когда оно закончило все беты и пре-релизы.
stockclock писал(а):
Теперешные нейросетки умеют использвать несколько ГПУ. Проще две 5090 купить и получить те же 64 гига, но уже с двойной производительностью и продать такое будет проще.
Максимальный размер модели при этом не меняется - то, что не влезает в память одной карты, не может обучаться или выполняться. На двух картах можно апскейлить по половине одной картинки, но генеративные модели на них будут работать только те же, что на одной.
Community Manager
Статус: Не в сети Регистрация: 30.12.2004 Откуда: У зайца яйца
Lurk писал(а):
Есть FLUX и stable diffusion FP4 чекпоинты.
Есть такие варианты, но ценой потери качества, поэтому народ все равно в FP16 гоняет.
#77
Стандарт сейчас - FP16, что на десктопе, что где-то еще. Некоторые модели начали успешно обучать на FP8. Но это другие модели с другим результатом, нежели FP16 и FP32. Есть успешные модели со смешанной квантизацией, 8/4, только там производительность не будет удваиваться. Это не к тому, что поддержка FP4 не нужна, конечно нужна и давно есть в ИИ-чипах, а к тому, что она не означает х2.
Добавлено спустя 29 минут 18 секунд:
Бушкапе писал(а):
У 4090 буст примерно 2.73-2.77 в играх. В фурмарке 2.685.
Varg писал(а):
4090 Boost Clock (GHz) 2.52 Base Clock (GHz) 2.23 5090 Boost Clock (GHz) 2.41 Base Clock (GHz) 2.01
4090 реально 2.6 бублик 2.8 игры 3.0 разгон 3.1 вода 5090 Возможно вживую увидим 2.5 в бублике, 2.6 в играх, 2.8 в разгоне с 3 под водой.
В этот раз официальные и реальные частоты совпадают. Но в разгоне получили только 2.66, а не навангованные 2.8. Насколько помню, ниже 2.95 в разгоне у 4090 почти не бывает, даже на простом стоковом биосе. Так что потеря в реальной частоте порядка 300 МГц, больше чем 200, которые я ожидал.
Member
Статус: Не в сети Регистрация: 20.08.2011 Откуда: Рязань Фото: 0
Varg писал(а):
Насколько помню, ниже 2.95 в разгоне у 4090 почти не бывает, даже на простом стоковом биосе. Так что потеря в реальной частоте порядка 300 МГц, больше чем 200, которые я ожидал.
Я вообще ожидал прироста частот, чтобы было хотя бы 3100-3200 МГц в разгоне за счёт перехода на улучшенный техпроцесс. А что кстати за такие некрасивые значения частот в графике, с RTX2000 по rtx4000 включительно был красивый шаг в 15 МГц, а тут что-то кривое или это какие-то средние значения?
_________________ Palit GeForce RTX 5090 GameRock OC; Intel Core Ultra 7 265K; MSI MPG Z890 EDGE TI WIFI; be quiet! DARK POWER PRO 12 1500W; Samsung Odyssey OLED G8 G80SD
Приведешь несколько примеров этого "стандарта", то есть использующих FP4 ИИ-приложений для десктопа?
Ты похоже с генерацией картинок больше знаком и языковые модели не используешь. Большие LLM приходится в FP4 запускать. Он стал дефолтным вариантом на практике. Те кто пользуются языковыми моделями типа LLama, Gemma, Deepseek просто знают об этом. Это дефолтный вариант для скачивания в оболочках типа LM-Studio. Что сейчас в генерации картинок не знаю, просто не актуально для меня. Я думаю мы получим мультимодальные LLM в которых будет всё и сразу и модели вроде Stable Diffusion просто будет внутри LLM. А там модели объёмом уже давно десятки и даже сотни гигабайт. К тому же более менее сносно работают модели на 70B - а это 140ГБ в FP16, что неподъёмно для обычного ПК. В языковых моделях выше FP8 сейчас не используют. На FP8 вообще практически нет потерь, на FP4 удовлетворительно. Большая модель в FP4 будет работать лучше чем маленькая в FP16, проверено.
Varg писал(а):
Максимальный размер модели при этом не меняется - то, что не влезает в память одной карты, не может обучаться или выполняться.
В языковых моделях можно юзать несколько карт, память в этом случае суммируется.
Varg писал(а):
Есть такие варианты, но ценой потери качества, поэтому народ все равно в FP16 гоняет.
Member
Статус: Не в сети Регистрация: 15.09.2008 Фото: 0
Появились обзоры нерефов, MSI Suprim на первый взгляд выглядит интереснее чем Asus Astral, но если приглядеться то у MSI меньше рабочее напряжение и powerlimit, похоже отсюда и преимущество. https://www.techpowerup.com/review/asus ... al/39.html
А там модели объёмом уже давно десятки и даже сотни гигабайт. К тому же более менее сносно работают модели на 70B - а это 140ГБ в FP16, что неподъёмно для обычного ПК.
исполняется в обычном CPU из обычной RAM
stockclock писал(а):
Большая модель в FP4 будет работать лучше чем маленькая в FP16, проверено.
но 70B в 32GB все равно не полезет
_________________ Xeon W9-3595X, 2TB DDR5, RTX 6000 Ada
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения