А кто-нибудь держит здесь нейросети для общения?
Я вот подумал, может поднять что-то вроде o4-mini, понятно, что на cpu, интересно, сколько RAM мне для этого понадобится?

не пойдет

r2dsf Грустно, а сама нейросеть мне писала, что пойдет.

Alex_Ts работать то она будет, вопрос в скорости.

Добавлено спустя 2 минуты 22 секунды:
Сейчас докачается o4-mini, сравню прогон CPU против GPU.
Не Haswell/Broadwell, конечно, но я думаю будет понятна примерная производительность.

r2dsf Спасибо, я бы взглянул. AMD 7950x3d, это примерно 2х производительность моего 2696v3 по cpu-z, будет ясно, стоит ли вообще с этим связываться.

Я думаю на многоядерном Xeon будет +- также, так как проц задействует относительно слабо.

Alex_Ts система на x3d сейчас занята, если недостаточно теста на 285к, то протестирую завтра-послезавтра, напомните в личке.

r2dsf Спасибо, для меня достаточно информативно, вижу 24гб RAM ей хватило, значит дальше я уже потестирую на своем ПК, у меня 2696v3 32gb RAM. Спасибо за тест.

Доброй ночи, материнская плата machinist mr9s, xeon 2690v4, установлен ssd nvme Kingston, при установке в биос настроек по умолчанию ssd виден для установки ОС Win 10, после перезагрузки для продолжения установки ОС, ssd пропадает в биосе, помогает только выключение пк вместо перезагрузки, если комп ушел устанавливать обновления и перезагружается диск пропадает и обновления не встают, происходит откат. Как добиться стабильной работы? Биос 2023 года, такая же проблема и с режимом legasy. Пробовал и отключать csm и включать отключать secure boot, uefi only, legasy only, nvme пропадает при перезагрузке, а при выключении и включении все норм.

nvme установлен в верхний слот, в нижнем не обнаруживается совсем.

Это какие же?
Обществу предоставлены на текущий момент только RTX 5090 с PCI 5.0.
И то эта карта мягко говоря избыточна для обычного потребителя, и служит более "передовой" рекламой марки.

весь ртх5000 и радеон9000 на пятой письке


без упора в объем ВРАМ абсолютно пофиг какой там интерфейс.
даже 5090 идеально ровно работает на псие 3.0 х16 проверял лично неоднократно:

Не надо думать, качаешь lm-studio(https://lmstudio.ai/) и пользуешься.

Зависит от нейросетки, от 1ГБ до сотен гигабайт.

Это туфта, можешь не тратить время. Это дистиллят, сеть обученная на ответах o4-mini, народное творчество. OpenAI свои нейронки для скачивания не публикует.
В зависимости от ОЗУ можно пробовать что-то из этого DeepSeek-R1-Distill-Llama-70B-GGUF, DeepSeek-R1-Distill-Qwen-32B-GGUF, DeepSeek-R1-Distill-Qwen-14B-GGUF .
r2dsf, Alex_Ts
В нейросетках самое важное - это ПСП памяти. Упор именно в неё. Разница между процами будет ровно на уровне разницы в ПСП памяти.

При запуске сети надо настроить параметры(или шестерёнку сверху нажать и reload to apply changes):

GPU offload - сколько слоёв нейронки загрузить в Видюху. Если нейронка помещается в VRAM, то грузишь все и нейронка работает полностью на GPU. Если загрузишь всё в GPU при нехватке VRAM, то частично нейронка будет в ОЗУ и упор будет в ПСП PCI-E шины.
CPU Thread pool size - число ядер процессора используемых для расчёта нейронки на CPU. Если нейронка будет крутится на CPU то ставишь тут максимум, а GPU offload на 0.
По дефолту там смешанные настройки, частично на GPU частично на CPU - именно это у тебя и происходит, что видно по мониторингу частичной загрузки видюхи и проца.

Толку от этого как правило нет и лучше выбрать что-то одно.

тест тьюринга пройден )))
алгоритмы имитации имитируют имитацию ))) )))

stockclock Спасибо за ответ, посмотрел вчера lmstudio, действительно, OpenAI нет, есть нейросеть Гугла которая обучена отвечать как o4-mini. В целом скорости приемлемые, но мне эта нейросеть не очень понравилась по сравнению с o4-mini. Как я понимаю мне нужна какая-то логическая нейросеть. Поставил DeepSeek-R1-Distill-Qwen-32B-GGUF, да этот уже лучше, но отвечает долго, при этом судя по task manager Windows 10 - загрузка ЦП в районе 60-70%, при 27GB ram (1.36 tok/sec•907 tokens•50.57s to first token•Stop reason: EOS Token Found). И вот я думаю, а поможет ему система с двумя процессорами, вряд ли я ее куплю, не хочется всей этой возьни с латентностью между сокетами, а так же NUMA вероятно обязательна будет, если два 2696v3 ставить или ядра отключать. В обшем, что думаете, хватит там стандартной пропускной способности памяти 2011v3 - у меня самая обычная как и у всех в 4х каналах. Что еще интересно, при HT я вижу 60-70% загрузки ЦП, а без 80-90%, по идее упора в производительность по всем ядрам нет, сможет ли lmstudio распараллелить на два сокета 36/ядер нейросеть, не ясно.

vxz Хаха, а то, особенно забавно когда они выдумывть начинают всякую ерунду. С рецептами постоянно с этим сталкиваюсь, напишет какое-нибудь безумие вроде: пожарьте редис и засыпьте гречкой пополам с рисом. Я ее спрашиваю - дай оригинал рецепта и тут у нее (o4-mini) начинаются фантазии. Берет известных людей и выдумывает их книги из которых якобы берет цитаты этих рецептов. Причем ее поймать можно на этом, а она потом говорит: ну да, просто вот выдумала в стиле, но вот есть оригинал и зачастую снова по кругу.

Привет. Хотел сделать по инструкции https://e5450.com/socket-2011-3/kak-sdelat-shinu-rovno-100-00-mhz/ , но Intel Management Engine Interface в диспетчере отсутствует. В биосе тоже МЕ не нашёл. Плата такая https://www.wildberries.ru/catalog/248434206/detail.aspx. Может кто , что посоветует?

2.5 токена выдаёт на 2696v3 на Deepseek R1 32b Q4_K_M (19.85Гб) 25Гб ОЗУ занимает.

настройки такие

HT выключен.

По какой-то причине lm-studio не использует все ядра. Видать что-то поломали.
Можешь вместо lm-studio использовать llama cpp. lm-studio на нём основан.
Отсюда качаешь https://github.com/ggml-org/llama.cpp/releases файл llama-b5696-bin-win-cpu-x64.zip
распаковываешь, открываешь терминал из папки, и в консоли

C:\DeepSeek-R1-Distill-Qwen-14B.gguf - это путь к файлу модели. опция no-mmap - уменьшает использование ОЗУ. llama использует все ядра. У меня вышло 3 токена в сек.

lm-studio хранит скачанные модели в папке C:\Users\<имя пользователя>\.lmstudio\models
Когда прогрузится запустишь браузер, а в нём перейдёшь по адресу http://127.0.0.1:8080 там будет web интерефейс чата.

Теоретически если ПСП памяти вырастет, будет быстрее. Но если бы даже в 2 раза было быстрее(чего не будет наверняка) - это того не стоит. Лучше больше ОЗУ купить 64-128гб. Можно будет запускать модели на 70b.

Может я воще тупой, но чёт я не понял, нахрен нужны эти нейросети, особенно у себя на компе?
У них нет доступа к сети или к другим базам, эти локалки просто складывают связные предложения из слов, по сути полная ахинея
Однажды пробовал и прифигел с бредятины, которую выдают. Задал вопрос: откуда берутся слизняки и куда потом пропадают? В ответ получил, что это типа магические слизни из иных миров и они оставляют видимый след и ещё какую-то бредятину))

Взял D4M4 комплектом с памятью и 2680v4, обновил драйвера и микрокоды в биосе, открыл нужные пункты, выставил настройки и память держит 14 тайминги легко на частоте 2400, но я остановился на 15, разницы большой не вижу, а тесты хоть и проходит, но надежнее 15.

В ИИ 8-мь ядер выгребут всю 4х канальную ddr4 на чтение-запись. На мониторинг можно не смотреть. В двухпроцессорной конфигурации, NUMA между процессорами будет только тормозить просаживая скорость до 20Gb/с между ядрами.