Инженерные версии Intel Core 13th/12th Gen LGA1700 [Q1LP,Q015] (Моб. проц. с адаптером[Мутанты])

Overclockers.ru

Конференция

FAQ по конференции

Текущее время: 14.07.2026 17:26

Сообщения без ответов | Активные темы

Список форумов » Тематические форумы » Процессоры

Часовой пояс: UTC + 3 часа

Модератор: Kopcheniy

Новая тема /

Ответить

Сообщений: 3606 • Страница 181 из 181 • < 1 ... 177 178 179 180 181

	Пред. тема \| След. тема
В случае проблем с отображением форума, отключите блокировщик рекламы

Автор

Сообщение

HertZ

Добавлено: 14.07.2026 2:41

[профиль] [Фотоальбом]

Member
Статус: Не в сети
Регистрация: 27.02.2007
Откуда: Москва
Фото: 117

stockclock писал(а):

кое-что влезает разве что на 5090

Так на 5090 и гоняют. Или это неожиданность. Как думаешь, для чего их сейчас покупают по пять штук всякие странные личности? И кто комментарии в объявлениях о продаже PLX карточек пишет? :crazy:

Добавлено спустя 7 минут 16 секунд:

stockclock писал(а):

Но и на проце свежие модели стали работать намного быстрее. Процы никто не списывал

Да никогда это работать нормально не будет, потому что жлобы никогда не дадут нормальный контроллер памяти на десктопе. Соревноваться с терабайтами в секунду на этих огрызках бесполезно, как ни оптимизируй. Отсутствие выбора и чьи-то "успешные" попытки как-то заставить это работать на десктопных кастратах - просто судороги, не более. Предсмертные судороги, умеют только ядра добавлять и не более.

P.S. Пока скачиваю.

Добавлено спустя 10 минут 25 секунд:

Код:

PS C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64> scp alexi@172.16.4.1:~/gemma-4-26B-A4B-it-UD-Q4_K_M.gguf .
alexi@172.16.4.1's password:
gemma-4-26B-A4B-it-UD-Q4_K_M.gguf                                                     100%   16GB 112.3MB/s   02:23
PS C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64> .\llama-bench.exe -m gemma-4-26B-A4B-it-UD-Q4_K_M.gguf -t 8
load_backend: loaded RPC backend from C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64\ggml-rpc.dll
load_backend: loaded CPU backend from C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64\ggml-cpu-alderlake.dll
| model                          |       size |     params | backend    | threads |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| gemma4 26B.A4B Q4_K - Medium   |  15.77 GiB |    25.23 B | CPU        |       8 |           pp512 |        143.80 + 3.71 |
| gemma4 26B.A4B Q4_K - Medium   |  15.77 GiB |    25.23 B | CPU        |       8 |           tg128 |         22.71 + 0.29 |

build: 6eddde06a (9992)
PS C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64> .\llama-bench.exe -m gemma-4-26B-A4B-it-UD-Q4_K_M.gguf
load_backend: loaded RPC backend from C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64\ggml-rpc.dll
load_backend: loaded CPU backend from C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64\ggml-cpu-alderlake.dll
| model                          |       size |     params | backend    | threads |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| gemma4 26B.A4B Q4_K - Medium   |  15.77 GiB |    25.23 B | CPU        |      24 |           pp512 |        211.83 + 3.91 |
| gemma4 26B.A4B Q4_K - Medium   |  15.77 GiB |    25.23 B | CPU        |      24 |           tg128 |         32.40 + 0.06 |

build: 6eddde06a (9992)
PS C:\Users\dalexhz\Desktop\llama-b9992-bin-win-cpu-x64>

Это на 5800/5300. Есть смысл пробовать P-ядра распердолить до 6000?

Хотя скорее всего нет, разница между 8 и 24 потоками как бы намекает. Скорее, имеет смысл пердолить памяь.

_________________
EPYC 4585PX CO-15 / x870e Extreme / RX6900XT & RTX5090 OC / 2x48 Trident Z5@6400CL28 / 2x P4800X 1.5T
270K 5800 5300 / z890 Apex / 2x24 Kingbank@8800C36 / 980Pro

Последний раз редактировалось HertZ 14.07.2026 3:22, всего редактировалось 1 раз.

Реклама
Партнер

stockclock

Добавлено: 14.07.2026 3:05

[профиль]

Member
Статус: Не в сети
Регистрация: 06.01.2015

HertZ писал(а):

Так на 5090 и гоняют

Одной карты с 32ГБ маловато, влезут только младшие модели. Нужны карты с 64-128ГБ чтобы от этого был толк. Поэтому Хуанг толкает свои ПК на ARM с 5070+128ГБ LPDDR5 в многоканале.
На ВК гоняют генераторы видео и картинок - это их основная работа. Там 16-24-32ГБ достаточно. В этих задачах в отличии от LLM нельзя объединять память двух карт для решения одной задачи. А покупать кучу ВК для LLM полная тупость. LLM дают профит когда имеют доступ к сети и умеют им пользоваться - это всё на ранней стадии сейчас. Бесплатный AI Google поиск куда полезнее чем городить огород из карт у себя дома. Так что использование CPU для LLM это вполне адекватный способ использования и будет только развиваться. LLM становятся умнее и меньше требуют ПСП памяти при том же размере что раньше, поэтому они сильно ускорились на CPU тоже.

HertZ

Добавлено: 14.07.2026 3:07

[профиль] [Фотоальбом]

Member
Статус: Не в сети
Регистрация: 27.02.2007
Откуда: Москва
Фото: 117

Так что по результатам? Ультра говно или ультра не говно? А то результатов никто не дает толком, либо молчат в реддитах, или видеокартами понтуются. ХЗ с чем сравнить.

Вложение:

artifical-idiot.png [ 3.13 МБ | Просмотров: 181 ]

Или я снова подебил? :fingal:

Добавлено спустя 6 минут 27 секунд:
Надо попробовать D2D и NGU погонять, что ли. От памяти вряд ли особых плюшек получится ещё добиться.

Добавлено спустя 11 минут 10 секунд:

HertZ писал(а):

Надо попробовать D2D и NGU погонять, что ли. От памяти вряд ли особых плюшек получится ещё добиться.

Попробовал, результата от NGU 3.4 D2D 3.6 полный ноль. Короче, нет упора в процевую часть, просто двух-анальной DDR5-9000 мало.

_________________
EPYC 4585PX CO-15 / x870e Extreme / RX6900XT & RTX5090 OC / 2x48 Trident Z5@6400CL28 / 2x P4800X 1.5T
270K 5800 5300 / z890 Apex / 2x24 Kingbank@8800C36 / 980Pro

Последний раз редактировалось HertZ 14.07.2026 4:01, всего редактировалось 1 раз.

stockclock

Добавлено: 14.07.2026 3:59

[профиль]

Member
Статус: Не в сети
Регистрация: 06.01.2015

HertZ писал(а):

Так что по результатам? Ультра говно или ультра не говно?

pp512 - скорость обработки входных данных пользователя в токенах.
tg128 - скорость генерации ответа в токенах.

pp - 141, tg - 28

Вложение:

llama_cpp_bench_12900HX.jpg [ 99.9 КБ | Просмотров: 164 ]

PP сильно лучше. Но самое важное это TG - а тут всего 15% прибавки против 6000CL28. Я ожидал такой же прибавки и в TG.

HertZ

Добавлено: 14.07.2026 4:02

[профиль] [Фотоальбом]

Member
Статус: Не в сети
Регистрация: 27.02.2007
Откуда: Москва
Фото: 117

А я-то думал, что хоть в этот раз у тебя получится без клоунады. 🤷‍♂️

Для AVX512 чуть другой компуктер есть.

_________________
EPYC 4585PX CO-15 / x870e Extreme / RX6900XT & RTX5090 OC / 2x48 Trident Z5@6400CL28 / 2x P4800X 1.5T
270K 5800 5300 / z890 Apex / 2x24 Kingbank@8800C36 / 980Pro

stockclock

Добавлено: 14.07.2026 4:30

[профиль]

Member
Статус: Не в сети
Регистрация: 06.01.2015

HertZ писал(а):

А я-то думал, что хоть в этот раз у тебя получится без клоунады. 🤷‍♂️
Для AVX512 чуть другой компуктер есть.

Я тестирую на своём железе. И AVX512 тут не помогает о чём писал не раз. Упор тут в память. Меня удивил низкий результат ультры и я на всякий случай скачал ровно ту же модель, (не обратил поначалу внимание что они чуть разные, у меня уже скачана была).

pp - 115, tg - 23

Вложение:

llama_cpp_bench_12900HX_.jpg [ 100.18 КБ | Просмотров: 108 ]

Оказалось эта версия потяжелее. Ультра уже на 40% быстрее по TG, что уже похоже на 9000.

Новая тема /

Ответить

Сообщений: 3606 • Страница 181 из 181 • < 1 ... 177 178 179 180 181

Список форумов » Тематические форумы » Процессоры

Часовой пояс: UTC + 3 часа

Кто сейчас на конференции

Сейчас этот форум просматривают: Agiliter, AHDPEY198329477, sttt, XimikF и гости: 32

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти: