dftm1 Я тебя разочарую. Ни одну мало-мальски вменяемую LLM ты в 16 Гб VRAM не воткнёшь, с вменяемой длиной контекста. Всё твои движения и суеты — ни о чем. Ты получишь "тупого ребенка".
Можешь побаловаться, конечно, но увы.

Commited – это резервированная системой или приложением видеопамять. Не полностью используемая, но вдруг надо будет.

Phenomenum да я уже побаловался. тут многое зависит от того какая производительность приемлема. Джемма 4 31b c iq3xxs квантованием полностью войдет в видео память и будет выдавать около 25 токенов примерно до 16-24к контекста. да тут уже не идеальное качество, но и не тупой ребенок. iq4xs уже не поместиться в видео память и нужно будет сбросить часть слоев на цп что бы получить около 8 токенов, а при достижении контекста в 16-24 оно упадет до 4 токенов. Собственно 4 токена для меня это минимум. Если взять Джемму 3 27b то там уже можно со скрипом использовать q5 квантование. Плюс есть вариант с MoE моделями.
с 12-14b моделями квантование ниже q6-8 конечно не стоит использовать - они и так тупенькие, а с квантованием лучше точно не станет.
70b модели это тоже не совсем вариант т.к. тут уже нужно совсем жесткое квантование.
к слову, контекст тоже можно квантовать до q8 например(это сразу вдвое снижает потребление памяти), а q4 использовать уже не стоит т.к. ошибка будет расти с увеличением контекста.

dftm1 Прикол в том, что у меня может быть производительность меньше, но 24 Гб позволяют загрузить хоть какую-то нормальную модель в быструю VRAM. И она там будет трудится. Как только утекает в RAM, оперативку, то писец. И тут уже не важна производительность Tops.


Ахах.


Хахахахах

Ман, забей. Я у себя делал 100k контекста. Думало долго. Это просто баловство.

ну так понятно, что баловство) и я даже не пытался что-то со 100к контекста делать))

что значит думало долго? ты модели сходу скормил 100к? ну там да, обработка перед первым ответом будет очень долгой тогда, но потом начнет отвечать быстро если включены все оптимизации и до лимита контекста не дошло(и память не закончилась).

Ну 98k, если быть точным. Дальше вылетало. Qwen.

Забей пока. Ещё год надо подождать, прежде чем локалки что-то осмысленное и полезное смогут предложить. Пока это баловство.


Перед первым ответом нет, но по мере роста контекста, время ответа растёт, а тупняк тот же. Реально, проще бесплатный DeepSeek использовать, когда нужно.
Не парься. Тем более у тебя влезет Q4 макс. Может сейчас что новое появилось, я с осени там не лазил. Щас посмотрю.

Сволочи, только через КВН.

Добавлено спустя 11 минут 17 секунд:
dftm1 Вообще, ман, лучше думать своим мозгом. Проблема по всему миру: школьники и студенты тупеют.