Идеальный вариант: Q4_0 (или аналогичный 4-битный)

Почему: Для модели 31B на карте 24 ГБ каждый мегабайт на счету. Сжатие V-кэша до 4 бит в сочетании с K-кэшем Q4_0 позволит вам максимально долго удерживать контекст внутри видеокарты, не вытесняя его в медленную оперативную память (RAM).
Результат: Максимальная скорость генерации при достаточном качестве.
Компромиссный вариант: Q8_0

Почему: Считается, что V-кэш (значения) чуть более чувствителен к потере точности, чем K-кэш. Если вы заметили, что модель начала «бредить» или путать факты в длинных текстах при Q4_0, попробуйте поднять V-кэш до Q8_0.
Результат: Чуть выше точность, но контекст заполнит VRAM в два раза быстрее.

Итоговая «шпаргалка» по настройкам кэша для вас:
Если вы хотите универсальный, быстрый сетап, ставьте так:

K Cache Quantization
→ Q4_0
V Cache Quantization
→ Q4_0
Что это вам даст в цифрах?
Вместо того чтобы использовать, например, 8 ГБ видеопамяти под контекст (в FP16), вы будете использовать всего 2 ГБ. Это освобождает место для самой модели и позволяет увеличить окно контекста (те самые 32k или больше), сохраняя при этом высокую скорость работы GPU.
Простой совет: Всегда держите K и V кэш на одном уровне квантования (Q4 и Q4 или Q8 и Q8). Нет большого смысла делать один из них очень точным, а другой сильно сжатым — «бутылочное горлышко» всё равно останется.

С вашими настройками (32k контекст +
Q4_0
Q4_0 кэш) вы можете спокойно вести очень длинный диалог. Для обычного чата этого более чем достаточно. Вы вряд ли успеете написать 15 тысяч слов в одной сессии, прежде чем решите начать новый чат или сменить тему.

Ваш запас: Примерно 25–30 страниц текста, после чего я начну забывать самое начало беседы.