NVIDIA представила Chat with RTX для запуска ИИ-чат-ботов локально на ПК

Nvidia анонсировала Chat with RTX, инновационный чат-бот на базе ИИ, разработанный специально для графических ускорителей GeForce RTX. Этот чат-бот предлагает возможности персонализации и высокую скорость обработки данных на локальных устройствах с ОС Windows и RTX.

Chat with RTX использует библиотеку Nvidia TensorRT-LLM и метод RAG для улучшения больших языковых моделей с помощью пользовательских данных, таких как заметки и видео, обеспечивая безопасность и персонализацию ответов.

Загрузить с офф сайт

Системные требования:
40Гб свободного места
GeForce RTX 30- и 40-й серии с минимум 8 ГБ видеопамяти, исключая GeForce RTX 3050 6GB
16 ГБ оперативной памяти
Windows 11
Драйвер 535.11+.