Локальные модели на видеокарте: тест Qwen и Gemma на Tesla V100

Локальные модели ИИ можно запускать на видеокартах, выпущенных ещё в 2017 году. Мы протестировали пять популярных открытых моделей (от Qwen до Gemma) на Tesla V100 в пяти реальных сценариях — от генерации текста до создания кода и игр.

Какие нейросети для текста работают на V100?

В тесте использовались пять открытых моделей, включая Qwen и Gemma. Скорость работы составляет 38–109 токенов в секунду в зависимости от модели и квантования.

Можно ли использовать старый V100 для локальных нейросетей?

Да, согласно тесту, V100 работает с современными LLM для генерации текста, написания кода и других реальных сценариев.

Сколько токенов в секунду выдает

Tesla V100 при работе с локальными моделями? 38–109 токенов в секунду в зависимости от модели, размера и квантования.