Я СОБРАЛ ПК ИЗ 4 TESLA V100 — ЗАЧЕМ?! | NVLink | 64Gb vs 128Gb vs 2x3090 | Большой тест
Если очень вкратце - 4 по 16гб имеют смысл только ради контекста, и нужен тензорный режим (одновременно считает сразу на 4 картах), для чего нужен vLLM с патчами.
Моё имхо - лучше тогда взять 2х32 гига, это сильно проще, потери на всяких llamacpp итд будут меньше на передаче, и потреблять это будет меньше.
Ну или смотреть на более новые версии типа A100.
