Нашли Magnitude — инструмент, который анализирует железо и заранее показывает, какие ИИ-модели нормально запустятся именно на вашем компьютере.
Возможности:
- автоматически определяет конфигурацию ПК;
- оценивает скорость каждой модели в токенах в секунду ещё до загрузки;
- подбирает лучшие варианты под доступную память и железо;
- сам скачивает нужную модель и квантизацию с Hugging Face;
- настраивает спекулятивное декодирование и параллельность под вашу систему.
Полная статья: https://clck.su/YHeYe
ВКонтакте
MAX