Команда DeepSeek выложила DeepInfer, раннер для своей модели с оптимизированными GPU-ядрами и спекулятивным декодингом. Рядом лежит готовый рецепт для подготовки запросов и обработки ответов, совместимый с официальным API.
Это интересно тем, кто сам хостит модели на своём железе. Потребуются GPU уровня NVIDIA SM100 или Ascend 950, а балансировку и часть серверной инфраструктуры придётся собирать самостоятельно.
Отдельно команда упомянула тесты на бенчмарке Bug Hunt Bench: модель V4.1 Flash 1017 прогнали через девять обвязок на двух репозиториях со 105 заложенными багами. Направление понятное: доверие к ответам модели должно проверяться, а не подразумеваться.
ВКонтакте
MAX