FreeToken — движок инференса для MoE-моделей с открытыми весами, рассчитанный на запуск крупных моделей на пользовательском железе. Он объединяет GPU, CPU и оперативную память в единую среду, что позволяет поднимать модели с 290+ млрд параметров на игровых ПК и рабочих станциях. Поддерживаются NVIDIA RTX 30/40/50, разные форматы квантования и совместимые с Anthropic/OpenAI API. Подойдёт разработчикам и исследователям, которые хотят запускать большие MoE-модели локально, без серверной инфраструктуры.\nПолная статья: https://clck.su/iYiIv
ВКонтакте
MAX