Модель Kimi K3 на 2,78 трлн параметров запустили на обычном процессоре, без видеокарты и сторонних библиотек. Автор написал движок на переносимом C99, который занимает всего 176 КБ и не требует BLAS.
В пике модель расходует около 8,24 ГБ оперативной памяти, а веса объёмом 1,56 ТБ подгружаются с диска потоково. По словам разработчика, результат остаётся одинаковым при разном объёме памяти.
Код открыт на GitHub. Разбор пригодится тем, кто изучает, как устроен инференс больших языковых моделей на низком уровне.
Полная статья: https://clck.su/dgyaO
ВКонтакте
MAX