GuppyLM: языковая модель, которую можно обучить за пять минут на одной видеокарте

GuppyLM: как обучить свою языковую модель за пять минут на одной видеокарте. Проект с открытым исходным кодом, который показывает весь путь создания модели: генерацию данных, токенизацию, архитектуру, обучение и инференс. Подойдёт тем, кто хочет разобраться в устройстве LLM на практике. Что внутри: 8,7 млн параметров, обучение на 60 тысячах синтетических диалогов, модель достаточно мала, чтобы запускаться в браузере. Полная статья: https://clck.su/EUoae