OpenLLM — инструмент для запуска open-source LLM с OpenAI-совместимым API одной командой.
Поддерживает Llama, Qwen, Phi, DeepSeek и другие популярные модели. Встроенный веб-интерфейс для общения, современные inference-бэкенды.
Разворачивается локально или в инфраструктуре через Docker, Kubernetes и BentoCloud — без лишней обвязки.
Кому пригодится: разработчикам ИИ-сервисов, всем, кто тестирует модели или поднимает собственный OpenAI-совместимый API: https://github.com/bentoml/OpenLLM
ВКонтакте
MAX