Новые возможности llama.cpp и обновление Visual Studio Code
Разработчики llama.cpp добавили интересный режим роутера (router mode), который позволяет динамически загружать, выгружать и переключать несколько языковых моделей, не перезапуская сервер. Это новшество возникло в ответ на просьбы пользователей, о чем сообщает блог Hugging Face. Теперь, используя llama-server, можно не…
