Новые возможности llama.cpp и обновления Visual Studio Code
Команда разработчиков llama.cpp представила поддержку нового режима router mode, который позволяет пользователям динамически загружать, выгружать и переключать модели без перезагрузки сервера. Этот функция, по данным блога Hugging Face, была одной из самых запрашиваемых. Теперь пользователи могут запускать сервер в режиме…
