Команда разработчиков llama.cpp представила поддержку нового режима router mode, который позволяет пользователям динамически загружать, выгружать и переключать модели без перезагрузки сервера. Этот функция, по данным блога Hugging Face, была одной из самых запрашиваемых. Теперь пользователи могут запускать сервер в режиме роутера, используя модели, загруженные в кэш (LLAMA_CACHE). При добавлении новой модели в кэш потребуется лишь перезапустить роутер, чтобы она стала доступна.
Кроме того, Microsoft выпустила обновление для Visual Studio Code 1.122, которое улучшило функцию Bring Your Own Key (BYOK). Эта функция теперь позволяет работать с локальными ИИ-моделями в автономном режиме без необходимости входа в аккаунт, что делает её полезной для изолированных сред. Также введена поддержка эмуляции устройств в встроенном браузере редактора, что позволит разработчикам более эффективно тестировать адаптивность сайтов на различных экранах.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена