Разработчики llama.cpp добавили интересный режим роутера (router mode), который позволяет динамически загружать, выгружать и переключать несколько языковых моделей, не перезапуская сервер. Это новшество возникло в ответ на просьбы пользователей, о чем сообщает блог Hugging Face. Теперь, используя llama-server, можно не беспокоиться о постоянной перезагрузке — достаточно запустить сервер в роутер-режиме.
Для работы в новом режиме пользователям нужно просто указать путь к кэшу моделей, после чего они автоматически станут доступны. Теперь переключение между моделями стало простым: достаточно выбрать нужную из выпадающего меню в веб-интерфейсе.
В то же время Microsoft выпустила обновление для Visual Studio Code (версия 1.122), которое расширяет возможности функции использования собственного ключа (BYOK). Теперь она работает в автономном режиме, позволяя использовать локальные ИИ-модели без необходимости входа в аккаунт.
Это обновление открывает новые горизонты для разработчиков, так как позволяет интегрировать ИИ-решения даже в изолированных средах. Если активировать функцию, настройки языковых моделей станут доступны через палитру команд.
Кроме того, в VS Code теперь есть встроенный браузер, который поддерживает эмуляцию устройств, что облегчает тестирование адаптивного дизайна веб-сайтов на различных экранах.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена