Во втором выпуске нашей серии по оптимизации малых языковых моделей (SLM) мы рассмотрим технику кэширования префикса сигнала с использованием ключей и значений. Это не просто улучшение производительности; оно позволяет значительно сократить вычислительные затраты и повысить эффективность работы моделей.
При использовании Qwen2.5-0.5B-Instruct на M2 MacBook Air в наших тестах мы смогли сократить время работы скрипта с 184.85 до 80.07 секунд, что составляет экономию более 57% на каждое обращение. Как? Это возможно благодаря тому, что статические части инструкций кэшируются и переиспользуются вместо того, чтобы вычисляться заново для каждой задачи.
Данное решение особенно эффективно для сценариев, где инструкции остаются одинаковыми, меняются лишь отдельные элементы. Это делает малые языковые модели, такие как наша 0.5B, более жизнеспособными для узкой автоматизации, поскольку каждое новое обращение не рассматривается как отдельное действие.
Таким образом, метод кэширования не только сокращает затраты времени, но и сохраняет идентичность предсказаний, что является основным требованием к оптимизации.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена