Microsoft Research анонсировала новый метод интеграции внешних знаний в языковые модели, названный Knowledge Base-Augmented Language Models (KBLaM). Эта система использует подход plug-and-play, позволяя избежать необходимости изменения существующих моделей. В отличие от традиционных методов, таких как RAG или In-Context Learning, KBLaM не требует отдельного поиска информации. Вместо этого, знания преобразуются в векторные пары и внедряются в архитектуру модели посредством уникального механизма «прямоугольного внимания».
Современные системы сталкиваются с проблемами масштабируемости, что приводит к огромному количеству взаимодействий между токенами. Например, при работе с 10 000 токенами необходимо обрабатывать 100 миллионов пар. KBLaM же обходит эту проблему, позволяя вводам пользователей взаимодействовать со всеми токенами, в то время как сами токены не требуют взаимодействия друг с другом. Это делает вычисления более эффективными.
Предварительные тесты показывают, что KBLaM избегает галлюцинаций и предоставляет более точные ответы на вопросы, относительно которых обладает знанием. Исследователи уже опубликовали код и наборы данных на GitHub, и система совместима с несколькими известными моделями, такими как Llama 3 от Meta и Phi-3 от Microsoft. Однако специалисты предупреждают, что KBLaM еще не готов к широкому использованию.