Исследователи Google представили новый метод для решения задач предсказания числовых показателей, используя текстово-текстовую регрессию с языковыми моделями. Этот подход позволяет LLM извлекать информацию из разнообразных трудноструктурированных данных, таких как системные журналы и конфигурационные файлы, преобразуя их в текстовые строки. Это избавляет от необходимости преобразовывать данные в фиксированные таблицы, облегчая процесс обработки.
В статье “Performance Prediction for Large Systems via Text-to-Text Regression” описывается, как использование Регрессионной Языковой Модели (RLM) помогает предсказывать показатели производительности, такие как миллионы инструкций в секунду на единицу вычислительной мощности. Открытая библиотека, разработанная командой, поможет исследователям применять новый подход к своим задачам.
Система показала высокую точность и эффективность, позволяя быстрее адаптироваться к новым типам данных. Это значительный шаг в использовании LLM для предварительного обучения на сложных и динамичных данных, что открывает новые возможности для оптимизации ресурсов в огромных вычислительных системах.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена