Ученые из MIT и других учреждений представили инновационный метод, способствующий ускорению тренировки языковых моделей с reasoning (LLMs). В отличие от традиционных моделей, которые требуют значительных вычислительных ресурсов, новый подход позволяет эффективно использовать время простоя процессоров. Систему, получившую название Taming the Long Tail (TLT), обучает меньшую и быструю модель давать прогнозы по output’ам более сложной модели, что уменьшает объем вычислений и, как следствие, время тренировки.
В результате тестирования TLT показал увеличение скорости тренировки от 70 до 210% при сохранении точности модели. Такой метод способен уменьшить затраты и повысить энергоэффективность в разработке LLM для задач, связанных с прогнозированием и оценкой рисков.
“Мы нашли решение, которое не влияет на качество модели и значимо ускоряет процесс,” — говорит один из авторов исследования Цинхао Ху. *компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена