Компания Hugging Face запустила инструмент Yourbench, который позволяет разработчикам и предприятиям создавать собственные бенчмарки для тестирования производительности моделей ИИ. Это открытое решение призвано улучшить способы оценки моделей, учитывая специфические потребности организаций.
Согласно заявлениям Сумука Шашидхара, члена исследовательской группы Hugging Face, Yourbench позволяет бизнесам проверять, как хорошо модели выполняют конкретные задачи, что критически важно для принятия эффективных решений.
Ваши бенчмарки могут включать генерацию вопросов на основе ваших внутренних документов. Hugging Face протестировала Yourbench на различных моделях, включая изобретательные решения как Qwen и Gemini 2.0 Flash, которые демонстрируют отличные результаты по низкой стоимости.
Тем не менее, стоит учитывать, что процесс требует значительных вычислительных ресурсов, и компания активно расширяет свои мощности для поддержания новых нагрузок. Yourbench предлагает новые возможности для точной оценки эффективности моделей, формируя более надежные методы работы с ИИ.