Исследователи из Университета Калифорнии в Беркли, Стэнфордского университета и компании Databricks представили новый метод оптимизации ИИ под названием GEPA, который значительно превосходит традиционные методы обучения с подкреплением (RL) для адаптации больших языковых моделей (LLM) к специфическим задачам.
GEPA устраняет недостатки популярного подхода, основанного на тысячах попыток с оценками. Вместо этого он использует собственное понимание языка LLM для самоанализа своей работы и диагностики ошибок. Это позволяет достичь значительно большей эффективности — GEPA может дать лучшие результаты с меньшими затратами, используя до 35 раз меньше запусков.
Для компаний, разрабатывающих сложные системы ИИ, это означает более быстрые циклы разработки и значительно сниженные вычислительные затраты. У GEPA три ключевых принципа: мутация подсказок, обратная связь на естественном языке и отбор по методу Парето. Эти подходы позволяют системам ИИ быть более надежными и адаптивными в условиях новых данных.
По словам Лакшья А. Агарвала, одного из авторов исследования, GEPA делает оптимизацию систем более доступной для конечных пользователей с задачами специфических областей, которые не обязательно имеют время и желание изучать сложные аспекты RL.
* компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена