Исследователи Google представили новую концепцию «достаточного контекста» для анализа систем Retrieval Augmented Generation (RAG). Эти системы улучшают большие языковые модели (LLM), предоставляя им внешние данные для ответов на вопросы. Однако существует проблема «галлюцинаций», когда модели генерируют неверную информацию из недостаточного контекста.
В своей работе на ICLR 2025 команда разработала метод, позволяющий классифицировать контекст как «достаточный» или «недостаточный». Это открывает путь к уменьшению частоты ошибок и повышению точности ответов, анализируя, достаточно ли у модели информации для точного ответа.
Недостаточно просто проверять релевантность контекста запросу. Исследователи показали, что можно добиться высокой точности в определении достаточности контекста, разработав автоматическую систему оценки, достигающую 93%. Например, с помощью этой системы можно улучшить качество ответов RAG, повысив точность до 10% в эффективном использовании дополнительных данных.
Это открытие помогает лучше понять поведение LLM в системах RAG и предлагает новые решения для минимизации ошибок, открывая новые горизонты для будущих исследований в этой области.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена