Команда исследователей Google, во главе с Сайрусом Раштчаном и Да-Ченом Хуаном, представила новое понятие «достаточный контекст» для улучшения систем Retrieval Augmented Generation (RAG). Эти системы усиливают модели языка, предоставляя актуальную внешнюю информацию, что, по идее, помогает им давать точные ответы. Однако значительная проблема заключается в том, что эти системы часто генерируют неверные данные — галлюцинации — из-за недостатка информации или неправильного контекста.
Исследователи показали, что можно оценивать, достаточно ли информации для правильного ответа. Созданный LLM Re-Ranker позволяет пересортировать извлеченные данные, что повышает точность ответов. Это решение делает возможным более глубокое понимание фактической точности в ответах LLM.
Основываясь на исследованиях, команда разработала автоматический оценщик, который классифицирует контекст как достаточный или недостаточный. Успех нового подхода был подтвержден высокой точностью оценок – до 93%. Это открывает новые горизонты для улучшения RAG систем, в частности, предлагая проверку достаточности перед генерацией ответов.
Данная работа продемонстрировала, что внедрение концепции достаточного контекста может значительно снизить риск галлюцинаций. Анализ также выявил, что многие стандартные наборы данных содержат множество примеров с недостаточным контекстом, подчеркивая необходимость дальнейших улучшений в технологиях извлечения информации.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена