Большие языковые модели (LLM) становятся все более важными в нашем доступе к информации, однако они все еще могут «галлюцинировать», генерируя неверные данные. Именно поэтому была представлена новая система оценки под названием FACTS Grounding, которая поможет анализировать, насколько точно LLM связывают свои ответы с предоставленными источниками информации.
Эта система оценки состоит из 1719 тщательно подготовленных примеров, требующих от моделей давать развернутые и точные ответы на основе контекстных документов. Участники могут использовать открытый набор данных для оценки своих собственных моделей, а результаты будут отслеживаться в реальном времени на Kaggle.
Важно отметить, что первый запуск стандарта является лишь началом. Разработчики подчеркивают, что требования к фактической точности будут продолжать меняться, и они надеются, что FACTS Grounding станет основой для улучшения возможностей LLM в будущем.
компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена