Система RAG (Retrieve and Generate) может оказаться непростой задачей, когда документы в папке не имеют общих полей. Стандартный совет – создание индекса, где каждая строка представляет документ, а каждая колонка – поле для фильтрации. Однако что делать, когда документы, такие как 492-страничный каталог, спецификация архитектуры нулевого доверия и множество документов по машинному обучению, не имеют общего поля?
В этом случае, работа сводится к созданию двух артефактов: двум уровням индексации. Первый уровень – это список файлов, где каждый файл имеет краткое аннорование, второй уровень – это содержание каждого отдельного файла. Вместе они формируют вложенный план папки, упрощая процесс поиска информации. Такой подход позволяет системе быстро реагировать на запросы, значительно снижая количество необходимых открытий документов.
Процесс начинается с одного вызова, где система анализирует 63 строки, в то время как для доступа к содержимому необходимо будет только несколько открытий конкретных файлов. Это делает обработку более эффективной и менее затратной.
В результате пользователю легче находить нужную информацию без необходимости в дополнительных, сложных схемах или фильтрах, что делает такую архитектуру идеальной для работы с папками, содержащими разнородные документы.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена.