Исследователи из Google представили инновационный подход к оценке языковых моделей в сложных областях, таких как здоровье. Выпущенная методология, названная Adaptive Precise Boolean rubrics, позволяет проводить оценку более эффективно и надежно, чем традиционные инструменты.
Текущие методы оценки требуют значительных временных и финансовых затрат, зависят от мнения экспертов и подвержены субъективным ошибкам. Новый подход разбивает сложные оценки на простые бинарные форматы «да/нет», что значительно повышает согласованность между оценщиками и снижает затраты на оценку.
В ходе исследования были протестированы случаи с участниками, страдающими метаболическими расстройствами. Результаты показали, что новый метод позволяет лучше оценивать качество ответов языковых моделей и более точно определять их соответствие данным пользователей. Такой подход может значительно упростить и ускорить процессы оценки в здравоохранении и других сферах.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена