Исследователи из Google, Ахмед М. Метвалли и Дэниел Мафф, представили инновационную методику оценки языковых моделей в сфере здравоохранения, которая обещает сэкономить время и повысить надежность. Действительно, оценка таких моделей может быть трудоемкой и дорогостоящей, особенно когда речь идет о здоровье.
В своей работе «Масштабируемая структура для оценки языковых моделей в области здравоохранения» они предлагают адаптивные булевы рубрики для оценки ответов на медицинские вопросы. Это новшество позволяет разбивать сложные задачи на более простые, на которые можно ответить «да» или «нет». Такой подход улучшает согласованность между экспертами и сокращает время оценки более чем на 50%.
Методика применима к задачам, связанным с диабетом, сердечно-сосудистыми заболеваниями и другими состояниями. Исследователи провели тестирование на данных о здоровье, полученных от участников, и результата их работы демонстрируют значительное улучшение в понимании результата модели, делая такую оценку более надежной и быстрой.
Данная методология имеет потенциал, далеко выходящий за пределы здравоохранения и может быть использована в других областях.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена