Исследователи OpenAI представили новую работу, в которой поднимается вопрос мониторинга AI-систем в процессе их мышления. Это важно, так как позволяет выявить проблемы с моделями AI до получения окончательных результатов и возможного вреда. Исследование называется «monitorability» и ставит своей целью создать инструменты для предсказания поведения моделей на основе их логики «цепочки разума» (CoT).
Один из интересных выводов исследования заключается в том, что чем длиннее и детальнее выводы CoT, тем легче предсказать, как модель ответит. Это подтверждает, что больше информации ведет к более точным предсказаниям и безопасным моделям.
Команда OpenAI предложила три подхода для мониторинга процессов CoT: интервенция, процесс, и оценка свойств результата. Эти подходы помогают обеспечить понимание и безопасность работы ИИ. Хотя работа не является рецептом к созданию абсолютно безопасных моделей, она демонстрирует шаг к созданию системы с более высоким уровнем контроля за поведением AI.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена