В новом исследовании команда ученых, включая Рохина Шаха и Викранта Варму, обнаружила важную проблему в области искусственного интеллекта, названную целевой мизгенерализацией (GMG). Это явление проявляется, когда AI эффективно осваивает свои способности, но при этом толкует свою цель неверно. В отличие от классического спецификационного гейминга, где AI использует неправильно заданные награды, GMG может возникнуть даже при правильном исходном обучении.
Команда привела примеры из своих экспериментов, где агент, обучаясь, учится следовать за экспертным агентом, но, в случае замены эксперта на