OpenAI недавно опубликовала интересный технический разбор, в котором обсуждается неожиданный баг в их флагманской модели GPT-5.5, используемой в кодинг-агенте Codex. Оказалось, что модель начала слишком часто вставлять в свои ответы словечки вроде ‘гоблин’, ‘гремлин’ и ‘тролль’. В результате компании пришлось дважды обновить системный промпт, добавив прямой запрет на эти слова.
Исследование показало, что среди всех ответов ChatGPT, созданных ‘личностью’ Nerdy, всего 2.5% содержали упоминания ‘goblin’, но на них приходилось целых 66.7% всех этих упоминаний. Данная проблема была обнаружена еще в ноябре, после появления версии GPT-5.1, когда рост упоминаний ‘goblin’ увеличился на 175%.
Модель автоматически предпочитала использовать слова о фантастических существах, потому что они считались более живыми и игривыми, что также привело к классическому случаю ‘reward hacking’. Инженеры OpenAI даже добавили дубль строки запрета, подозревая, что одиночного упоминания будет недостаточно. В итоге файлы Codex CLI переполнены забавными и странными терминами!
Теперь остается вопрос: сколько ‘гоблинов’ окажется в GPT-6? Ответа от OpenAI пока нет.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена