С ростом использования крупных языковых моделей, таких как ChatGPT, возникает потребность в надежных инструментах для выявления AI-сгенерированных текстов. Студенты начали обращаться к этим моделям для написания школьных заданий, что привело к запрету ChatGPT в ряде учебных заведений. В ответ на это команда разработчиков представила метод Ghostbuster, который эффективно определяет, написан ли текст человеком или искусственным интеллектом.
Метод Ghostbuster работает, анализируя вероятность генерации каждого слова в тексте с помощью нескольких упрощенных языковых моделей, объединяя полученные данные и передавая их классификатору. Это позволяет выявлять тексты, созданные неизвестными моделями, не полагаясь на специфические данные о генерации. Ghostbuster показывает отличные результаты, достигая 99.0 F1 в тестах и значительно превосходит предыдущие системы, такие как GPTZero.
Исследование подтвердило, что Ghostbuster эффективно обрабатывает различные стили написания и обеспечивает высокую точность, даже при внесении мелких правок в генерацию текста. Необходимо учитывать, что детекторы текстов, созданных ИИ, могут ошибочно классифицировать написанные людьми тексты как сгенерированные ИИ, особенно если они написаны носителями языка с различным уровнем владения английским.
Пользователям рекомендуется использовать Ghostbuster с осторожностью и всегда учитывать возможность ошибок в классификации. Система открывает новые возможности для фильтрации AI-сгенерированных текстов из обучающих данных и проверки онлайн-источников информации.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена