Недавно стартап Perplexity оказался под огнем критики после того, как компания Cloudflare опубликовала исследования, обвиняющие его в обходе блокировок и скрытном скрейпинге контента с сайтов, которые явно запрещают это делать. По данным Cloudflare, Perplexity использует методы, позволяющие обходить указания, такие как файл robots.txt, содержащий инструкции для поисковых систем и AI-компаний о том, какие страницы индексировать, а какие – нет.
Исследователи Cloudflare заметили, что Perplexity изменяет свои идентификаторы «пользовательских агентов» и связанные сети для обхода блокировок. Это поведение наблюдалось на десятках тысяч доменов и миллионов запросов в день. Перспектива автоматического извлечения данных без разрешения вызывает вопросы о правомерности действий таких компаний, как Perplexity.
Перспективы решения данной проблемы не ясны. Cloudflare запустил новые инструменты для защиты своих клиентов от таких сканеров, но до тех пор, пока AI-стартапы продолжают игнорировать этические нормы, скандалы вокруг скрейпинга будут лишь нарастать. Ситуация подчеркивает необходимость более строгого регулирования в области использования данных с интернета.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена