Cloudflare и OpenAI запускают пилотный проект, ChatGPT индексирует миллионы новых веб-страниц

Компания Cloudflare по инфраструктуре сети и OpenAI запустили исследовательский пилотный проект в июле 2026 года, чтобы проверить, может ли сеть Cloudflare помочь пользователям ChatGPT более эффективно находить новый контент. Обе стороны назвали ранние результаты положительными, пилотный проект включил ранее неизвестные страницы в поисковый индекс OpenAI, предоставив ChatGPT больше источников для цитирования.

В пилотном проекте использовалась примерно 1% очередь участников сети Cloudflare, что позволило OpenAI обнаружить и индексировать миллионы новых веб-страниц. OpenAI провела независимую оценку и отсортировала страницы по релевантности и полезности, ChatGPT Search позволяет пользователям просматривать оригинальный контент и его источник через обратные ссылки. Наблюдения показывают, что автоматизированный трафик может сделать несуществующие страницы достойными внимания, некоторые сайты перенаправляют любые адреса на главную страницу, также есть адреса, указывающие на дублирующийся контент. Обе стороны также тестируют сигналы для выявления потенциально вредных страниц, таких как поддельные страницы входа, внедренные на законные сайты, и утверждают, что следует маркировать отдельные страницы, а не целые домены.

Связанные сигналы также используются для фильтрации несуществующих или перенаправляющих страниц и для определения, стоит ли повторно посещать неизмененные страницы. Сигналы страниц не составляют разрешение на доступ, в этом исследовании использовались метаданные веб-страниц для поиска и обнаружения, а не для обучения модели на содержимом страниц. Владельцы сайтов могут через AI Crawl Control от Cloudflare узнать и управлять тем, как AI-системы получают доступ к их сайтам. Следующий этап улучшит выбор страниц и протестирует более быстрые и надежные сигналы изменений.