Cloudflare ogłosiło plany zablokowania robotów indeksujących o różnym przeznaczeniu, które indeksują strony internetowe w wyszukiwarkach i pełnią funkcję agentów sztucznej inteligencji. Ta zmiana oznacza odejście od poprzedniej polityki firmy, która umożliwiała klientom rezygnację z zezwalania na skanowanie ich witryn pod kątem chatbotów AI. Cloudflare domyślnie przyjmuje teraz bardziej defensywną postawę.
Dyrektor generalny Matthew Prince stwierdził: „Teraz, gdy większość ruchu w Internecie nie jest generowana przez ludzi, musimy pójść dalej i działać szybciej, aby mógł powstać zrównoważony ekosystem”. Nowa polityka ma na celu zapewnienie właścicielom witryn większej kontroli nad sposobem wykorzystania ich treści przez firmy zajmujące się sztuczną inteligencją, przy jednoczesnym zachowaniu widoczności i możliwości komercyjnych.
Od 15 września 2026 r. nowi klienci i obecni subskrybenci Cloudflare uruchamiający nowe witryny internetowe domyślnie będą zezwalać na wyszukiwanie, ale będą blokować szkolenia AI i korzystanie z agentów w przypadku stron zawierających reklamy. Roboty indeksujące o różnym przeznaczeniu, które nie pozwalają właścicielom witryn na kontrolowanie wykorzystania sztucznej inteligencji, będą również blokowane na stronach z reklamami. Użytkownicy bezpłatnych kont przejdą na te nowe ustawienia domyślne, chyba że zrezygnują przed upływem terminu.
Cloudflare udoskonala funkcję Pay Per Crawl, obecnie nazywaną Pay Per Use. Ta zmiana umożliwia właścicielom witryn zarabianie na tym, jak ich treść jest wykorzystywana w odpowiedziach chatbota AI, a nie tylko na indeksowaniu. Obecnie firma współpracuje z Ceramic.AI i You.com, sugerując wysiłki w celu zaangażowania dodatkowych firm zajmujących się sztuczną inteligencją.
Wydaje się, że zasady te są również pośrednio wymierzone w Google. Z zapowiedzi Cloudflare wynika, że „największa wyszukiwarka ma dostęp do około 2 razy więcej informacji niż wiodące firmy zajmujące się sztuczną inteligencją”, ponieważ integruje indeksowanie wyszukiwania ze szkoleniami w zakresie sztucznej inteligencji. Googlebot odpowiada zarówno za indeksowanie, jak i szkolenie, jednak wydawcom brakuje możliwości oddzielenia wykorzystania treści pomiędzy tradycyjnymi aplikacjami do wyszukiwania i sztuczną inteligencją.
Cloudflare ma na celu zachęcenie robotów indeksujących o różnym przeznaczeniu do przyjęcia wyraźniejszego rozróżnienia między funkcjami wyszukiwania i szkoleniami AI. Nowe środki postrzegane są jako strategia mająca nakłonić Google i inne firmy stosujące podobne praktyki do zmiany swoich podejść.
