Dostawca infrastruktury internetowej Cloudflare oskarżył zakłopotanie startupu AI o aktywne obchodzenie bloków stron internetowych i zasłanianie jego tożsamości w celu zeskrobania treści ze stron, które wyraźnie zrezygnowały z skrobania sztucznej inteligencji. Cloudflare opublikował w poniedziałek badania, szczegółowo opisując, w jaki sposób zakłopotanie rzekomo zignorowało ustalone zasady i ukryło jego działalność pełzania i skrobania.
Według badaczy Cloudflare, zakłopotanie próbowało zaciemnić swoją tożsamość, zmieniając „agent użytkownika” botów, sygnał identyfikujący urządzenie i typ wersji dla odwiedzających witrynę oraz zmieniając ich autonomiczne sieci systemowe (ASN), które są liczbami identyfikującymi duże sieci w Internecie. Domniemane działanie zaobserwowano w „dziesiątkach tysięcy domen i milionów żądań dziennie”, a CloudFlare stwierdza, że byli w stanie „odcisnąć odcisków palców tego robaka za pomocą kombinacji uczenia maszynowego i sygnałów sieciowych”.
Problem zwrócił się na uwagę Cloudflare po tym, jak jego klienci poinformowali, że zakłopotanie nadal czołgały się i zeskrobali swoje witryny, pomimo wdrożenia reguł w swoich robotach.txt, standard sieciowy używany do pouczania wyszukiwarek i firm AI, na których strony mogą lub nie mogą być indeksowane, oraz konkretne bloki przeciwko znanym botom zakłopotania. Cloudflare przeprowadził testy i potwierdziło, że zakłopotanie rzeczywiście obchodzi te bloki. „Zauważyliśmy, że zakłopotanie używa nie tylko deklarowanego agenta użytkownika, ale także ogólnej przeglądarki, która ma podszywać się pod Google Chrome na macOS, gdy ich zadeklarowany Crawler został zablokowany”, stwierdził Cloudflare.
W odpowiedzi Cloudflare odrzucił boty zakłopotania z zweryfikowanej listy i zaimplementował nowe techniki blokowania. Rzecznik zakłopotania, Jesse Dwyer, odrzucił post na blogu Cloudflare jako „boisko sprzedaży”, mówiąc techCrunch, że zrzuty ekranu w poście „Pokaż, że żadna treść nie została dostępna” i twierdzi, że bot nazwany przez Cloudflare „nie jest nawet nasz”.
Ten incydent nie jest po raz pierwszy zakłopotanie oskarżenia dotyczące nieautoryzowanego skrobania lub wykorzystania treści. W ubiegłym roku seriale informacyjne, w tym Wired, zarzucały, że zakłopotanie plagiatował ich treści. Kilka tygodni, podczas wywiadu na konferencji zakłócenia 2024, CEO zakłopotania Aravind Srinivas podobno walczył o podanie definicji plagiatu swojej firmy.
Cloudflare coraz częściej przyjmuje publiczne stanowisko wobec Crawlers AI, powołując się na obawy dotyczące wpływu na model biznesowy Internetu, szczególnie dla wydawców. W zeszłym miesiącu Cloudflare uruchomił rynku umożliwiającym właścicielom witryn i wydawców na obciążanie sumperów sztucznej inteligencji za dostęp do ich witryn. Dyrektor naczelny Cloudflare, Matthew Prince, wcześniej ostrzegł, że AI zakłóca podstawową strukturę gospodarczą Internetu. W ubiegłym roku firma wprowadziła również bezpłatne narzędzie zaprojektowane w celu zapobiegania botom ze zeskrobania stron internetowych do celów szkoleniowych AI.
Source: Cloudflare: zakłopotanie sfałszowany Chrome to omijanie reguł
