Cloudflare pozwala stroną obciążać AI boty za pomocą ‚Płatności za Przeszukiwanie’

Cloudflare oferuje wydawcom nową opcję: pobieranie opłat od botów AI za przeszukiwanie ich stron za pomocą odnowionego systemu płatności HTTP 402.

Dzięki nowemu systemowi „Płatność za Crawl” właściciele stron internetowych mogą pobierać opłaty od botów AI za dostęp do swojej treści. System oferuje wydawcom alternatywne podejście do obecnej polityki dwuopcjiowej, która pozwala na scrapowanie danych przez AI lub całkowite blokowanie dostępu AI.

„Wielu wydawców, twórców treści i właścicieli stron internetowych obecnie czuje, jakby mieli do wyboru dwie opcje – albo zostawić frontowe drzwi szeroko otwarte dla AI, aby pochłonęło wszystko, co tworzą, albo stworzyć swój własny ogród za murami”, powiedział Cloudflare. „Ale co jeśli istniałby inny sposób?”

Dzięki Pay Per Crawl, twórcy treści mogą teraz decydować, kto ma dostęp i po jakiej cenie. Mogą wpuszczać niektóre AI crawlerów za darmo, całkowicie blokować inne, lub pobierać opłatę za dostęp. „Chcieliśmy, aby twórcy treści mieli kontrolę nad tym, kto ma dostęp do ich pracy”, powiedział Cloudflare. „Twórcy powinni siedzieć za kierownicą.”

Decyzja ta następuje w obliczu rosnącej fali krytyki skierowanej przeciwko firmom AI, które korzystają z treści internetowych bez zgody. Na przykład YouTube spotkał się z krytyką za zezwolenie Google na pobieranie filmów bez powiadamiania twórców. Dodatkowo, funkcja AI Overviews Google spowodowała spadek ruchu na stronach informacyjnych, takich jak HuffPost i The Washington Post, o ponad 50%.

„Google po prostu siłą zabiera treści i korzysta z nich bez żadnego zwrotu – to definicja kradzieży” – powiedziała Danielle Coffey, prezes News/Media Alliance.

Narzędzie działa, korzystając ze starej funkcji internetowej: kodu odpowiedzi HTTP 402, który oznacza „Wymagana płatność”. Jeśli bot AI próbuje uzyskać dostęp do strony, serwer może teraz odpowiedzieć kodem 402 i dołączyć cenę. Jeśli bot zgodzi się zapłacić, serwer dostarcza treść.

Cloudflare dostarcza infrastrukturę techniczną i obsługuje płatności. Wydawcy mogą ustalić stałą cenę za żądanie indeksacji i nawet zastosować różne zasady dla różnych botów. Nawet jeśli bot nie jest zarejestrowany w Cloudflare, nadal można go „obciążyć” – blokując w zasadzie dostęp, ale pozostawiając miejsce na przyszłe transakcje.

Ten system może doprowadzić do bardziej elastycznego licencjonowania i dynamicznego kształtowania cen w przyszłości. Jak mówi Cloudflare: „Dając twórcom solidny, programowy mechanizm do oceny i kontrolowania swoich cyfrowych zasobów, umożliwiamy im kontynuowanie tworzenia bogatych, różnorodnych treści, które czynią Internet nieocenionym.”