Cloudflare od 1 lipca zapyta właścicieli nowych domen, czy zgadzają się na dostęp botów AI do swoich treści. Domyślna blokada może ograniczyć zbieranie danych do trenowania modeli językowych.
Cloudflare wprowadza domyślną blokadę crawlerów AI dla wszystkich nowych domen korzystających z jego sieci CDN. Przy rejestracji otrzymamy pytanie o zgodę na automatyczne tzw. skrobanie treści. Dzięki temu właściciele stron zyskają większą kontrolę nad ruchem i potencjalnymi przychodami z reklam.
Sieć CDN Cloudflare obsługuje około 16% globalnego ruchu internetowego, przyspieszając dostarczanie treści przez cache’owanie danych. Zdaniem CEO Matthew Prince, pozwalając botom AI na nieograniczone zbieranie tekstów i grafik, niszczy się model kierujący użytkowników do oryginalnych źródeł. „Chcemy oddać władzę twórcom i jednocześnie wspierać innowacje AI” – podkreślił Prince.
Już we wrześniu ubiegłego roku firma umożliwiła wydawcom blokowanie botów AI jednym kliknięciem. Teraz ten mechanizm stanie się ustawieniem standardowym dla każdej nowej strony. OpenAI odmówiło udziału w testach nowego podejścia, argumentując, iż wprowadza ono pośrednika między wydawcami a AI, choć zapewnia, iż jego crawlery respektują zapisy w pliku robots.txt.
Prawnicy ostrzegają, iż decyzja może chwilowo utrudnić trenowanie modeli językowych i indeksowanie zawartości internetu przez chatboty. Matthew Holman z brytyjskiej kancelarii Cripps zaznacza, iż boty AI bywają inwazyjne, obciążając serwery i spowalniając działanie stron. jeżeli domyślna blokada się utrzyma, długofalowo może to wpłynąć na opłacalność niektórych modeli AI.
Dla wydawców jest to jednak szansa na odzyskanie ruchu i zabezpieczenie przychodów z reklam. Dzięki ustawieniu blokady w panelu Cloudflare będą mogli chronić swoje zasoby przed nieautoryzowanym skrobaniem, a jednocześnie decydować o ewentualnej komercjalizacji dostępu dla firm związanych z AI.
