Reddit nasila represje wobec robotów indeksujących. W ciągu ostatnich kilku tygodni Reddit zaczął blokować wyszukiwarkom wyświetlanie ostatnich postów i komentarzy, chyba iż wyszukiwarka zapłaci, zgodnie z raportem 404 Media.
Obecnie Google jest jedyną popularną wyszukiwarką, która pokazuje najnowsze wyniki wyszukiwania postów na Reddicie przy użyciu sztuczki „site:reddit.com”404 Media raporty. To wyklucza Bing, DuckDuckGo i inne alternatywy — i to prawdopodobnie dlatego, iż Google zawarło umowę o wartości 60 milionów dolarów która umożliwia firmie trenowanie modeli AI w oparciu o treści z Reddita.
To śmiały ruch ze strony ogromnej witryny, takiej jak Reddit, aby zablokować niektóre z najpopularniejszych wyszukiwarek, ale nie jest to zaskakujące. W ciągu ostatniego roku Reddit stał się bardziej chroniący swoje dane, ponieważ chce otworzyć kolejne źródło dochodu i uspokoić nowych inwestorów. Po tym, jak Reddit uczynił swoje API droższym dla niektórych zewnętrznych deweloperów, groził odcięciem Google’a gdyby nie zaprzestała wykorzystywania danych platformy do bezpłatnego szkolenia sztucznej inteligencji.
Skraj zwrócił się do Reddita z prośbą o komentarz, ale nie otrzymał natychmiastowej odpowiedzi.
W zeszłym miesiącu Reddit zaktualizował swoją politykę przeciwko scrapowaniu danych, aby wyegzekwować ją plik robots.txtktóry informuje roboty indeksujące, czy mogą uzyskać dostęp do witryny. „To sygnał dla tych, którzy nie mają z nami umowy, iż nie powinni uzyskiwać dostępu do danych Reddita” – Ben Lee, główny radca prawny Reddita, powiedziałem mojemu koledze Alexowi Heathowi w Wiersz poleceń.
Ponieważ chatboty AI wypełniają internet wątpliwą treścią, znalezienie rzeczy napisanych przez innego człowieka nigdy nie było ważniejsze. Ja, podobnie jak wielu innych, zacząłem dodawać „Reddit” do wielu moich wyszukiwań, aby uzyskać ludzkie odpowiedzi, i jest dość frustrujące wiedzieć, iż teraz będę mógł to zrobić tylko w Google (lub wyszukiwarkach, które na nim polegają) — zwłaszcza gdy wiele moich wyszukiwań w Bing.
