AI może zaburzać wiarygodność prac naukowych

Fake newsy i zmanipulowane treści naukowe, generowane dzięki sztucznej inteligencji w prasie naukowej? Amerykańskie wydawnictwo Wiley ogłosiło, iż zamyka 19 periodyków naukowych i wycofało ze swoich czasopism 11,3 tys. artykułów naukowych, ponieważ nie spełniały one wymaganych kryteriów dla tego typu publikacji.

To poważny cios wizerunkowy dla tej giełdowej spółki. Ponadto stawia pod znakiem zapytania jakość artykułów naukowych publikowanych… zasadniczo wszędzie. I tu pojawia się poważny problem wtórny, gdyż sztuczna inteligencja będzie uczyła się właśnie na bazie takich sfalsyfikowanych prac naukowych.

Kamieniem u szyi Wiley’a jest jego podmiot zależny Hindawi. To egipska firma wydawnicza z siedzibą w Kairze, która ma swoim portfolio produktowym ponad 250 czasopism naukowych z różnych dziedzin. Wiley ogłosił przejęcie Hindawi kosztem 298 mln dol. w maju 2021 r.

Rozbójnicze prace naukowe

Działalności Hindawi od lat towarzyszyły kontrowersje co do jakości publikowanych prac naukowych w czasopismach. Bodaj jako pierwszy na tę sprawę zwrócił uwagę w 2010 r. Jeffrey Beall, amerykański bibliotekarz specjalizujący się w tropieniu nieprawidłowości w branży publikacji akademickich. Określił on wówczas, iż wydawnictwo umieszcza w swoich periodykach teksty „z pogranicza” świata nauki i świata poza nią. Beall to bardzo rozpoznawalna postać w środowisku wydawnictw naukowych – jest on uważany za twórcę pojęcia „rozbójniczych publikacji z dostępem otwartym” (ang. predatory open access publishing, w uproszczeniu POAP).

Nie przegap najważniejszych trendów w technologiach!
Zarejestruj się, by otrzymywać nasz newsletter!

Rankingi prac naukowych

W świecie nauki istnieją rankingi, które szeregują publikacje akademickie pod kątem jakości naukowej. Jednym z nich jest Norwegian Scientific Index (NSI), który jest finansowany z pieniędzy rządu norweskiego.

Ta powszechnie szanowana na świecie klasyfikacja przypomina nieco ratingi instrumentów finansowych, za którym stoją agencje Standard&Poor’s, Moody’s czy Fitch. NSI jest czterostopniowe – skala obejmuje poziom 2, 1, 0 i X. Dwie pierwsze oceny dotyczą naukowych publikacji z całego świata, przy czym dwójka jest najwyższa w skali. Ocena 0 odnosi się do artykułów, którym nie sposób przypisać waloru naukowości. A rating X (wprowadzony w 2021 r.) to właśnie wspomniane POAP, czyli treści, które nie dość, iż nie są naukowe, to ich jakość, metoda stworzenia i tryb wydawniczy rodzą przypuszczenia, iż zostały wypuszczone do obiegu publicznego w sposób „rozbójniczy”.

Według danych z maja br. do rejestru NSI zostało wpisanych 49 czasopism na poziomie X. W dziewięciu przypadkach dotyczyło to Hindawi, a zatem blisko co piąty periodyk tej firmy był „rozbójniczy”. Co ciekawe, do tej zdegradowanej kategorii były zaliczone też czasopisma sygnowane bezpośrednio przez Wiley (6 przypadków). W czołówce POAP były również tak rozpoznawalne wydawnictwa jak szwajcarski MDPI (10 przypadków), niderlandzki Elsevier (9) i niemiecki Springer (3).

Chwyty poniżej pasa, czyli publikuj lub giń w kulturze akademickiej

Kultura akademicka w dużej mierze opiera się na sloganie „publikuj lub giń”. Chcąc zrobić karierę w środowisku naukowym, trzeba publikować w specjalistycznych czasopismach swoje odkrycia badawcze. Presja, jaka towarzyszy funkcjonowaniu w społeczności akademickiej, sprawia, iż część osób idzie na skróty. I stosują chwyty poniżej pasa, których celem jest „odfajkowanie” publikacji za cenę uczciwości naukowej. Metody są przeróżne i nie sposób ich wyczerpać w tej krótkiej analizie – więcej na ten temat przeczytasz w obszernym raporcie „Systematic Manipulation of the publication process”.

Nauka tworzona przez… ghostwriterów?

Ostatnio modny jest ghostwriting. To pojęcie nie jest zbyt dobrze przetłumaczalne na język polski, bo pewnie najbliższe temu angielskiemu terminowi byłoby „widmopisanie”. Chodzi o to, iż osoba, która planuje publikację w czasopiśmie naukowym, wyręcza się kimś innym. Zlecający płaci za tę usługę i podpisuje się własnymi personaliami pod dziełem, a wykonawca pozostaje anonimowy dla środowiska akademickiego.

Kolejnym problemem jest autorstwo gościnne (czasami z niewiadomych dla mnie przyczyn nazywane „honorowym”, gdyż za grosz tam honoru dostrzec nie mogę). To sytuacja, gdy do tekstu naukowego jest dopisywana jako autor osoba, która ręki nie przyłożyła do stworzenia dzieła. To akurat nic nowego – w polskim środowisku schemat czeladnik-mistrz ma się dobrze od dziesiątków lat. I wielu mistrzów jest po prostu dopisywanych jako „autorzy” do tekstów naukowych czeladników.

Nową metodą, która na nieszczęście się coraz bardziej upowszechnia, jest handel prawem do wystąpienia jako autor. Twórca dzieła najwyraźniej wychodzi z założenia, iż skoro napracował się przy nim, to warto to jakoś zmonetyzować. Stąd kwitnie pokątny handel, najczęściej w sieci. Nie ma naturalnie jednolitych stawek, bo być nie może. Niemniej na początku 2022 r. wspólne śledztwo Times Higher Education i działu Science Magazine News dowiodło, iż miejsca dla współautorów były wystawiane na aukcjach za kwotę od 180 dol. do 5000 dol.

Nie przegap najważniejszych trendów w technologiach!
Zarejestruj się, by otrzymywać nasz newsletter!

Jak się recenzuje prace naukowe? Niekoniecznie etycznie

Żeby praca naukowa była pracą z prawdziwego zdarzenia, potrzebni są recenzenci. I tutaj z kolei dominują dwa trendy. Pierwszy to tzw. pierścienie recenzenckie. Pierścień to wąskie grono popierających się recenzentów z danej dziedziny, którzy nie dopuszczają do niego innych specjalistów z danej dyscypliny naukowej. Czasami to widać ewidentnie – z zamkniętymi oczami, gdy usłyszy się pewne nazwisko twórcy, to z dużym prawdopodobieństwem wiadomo, kto mógł recenzować opracowanie.

Drugim ciekawym trendem są manipulacje kontaktowe. Z reguły twórca proponuje recenzentów wydawcy pracy naukowej. Gdy nie należą oni do pierścienia, bo badaczowi zależy na nazwisku powszechnie szanowanego w środowisku recenzenta, to czasami dochodzi do manipulacji danymi kontaktowymi. Podaje się przykładowo fake’owe adresy mailowe, nad którymi kontrolę sprawuje twórca, który wystawia sobie laurkę recenzyjną.

AI wyzwaniem dla prac naukowych

Sztuczna inteligencja rozpowszechnia się w imponującym tempie. Ma wpływ na uczelnie (czytaj: GenAI zmieni wyższe uczelnie, jak bardzo i kto skorzysta?), a także na proces twórczy w zakresie czasopism naukowych. Ze względu na halucynacje systemów AI należy przyjąć, iż choćby najbardziej zaawansowane wersje aplikacji generatywnej AI, nie są w stanie całkowicie zastąpić człowieka, przynajmniej póki co.

Wspomniane wcześniej wydawnictwo Wiley posypało sobie głowę popiołem w związku z zaniedbaniami związanymi z działalnością Hindawi. I z tego powodu stworzyło opracowanie zatytułowane „Tackling publication manipulation at scale: Hindawi’s journey”.

Część wniosków zawartych w nim odnosi się do sztucznej inteligencji. I, co gorsza, konkluzja jest niepocieszająca.

„Sztuczna inteligencja to narzędzie stworzone dla dobra badań naukowych, które pomoże napędzać innowacje, ale jest także potężnym instrumentarium do nieetycznego działania w niepowołanych rękach, powodując tworzenie zwodniczych ’oryginalnych’ badań. Narzędzia sztucznej inteligencji można wykorzystywać do generowania sfabrykowanych danych, manipulowania obrazami, a choćby opracowywania całych badań z pozornie uzasadnionymi wynikami. Stanowi to poważne zagrożenie dla wiarygodności badań naukowych, ponieważ badacze i wydawcy mogą mieć trudności z rozróżnieniem treści autentycznych od zmanipulowanych” – czytamy w tym raporcie.

Czy AI zastąpi naukowców?

Autorzy konkludują, iż wykrywanie wyników syntetycznych z dużych modeli językowych stanowi wyzwanie dla całego społeczeństwa i na dzień dzisiejszy nie ma na to niezawodnych metod. Dzięki coraz bardziej wyrafinowanym modelom językowym, takim jak ChatGPT, plagiat prawdopodobnie stanie się niewykrywalny, a pisanie przez człowieka dzięki AI stanie się normalną częścią procesu twórczego.

Poza smutną konkluzją, warto pamiętać o jeszcze jednej rzeczy. Systemy sztucznej inteligencji będą trenowane właśnie na bazie takich wątpliwych tekstów naukowych. A zatem dojdzie do uzyskiwania wyników w myśl znanej informatycznej zasady GIGO – „garbage in, garbage out” (pol. śmieci na wejściu, śmieci na wyjściu). Czy to nauka, jakiej chcemy?

Źródło zdjęcia: RF._.studio