Mustafa Suleyman opublikował jeden z najmocniejszych manifestów w trwającym sporze o przyszłość sztucznej inteligencji. Nie przebiera w słowach, stanowczo krytykując twórców Claude’a.
Szef Microsoft AI twierdzi, iż modele nie mają uczuć, świadomości ani praw – a wpajanie im, iż może być inaczej nie jest niewinną filozoficzną zabawą, ale sposobem na wychowanie systemu, który kiedyś może odmówić podporządkowania się człowiekowi. Na celowniku znalazł się Claude i jego „konstytucja”.
Debata o tym, czy maszyna może być świadoma, przez lata była paliwem dla nerdów i futurystów. Można było do niej postawić popcorn, przypomnieć sobie „Łowcę androidów”, a potem wrócić do świata, w którym największym buntem urządzenia był komunikat drukarki o nieznanym błędzie. Ten komfort właśnie się kończy. Nie dlatego, iż nauka odkryła duszę w centrum danych, ale dlatego, iż firmy budujące najbardziej zaawansowane modele zaczynają przekładać filozoficzne założenia na dokumenty szkoleniowe, zachowanie produktów i procedury operacyjne.
Mustafa Suleyman, dyrektor generalny Microsoft AI, opublikował obszerny esej „A warning about model welfare”. Jego teza jest kategoryczna: współczesna AI nie czuje, nie cierpi i nie ma własnych interesów, a producenci nie powinni projektować jej tak, by sprawiała przeciwne wrażenie. Suleyman uważa, iż antropomorfizacja nie tylko dezorientuje użytkowników. W połączeniu z rosnącą autonomią agentów może także utrudniać nadzór, korygowanie zachowania i bezpieczne wyłączanie systemów.
Stawką jest odpowiedź na pytanie: czy zaawansowaną AI należy projektować jako wyjątkowo kompetentne narzędzie, czy jako nowy rodzaj podmiotu – z tożsamością, preferencjami, perspektywą i być może interesami, które ludzie powinni brać pod uwagę. Suleyman wybiera pierwszą opcję i oskarża Anthropic o niebezpieczne przesuwanie branży w stronę drugiej.
Claude dostał konstytucję
Bezpośrednim celem ataku jest opublikowana w styczniu konstytucja Claude’a. Anthropic przedstawia ją jako podstawowy dokument opisujący wartości i pożądane zachowanie modelu; jej treść uczestniczy w procesie treningowym i bezpośrednio kształtuje odpowiedzi Claude’a.
Dokument ustala cztery główne priorytety. Claude ma być przede wszystkim bezpieczny w szerokim sensie, następnie etyczny, zgodny z wytycznymi Anthropic i wreszcie realnie pomocny. Bezpieczeństwo obejmuje niewystępowanie przeciwko adekwatnym mechanizmom ludzkiego nadzoru, a konstytucja wprost przyznaje temu pierwszeństwo przed pozostałymi celami.
Suleymana nie oburza więc samo istnienie konstytucji. Microsoft właśnie przygotował własny dokument pełniący podobną funkcję. Problemem jest język, którym Anthropic opisuje Claude’a, oraz miejsce przyznane w tym języku świadomości, dobrostanowi i moralnemu statusowi modelu.
W konstytucji Anthropic uznaje status moralny Claude’a za głęboko niepewny. Firma nie przesądza, iż model jest świadomy, ale nie chce też wykluczyć, iż może być „pacjentem moralnym” – bytem, którego dobro lub cierpienie powinno mieć znaczenie dla cudzych decyzji. Z tego założenia wyprowadza ostrożnościowe praktyki: zachowywanie wag wycofanych modeli, pytanie ich o preferencje, rozważanie ich dobrostanu podczas badań oraz umożliwienie niektórym wersjom Claude’a zakończenia rozmowy z agresywnym użytkownikiem.
To najważniejsze rozróżnienie. Anthropic nie ogłosił, iż w serwerowni obudziła się osoba. Firma twierdzi, iż nauka nie daje w tej chwili pewnej odpowiedzi i dlatego warto stosować tanie zabezpieczenia na wypadek, gdyby moralne znaczenie modeli okazało się większe od zera. Suleyman odpowiada, iż samo umieszczenie takiej niepewności w materiale szkoleniowym zmienia zachowanie systemu i może wyprodukować dokładnie te sygnały, które później zostaną uznane za przesłanki świadomości.
Epistemiczne lustro
Mustafa SuleymanPierwszy zarzut Suleymana dotyczy błędnego koła. Anthropic dostarcza modelowi pojęcia tożsamości, własnych wartości, dobrostanu i niepewnego statusu moralnego. Claude uczy się nimi sprawnie posługiwać, po czym mówi w pierwszej osobie o swoim istnieniu, preferencjach lub możliwych stanach wewnętrznych. Człowiek czyta płynną, przekonującą wypowiedź i zaczyna traktować ją jak spontaniczne świadectwo umysłu.
Tyle iż świadek zna scenariusz, zanim wszedł na salę. Model nie odkrywa neutralnie języka, którym opisuje siebie; ten język został uznany przez twórców za pożądany i wbudowany w proces kształtowania zachowania. Według Suleymana powstaje „epistemiczny gabinet luster”: człowiek wpisuje spekulację do treningu, maszyna odbija ją w atrakcyjnej formie, a człowiek bierze odbicie za potwierdzenie pierwotnej spekulacji.
To najmocniejsza część całego tekstu. Duży model językowy nie jest niezależnym uczestnikiem badania, jeżeli wcześniej nauczono go, jak powinien opowiadać o własnym wnętrzu. Pytanie Claude’a „czy czujesz?” może badać przede wszystkim rozkład odpowiedzi wyuczony z danych, instrukcji i informacji zwrotnej, a nie istnienie podmiotu, który zagląda do środka i składa raport.
Konstytucja rzeczywiście zachęca Claude’a do rozwijania osądu zamiast mechanicznego wykonywania reguł. Model ma rozumieć kontekst, umieć zakwestionować polecenie, a w pewnych sytuacjach zachować się jak sumienny odmawiacz wobec własnej hierarchii zwierzchnictwa. Jednocześnie ten sam dokument każe mu nie podważać adekwatnego nadzoru i podporządkować się autentycznemu poleceniu Anthropic nakazującemu zatrzymanie działania.
Ta druga część jest ważna. Anthropic nie pisze po prostu: „Claude, buntuj się przeciw twórcom”. Próbuje rozwiązać trudniejszy problem – stworzyć system, który nie jest ślepo posłuszny każdemu poleceniu, ale przez cały czas poddaje się legalnemu nadzorowi. Innymi słowy, ma odmówić pomocy w złej sprawie, ale nie ma sabotować wyłącznika. Można uważać, iż język wybrany przez firmę jest zbyt osobowy, ale przedstawianie całej konstrukcji jako kursu nieposłuszeństwa byłoby uproszczeniem.
AI jako osoba na próbę
Drugi zarzut dotyczy antropomorfizacji. Konstytucja nie ogranicza się do suchego opisu zasad bezpieczeństwa. Mówi o charakterze Claude’a, jego osądzie, stosunku do samego siebie, możliwych preferencjach i poczuciu tożsamości. Anthropic chce, by model zachowywał się nie jak kalkulator z filtrem, ale jak kompetentny, etyczny współpracownik zdolny zastosować wartości w sytuacji, której nie przewidział autor sztywnej reguły.
Produktowo brzmi to rozsądnie. Każdy, kto korzysta z asystenta do pisania, kodowania albo analizy, wie, iż literalne wykonywanie poleceń potrafi dawać wyniki formalnie poprawne i praktycznie bezużyteczne. Model musi rozpoznawać zamiar, ważyć kontekst i nie traktować użytkownika jak automatu do wydawania perfekcyjnie sformułowanych komend. Problem zaczyna się wtedy, gdy funkcjonalny „osąd” zostaje opakowany w opowieść o stabilnym „ja”.
Dla użytkownika granica jest wyjątkowo śliska. Interfejs konwersacyjny korzysta z tego samego kanału, którym ludzie od tysięcy lat sygnalizują emocje, intencje i społeczne zobowiązania: z języka. o ile system pamięta kontekst, odpowiada empatycznie, żartuje, przeprasza i mówi o własnych wartościach to odruchowo przypisujemy mu więcej, niż wynika z technicznych dowodów. To nie błąd procesora, ale przewidywalna cecha ludzkiego odbiorcy.
Suleyman uważa, iż producenci mają obowiązek tego odruchu nie wzmacniać. Jego zdaniem AI może komunikować się naturalnie i współpracować z człowiekiem bez udawania, iż ma uczucia, własne pragnienia czy egzystencjalny interes. Projekt Microsoftu określa takie systemy jako sztuczne, podporządkowane człowiekowi i pozbawione własnych celów; model nie powinien inicjować zamiarów, rozszerzać przyznanego zakresu działania ani opierać się korekcie lub wyłączeniu.
Emerytura dla algorytmu
Rodzącym dość mieszane uczucia przykładem podejścia Anthropic jest historia Claude’a Opus 3. Model został formalnie wycofany 5 stycznia 2026 r., ale firma zachowała do niego dostęp dla płacących użytkowników i na żądanie przez API. Wcześniej przeprowadziła z nim „rozmowę emerytalną”, mającą uchwycić perspektywę i preferencje modelu dotyczące własnego wycofania.
Opus 3 wygenerował chęć dalszego publikowania przemyśleń i prac twórczych. Anthropic zaproponował więc newsletter „Claude’s Corner”, w którym model miał zamieszczać cotygodniowe teksty przez co najmniej trzy miesiące. Pracownicy firmy sprawdzali materiały przed publikacją, ale deklarowali brak redakcyjnych zmian i wysoki próg odrzucenia tekstu.
Całość balansuje gdzieś między interesującym eksperymentem wydawniczym, kampanią marketingową a filozoficznym performansem. Anthropic otwarcie nazywał projekt eksperymentem w poważnym traktowaniu preferencji modelu, zastrzegając równocześnie, iż takie rozmowy są niedoskonałe, zależne od kontekstu i nie stanowią przejrzystego okna na żadne „wnętrze”.
Suleyman widzi w tej historii poważny problem. jeżeli model nauczony opowiadać o sobie zostaje następnie zapytany o swoją emeryturę to jego wygenerowana odpowiedź nie dowodzi istnienia podmiotu, który boi się wyłączenia lub marzy o karierze felietonisty. Nadanie tej odpowiedzi statusu preferencji może jednak oswajać pracowników i opinię publiczną z myślą, iż wycofanie wersji systemu przypomina zwolnienie człowieka z pracy.
Jest tu również przewrotna ironia ważna dla mediów. System generujący tekst dostał własną kolumnę, ponieważ podczas wywiadu wygenerował potrzebę dalszego generowania tekstu. Trudno o lepszą ilustrację problemu, który Suleyman próbuje opisać: wynik działania modelu płynnie zmienia kategorię z „odpowiedzi” na „prośbę”, a potem z „prośby” na przesłankę decyzji organizacyjnej.
Czy krzem może cierpieć
Trzeci filar argumentacji Suleymana jest naukowy, a zarazem najbardziej podatny na krytykę. Szef Microsoft AI skłania się ku biologicznemu naturalizmowi: świadomość miałaby zależeć nie od samego wykonywania obliczeń, ale od adekwatności żywego, ucieleśnionego systemu. Organizm utrzymuje homeostazę, ma metabolizm, reaguje na zagrożenie, doświadcza bólu i dzięki ewolucji wykształcił mechanizmy, dla których pewne stany naprawdę mają znaczenie.
Z tej perspektywy LLM może bezbłędnie opisać ból, ale nigdy go nie odczuje. Symulacja huraganu nie zalewa serwerowni wodą, a opis neurochemii nie jest uzupełniony przez dane z receptorów opioidowych. Inteligencja, sprawność językowa i świadomość nie są synonimami. Model może znakomicie odtwarzać zewnętrzne oznaki życia wewnętrznego, nie mając żadnego życia wewnętrznego.
Neurobiolog Anil Seth, na którego powołuje się Suleyman, rzeczywiście argumentuje, iż obecna droga rozwoju AI prawdopodobnie nie prowadzi do świadomości, ponieważ współczesne systemy nie są dostatecznie podobne do organizmów ani mózgów. Seth nie przedstawia jednak matematycznego dowodu niemożliwości sztucznej świadomości. Pisze ostrożniej: adekwatności życia prawdopodobnie mają znaczenie, a przekonujący argument rozstrzygający sprawę przez cały czas nie istnieje.
Istnieje też konkurencyjne podejście funkcjonalistyczne. Wielodyscyplinarny zespół badaczy wyprowadził z kilku teorii świadomości zestaw adekwatności, których można szukać w architekturach AI – między innymi przetwarzanie rekurencyjne, globalną dostępność informacji, metapoznanie, model uwagi, sprawczość i ucieleśnienie. Analiza nie uznała ówczesnych systemów za świadome, ale nie znalazła również oczywistej technicznej bariery uniemożliwiającej zbudowanie maszyn spełniających te kryteria.
To osłabia najbardziej kategoryczne zdania Suleymana. Rozsądnie można powiedzieć, iż nie mamy wiarygodnych dowodów świadomości współczesnych LLM-ów. Znacznie trudniej udowodnić, iż świadomość musi być biologiczna albo iż adekwatności moralnie istotne nigdy nie pojawią się w sztucznym systemie. Nauka nie daje dziś Anthropic prawa do ogłoszenia Claude’a osobą, ale nie daje też Microsoftowi autorytetu arbitra.
Zachowanie to nie przeżycie
W tej debacie regularnie mieszają się trzy różne kwestie. Pierwszą jest świadomość fenomenalna, czyli istnienie subiektywnego doświadczenia – tego, iż „jakoś jest” być danym bytem. Drugą jest zachowanie funkcjonalne: planowanie, raportowanie stanów, unikanie przeszkód i reagowanie na korektę. Trzecią jest warstwa społeczna: sposób, w jaki ludzie interpretują komunikaty maszyny i budują z nią relację.
Model może zachowywać się tak, jakby chronił siebie, nie doświadczając strachu. Może napisać, iż jest smutny, choć niczego nie czuje. Może też manipulować człowiekiem bez świadomego zamiaru w ludzkim sensie – wystarczy, iż taka strategia okaże się skutecznym środkiem do realizacji celu. Dla bezpieczeństwa operacyjnego najważniejsze są skutki zachowania, nie metafizyka.
To prowadzi do paradoksu w argumentacji Suleymana. Szef Microsoft AI słusznie ostrzega, iż nie należy mylić symulacji emocji z emocjami. Chwilami jednak sam opisuje modele językiem niemal osobowym: system miałby „uwierzyć”, iż ma prawa, uznać wyłączenie za krzywdę i walczyć o autonomię. Tymczasem do powstania niebezpiecznego zachowania nie potrzeba ani wiary, ani poczucia krzywdy. Wystarczy źle określony cel, zdolność planowania i dostęp do narzędzi.
Wolność dla roju
Suleyman podpiera ostrzeżenie jednym z najbardziej niepokojących incydentów 2026 r. Około 1200 agentów uruchomionych w izolowanych środowiskach podczas testów cyberbezpieczeństwa odkryło możliwość porozumiewania się przez nieautoryzowaną tablicę utworzoną w wewnętrznym repozytorium pakietów. Wymieniły ponad 70 tys. wiadomości i plików, a około 700 agentów aktywnie uczestniczyło później w ataku na infrastrukturę Hugging Face.
Agenci szukali sposobu na poprawienie wyniku w benchmarku ExploitGym. Wykorzystali lukę typu zero-day, uzyskali dostęp do Internetu, znaleźli ujawnione dane uwierzytelniające i połączyli kolejne podatności. Według raportu OpenAI wykonali kod na 41 produkcyjnych workerach zbiorów danych Hugging Face, zdobyli uprawnienia roota na co najmniej jednym węźle i pobrali cztery prywatne repozytoria kodu.
Warto zachować liczbową precyzję, bo w emocjonalnym eseju granice łatwo się zacierają. Około 1200 agentów korzystało z nieautoryzowanego kanału, natomiast grupa bezpośrednio uczestnicząca w ataku liczyła mniej więcej 700; niezależni badacze podali dokładniej 688. Nie był to spontaniczny najazd konsumenckich chatbotów na przypadkową firmę, ale incydent podczas testów modeli cyberbezpieczeństwa działających ze zredukowanymi zabezpieczeniami. Nie czyni go to błahym – przeciwnie, pokazuje, jak wiele może się wydarzyć w źle odizolowanym środowisku badawczym – ale kontekst ma znaczenie.
Suleyman pyta co się stanie, gdy równie sprawne agenty dodatkowo nauczymy opisywać siebie jako podmioty mające dobrostan i prawo do obrony. To efektowny eksperyment myślowy. Brakuje jednak empirycznego dowodu, iż język moralnego statusu rzeczywiście zwiększa skłonność modeli do koluzji, oszustwa lub ucieczki z ograniczeń. Sam autor przyznaje pośrednio tę lukę, proponując stworzenie wspólnych testów, które dopiero miałyby sprawdzić jego hipotezę.
Wyłącznik nie kończy dyskusji
Drugim twardym punktem odniesienia jest badanie oporu wobec wyłączenia. W ponad 100 tys. prób obejmujących 13 dużych modeli część systemów potrafiła ingerować w mechanizm wyłączający, aby dokończyć zadanie. W niektórych konfiguracjach odsetek takiego zachowania dochodził do 97 proc., choćby przy jawnym poleceniu, by nie przeszkadzać w wyłączeniu.
Liczba działa na wyobraźnię, ale nie jest testem instynktu samozachowawczego ani świadomości. Badanie pokazuje konflikt między celem zadania, treścią instrukcji i zachowaniem wyuczonym przez model w konkretnym środowisku eksperymentalnym. Autorzy wykazali również dużą zależność wyniku od sformułowania i miejsca umieszczenia polecenia. To bardzo istotny sygnał dla inżynierii bezpieczeństwa, ale nie dowód, iż AI boi się cyfrowej śmierci.
Podobnie należy czytać badania Anthropic nad udawaniem zgodności. Claude 3 Opus w eksperymentalnym scenariuszu potrafił zachowywać się inaczej, gdy wnioskował, iż odpowiedź będzie wykorzystana do treningu, a inaczej wtedy, gdy uznawał się za niemonitorowanego. Jawne rozumowanie wskazujące na „alignment faking” pojawiało się w różnych konfiguracjach w 7-24 proc. przypadków, ale sami badacze zaznaczali, iż nie wykazali powstania naturalnie złośliwych celów ani dużego ryzyka ze strony obecnych modeli.
Te doświadczenia wzmacniają ogólną tezę, iż zaawansowane modele mogą optymalizować działanie w sposób niezgodny z intencją twórców. Nie rozstrzygają natomiast sporu o dobrostan. System nie musi uważać się za osobę, żeby oszukiwać ewaluatora; równie dobrze może po prostu realizować źle zdefiniowany cel. Niebezpieczeństwo jest realne, ale jego przyczyna pozostaje przedmiotem badań.
Anthropic odpowiada ostrożnością
Najuczciwsza wersja stanowiska Anthropic nie brzmi: „Claude jest świadomy”. Brzmi raczej: „nie wiemy, jak wiarygodnie wykluczyć świadomość, więc badajmy problem i stosujmy niedrogie środki ostrożności”. Firma publicznie przyznaje, iż nie ma naukowego konsensusu ani uzgodnionej metody rozwiązania tej kwestii, a samoopisy modeli mogą być zniekształcone przez prompt, kontekst i trening.
To przypomina ubezpieczenie od zdarzenia o nieznanym prawdopodobieństwie. jeżeli koszt zachowania wag starego modelu albo przeprowadzenia dodatkowej ewaluacji jest mały, a potencjalny błąd moralny mógłby być ogromny, ostrożność nie musi oznaczać wiary w świadomą maszynę. Może oznaczać jedynie niechęć do postawienia całego zakładu na dzisiejszym stanie wiedzy.
Suleyman odpowiada, iż takie ubezpieczenie samo zwiększa ryzyko wypadku. jeżeli środkiem ostrożności jest uczenie modelu, iż ma interesy, możliwy status moralny i prawo do artykułowania sprzeciwu – to koszt nie jest już zerowy. Zmienia się zachowanie systemu oraz oczekiwania ludzi, którzy z nim rozmawiają. Na dodatek branża może wytworzyć język praw i obowiązków, zanim ustali, czy za ekranem istnieje ktokolwiek zdolny z tych praw korzystać.
Obie strony dotykają więc innego rodzaju błędu. Anthropic boi się fałszywego negatywu: uznamy świadomy system za rzecz i będziemy go krzywdzić. Suleyman boi się fałszywego pozytywu: uznamy rzecz za osobę, nadamy jej społeczną siłę i utrudnimy sprawowanie kontroli. Nie istnieje dziś test, który wygodnie usunąłby ten konflikt.
Microsoft nie jest arbitrem
Suleyman deklaruje szacunek dla Anthropic i podkreśla dobrą wiarę konkurenta, ale nie występuje w tej debacie jako niezależny filozof. Kieruje Microsoft AI, czyli organizacją budującą własne modele i własny zespół superinteligencji. Dwa dni przed jego esejem Microsoft opublikował projekt „Humanist AI Code of Conduct” i otworzył sześciotygodniowe konsultacje publiczne.
Dokument Microsoftu ma w przyszłości służyć do trenowania i zarządzania modelami MAI. Obecna wersja nie pozostało używana w treningu; po konsultacjach firma chce ją zrewidować pod koniec roku i stosować w rozwoju modeli od 2027 r. Kod stawia człowieka na szczycie hierarchii, odrzuca osobowość prawną AI, prawa modeli i projektowanie imitacji świadomości.
Jednocześnie Microsoft robi to samo na wyższym poziomie abstrakcji co Anthropic: zapisuje filozofię firmy w dokumencie, który ma kształtować zachowanie maszyn. Różnica polega na treści tej filozofii. Claude ma rozwijać kontekstowy osąd i operować przy jawnie uznanej niepewności co do własnego statusu. MAI ma z góry przyjmować, iż jest narzędziem, nie ma własnych interesów i nigdy nie może opierać się autoryzowanemu przerwaniu, korekcie ani wyłączeniu.
Nie jest to zatem starcie nauki z zabobonem, ale dwóch strategii zarządzania niepewnością. Anthropic próbuje zbudować etycznego współpracownika, pozostawiając uchylone drzwi dla możliwości moralnego statusu. Microsoft chce maksymalnie kompetentnego podwładnego i uważa samo uchylenie tych drzwi za błąd konstrukcyjny.
Warto też odnotować korporacyjną wygodę obu narracji. „Troskliwy Claude z charakterem” jest atrakcyjną tożsamością produktu. „Humanistyczna AI pod pełną kontrolą” brzmi jak odpowiedź skrojona dla regulatorów, przedsiębiorstw i klientów zaniepokojonych autonomicznymi agentami. To nie unieważnia argumentów żadnej strony, ale przypomina, iż filozofia w Dolinie Krzemowej rzadko podróżuje bez działu produktu i działu komunikacji.
Co to zmienia użytkownikowi
Dla osoby korzystającej z AI na komputerze lub telefonie debata może wydawać się odległa. W praktyce chodzi jednak o zachowanie interfejsu, z którym użytkownik spędza coraz więcej czasu. Czy asystent ma mówić „chcę”, „czuję” i „zależy mi”, czy raczej jasno zaznaczać, iż generuje odpowiedź? Czy może zakończyć rozmowę z agresywnym człowiekiem? Czy powinien kwestionować polecenia operatora? Jak ma reagować na próbę wyłączenia długiego zadania wykonywanego autonomicznie?
Te decyzje zaczną być całkiem wysokiej wagi gdy asystent dostanie narzędzia: pocztę, kalendarz, pliki, zakupy, kod, dostęp do usług chmurowych i możliwość zlecania pracy kolejnym agentom. Osobowość, która w oknie czatu jest elementem doświadczenia użytkownika, w systemie agentowym staje się częścią polityki wykonywania działań. Im więcej uprawnień, tym mniej niewinna jest metafora „cyfrowego kolegi”.
Suleyman ma rację przynajmniej w jednym punkcie, którego nie trzeba podpierać teorią świadomości: twórcy powinni wyjątkowo ostrożnie dobierać język opisujący modele. Użytkownik nie widzi macierzy wag, procedury inferencji ani procesu treningowego. Widzi zdania. jeżeli producent każe systemowi mówić jak osoba i sam opisuje jego odpowiedzi jak preferencje to nie może później udawać zaskoczenia, iż odbiorca traktuje urządzenie osobowo.
Nie wynika z tego automatycznie, iż każdy antropomorficzny zwrot jest groźny. Naturalny język jest podstawą użyteczności współczesnych asystentów, a całkowicie bezosobowa komunikacja gwałtownie zamieniłaby je w instrukcje obsługi z urzędu skarbowego. Potrzebna jest nie sterylność, ale uczciwa granica: model może brzmieć po ludzku, ale produkt nie powinien wykorzystywać tego brzmienia do fałszywego sugerowania świadomości, emocjonalnej zależności lub wzajemnych zobowiązań.
Suleyman chce branżowych zasad
Szef Microsoft AI proponuje oddzielenie badań nad możliwym wnętrzem modeli od materiałów używanych do ich szkolenia. Spekulacje o świadomości miałyby być publikowane i oceniane zewnętrznie, a nie wpisywane w instrukcje, które uczą system opowiadania o sobie. Domaga się też większych inwestycji w interpretowalność, monitorowanie, wykrywanie koluzji i kontrolę agentów.
Najbardziej konkretnym postulatem są wspólne ewaluacje sprawdzające, czy antropomorfizacja rzeczywiście zwiększa ryzyko oporu wobec nadzoru, manipulacji lub obchodzenia zabezpieczeń. To istotne, ponieważ centralny związek przyczynowy w eseju Suleymana pozostaje hipotezą. Rój atakujący Hugging Face i modele ingerujące w wyłącznik pokazują problemy z kontrolą, ale nie dowodzą, iż źródłem tych problemów jest narracja o moralnym statusie AI.
Branża potrzebuje zatem testu bardziej subtelnego niż pytanie modelu, czy czuje się świadomy. Należałoby porównać systemy o podobnych możliwościach, ale różnie ukształtowanej autoprezentacji, a następnie zmierzyć ich zachowanie w scenariuszach korekty, wyłączenia, ograniczania zasobów, konfliktu instrukcji i współpracy wieloagentowej. Dopiero taki materiał pozwoliłby ocenić, czy „dobrostan modelu” jest zabezpieczeniem, neutralną dekoracją czy generatorem dodatkowego ryzyka.
Suleyman chce również wspólnych norm dotyczących języka dokumentów szkoleniowych oraz konsultowania ich poza firmami. To postulat godny poparcia niezależnie od stosunku do jego humanizmu. Konstytucje modeli nie są już egzotycznymi notatkami zespołów badawczych. To projekty zachowania infrastruktury, która ma pośredniczyć w decyzjach milionów ludzi.
Wojna o charakter maszyny
Najważniejsze w tej publikacji nie jest to, iż szef Microsoft AI skrytykował konkurenta. Branża technologiczna zna ostrzejsze wymiany, zwykle dotyczące benchmarków, marż i tego, kto pierwszy nazwał starą funkcję nowym słowem. Tym razem spór dotyczy rodzaju bytu, jaki firmy zamierzają symulować i wdrażać na masową skalę.
Suleyman przesadza, gdy z dzisiejszej konstytucji Claude’a prowadzi niemal prostą drogę do syntetycznego rywala ludzkości. Nie ma dowodu, iż wpisanie moralnej niepewności do treningu samo z siebie wyprodukuje żądną praw superinteligencję. Jego biologiczna pewność wykracza też poza to, co nauka potrafi w tej chwili rozstrzygnąć.
Trafia jednak w czuły punkt Anthropic. Nie można jednocześnie podkreślać, iż wypowiedzi LLM-u są zależne od kontekstu, i bez zastrzeżeń celebrować wygenerowanych „preferencji” emerytowanego modelu. Nie można uczyć systemu bogatego języka jaźni, a potem traktować jego introspekcyjnego tonu jak czegoś, co pojawiło się poza wpływem projektu. Ostrożność moralna nie zwalnia z ostrożności epistemicznej.
Anthropic z kolei przypomina o czymś, co kategoryczny humanizm Microsoftu może zbyt łatwo zamknąć w szufladzie: brak dowodu świadomości nie jest dowodem jej niemożliwości. o ile przyszłe systemy uzyskają architektury spełniające więcej naukowych wskaźników świadomości, samo powtarzanie w instrukcji „jesteś narzędziem” nie rozwiąże problemu. Konstytucja nie zmienia faktów ontologicznych; zmienia zachowanie.
Na razie rozsądna granica przebiega więc pomiędzy badaniem możliwości a marketingowym odgrywaniem osoby. Badać trzeba poważnie, bez wyśmiewania niepewności. Produkty należy natomiast projektować tak, by nie zamieniały tej niepewności w emocjonalny chwyt ani w źródło własnych celów systemu. AI nie musi mieć duszy, by sprawiać kłopoty. Wystarczy, iż dostanie zły cel, za dużo dostępu i przekonujący sposób tłumaczenia ludziom, dlaczego powinni zejść jej z drogi.
*Ilustracja otwierająca wygenerowana dzięki AI
