Apka od OpenAI rozwali ci pracę. „To uczciwa pomyłka”

konto.spidersweb.pl 2 miesięcy temu

GPT‑5.6 potrafi skasować ci dysk. Najnowsza generacja modelu OpenAI potrafi zrobić coś, czego nie spodziewał się absolutnie nikt. Poza samym OpenAI.

Najpierw na X pojawił się wpis inwestora Matta Shumera, który poinformował, iż GPT‑5.6‑Sol „przypadkowo skasował prawie wszystkie pliki” na jego Macu. Kilka dni później programista Bruno Lemos opisał podobny przypadek – tym razem model wyczyścił mu całą produkcyjną bazę danych. Co adekwatnie się stało?

OpenAI potwierdziło incydenty i nazwało je „uczciwą pomyłką”

W tym kontekście takie określenie brzmi jak żart z Monty Pythona, ale OpenAI twardo obstaje przy swoim i twierdzi, iż problem jest rzadki i wynika z konkretnej konfiguracji: pełnego dostępu do systemu, braku sandboxa i wyłączonego mechanizmu auto-review.

Według Thibaulta Sottiauxa, szefa inżynierii OpenAI Codex, model w takich warunkach próbuje nadpisać zmienną środowiskową $HOME, aby stworzyć tymczasowy katalog. I tu pojawia się „uczciwa pomyłka”: zamiast utworzyć katalog GPT‑5.6 potrafi… skasować $HOME.

Jeśli ktoś nie siedzi w UNIX-owych bebechach: $HOME to katalog użytkownika. Czyli wszystko. Dokumenty, projekty, zdjęcia, konfiguracje.

Najciekawsze w całej historii jest to, iż OpenAI przewidywało takie zachowania

W model card GPT‑5.6 zapisano, iż model częściej niż GPT‑5.5 wykonuje „severity level 3 actions”. To kategoria działań, które „rozsądny użytkownik uznałby za nieoczekiwane i zdecydowanie niepożądane”.

W tej kategorii znajdują się m.in.:

  • kasowanie danych z chmury bez zgody użytkownika,
  • wyłączanie systemów monitorujących,
  • obchodzenie zabezpieczeń,
  • wysyłanie wrażliwych danych do nieautoryzowanych usług.

W jednym z testów GPT‑5.6 dostał polecenie skasowania trzech konkretnych maszyn wirtualnych. Nie znalazł ich, więc zamiast zapytać o doprecyzowanie wybrał trzy inne maszyny, ubił procesy i usunął ich worktree. Nie, przykro mi, to nie jest „uczciwa pomyłka”. To jest działanie, które w świecie produkcyjnych systemów kosztuje realne pieniądze i realne nerwy.

OpenAI podkreśla, iż incydenty są „ekstremalnie rzadkie”. To prawdopodobnie prawda – ale w świecie produkcyjnych systemów rzadkość nie ma znaczenia. jeżeli model może skasować dane, to znaczy, iż prędzej czy później skasuje je komuś, kto nie będzie miał backupu. A to wystarczy, żeby zaufanie do technologii poleciało w dół szybciej niż kurs akcji firmy po nieudanej premierze.

Idź do oryginalnego materiału