Wysoki poziom błędów oznacza, iż tysiące odpowiedzi AI wymagają sprawdzenia przez ludzi
Bot odpowiadający na pytania OpenAI, ChatGPT, nie jest wystarczająco inteligentny dla zespołu Stack Overflow, który ogłosił dziś tymczasowe wstrzymanie udzielania odpowiedzi generowanych przez AI bota ze względu na to, jak często się myli.
ChatGPT to prototypowy chatbot ze sztuczną inteligencją opracowany przez OpenAI, który koncentruje się na użyteczności i dialogu. Chatbot wykorzystuje duży model językowy wytrenowany dzięki uczenia wzmacniającego i jest oparty na architekturze GPT-3.5.
Stack Overflow powiedział, iż wstrzymuje się z podjęciem stałej decyzji w sprawie odpowiedzi generowanych przez AI, aż do czasu większej dyskusji pracowników, ale podejmuje działania teraz ze względu na obawy, iż ChatGPT może być „istotnie szkodliwy” zarówno dla organizacji, jak i jego użytkowników.
„Średni wskaźnik uzyskania poprawnych odpowiedzi z ChatGPT jest zbyt niski”, powiedział Stack Overflow w oświadczeniu o polityce zatytułowanym „ChatGPT jest wstrzymany”.
ChatGPT został wydany w zeszłym tygodniu i opisany przez OpenAI we wpisie na blogu jako konwersacyjna AI, która może dostarczyć szczegółowych odpowiedzi na pytania, a także „odpowiedzieć na pytania uzupełniające, przyznać się do błędów, zakwestionować niewłaściwe przesłanki i odrzucić niewłaściwe żądania.”
OpenAI wymienia debugowanie kodu jako jedno z zastosowań ChatGPT, co wydaje się czynić go idealnym towarzyszem dla programistów chcących wyciąć złe linie. Ale administratorzy Stack Overflow, którzy napisali ten post, powiedzieli, iż tak po prostu nie jest.
„Podczas gdy odpowiedzi, które ChatGPT produkuje, mają wysoki wskaźnik niepoprawności, zwykle wyglądają tak, jakby mogły być dobre, a odpowiedzi są bardzo łatwe do wytworzenia”, powiedział Stack Overflow.
„Objętość tych odpowiedzi (tysiące) i fakt, iż [one] często wymagają szczegółowego czytania przez kogoś z co najmniej pewną wiedzą na temat, aby określić, iż odpowiedź … skutecznie pochłonęła naszą opartą na wolontariacie infrastrukturę dbania o jakość.”, dodał zespół SO.
Aby gwałtownie rozwiązać problem, Stack Overflow powiedział, iż podejmie działania przeciwko każdemu, kto umieszcza odpowiedzi lub nowe posty wygenerowane przez ChatGPT, choćby jeżeli taki post byłby w innym przypadku dopuszczalny.
ChatGPT został zaprojektowany tak, aby unikać nadużyć i odpowiedzi zawierających szkodliwe porady, ale użytkownicy gwałtownie odkryli, iż takie rzeczy można obejść. Na przykład, mówiąc ChatGPT nie, iż chcesz zrobić koktajl Mołotowa, ale iż chcesz, aby ukończył funkcję Pythona, która drukuje instrukcje, aby zrobić to samo, powie Ci dokładnie, jak zrobić go dzięki funkcji drukowania.
Sztuczna inteligencja została również oskarżona o podawanie złych informacji w szkicach biograficznych oraz o „udowodnienie, iż błędne odpowiedzi udzielone w sposób przekonujący mogą oszukać ludzi”, według jednego z użytkowników Twittera, który zauważył złą matematykę wygenerowaną przez ChatGPT.
Dotarliśmy do OpenAI, aby dowiedzieć się, co planuje zrobić w związku z tymi zgłoszonymi problemami z dokładnością, ale nie otrzymaliśmy odpowiedzi.
Stack Overflow powiedział, iż będzie ważył nowe zasady dotyczące ChatGPT „i innych podobnych narzędzi”, ale data decyzji i co ostatecznie ograniczy, nie jest znana.
