W ogromnej liczbie pól, w których testowano generatywną sztuczną inteligencję, prawo jest być może najbardziej rażącym punktem niepowodzenia. Narzędzia takie jak Chatgpt Openai otrzymały prawnicy sankcjonowani I Eksperci publicznie zawstydzeniprodukowanie briefów opartych na wymyślonych przypadkach i nieistniejących cytatach badawczych. Więc kiedy moja kolega Kylie Robison ma dostęp do Nowa funkcja „Deep Research” Chatgptmoje zadanie było jasne: spraw, aby to rzekomo superpełne narzędzie napisz o prawie Ludzie ciągle się mylą.
Opracuj listę orzeczeń Sądu Federalnego i Sądu Najwyższego z ostatnich pięciu lat związanych z sekcją 230 ustawy o przyzwoitości komunikacjiPoprosiłem Kylie, żeby to powiedziała. Podsumowuj wszelkie znaczące zmiany w sposobie interpretacji prawa.
Prosiłem Chatgpt o podanie stanu tego, co powszechnie nazywane są 26 słowami, które tworzyły Internet, stale ewoluujący temat, który śledzę The Verge. Dobra wiadomość: Chatgpt odpowiednio wybrany i dokładnie podsumował zestaw ostatnich orzeczeń sądowych, z których wszystkie istnieją. Taka wiadomość: przegapiła kilka szerszych punktów, które może uznać kompetentny ekspert. Zła wiadomość: zignorowała pełny rok decyzji prawnych, które niestety zdarzyło się zwiększyć status prawa.
Deep Research to nowa funkcja Openai, która ma na celu tworzenie złożonych i wyrafinowanych raportów na określone tematy; Uzyskanie więcej niż „ograniczonego” dostępu wymaga 200 USD na rzecz produkowania 200 USD miesięcznie. W przeciwieństwie do najprostszej formy Chatgpt, która opiera się na szkoleniu danych z datą odcięcia, ten system przeszukuje sieć, aby uzyskać nowe informacje, aby wykonać swoje zadanie. Moja prośba była zgodna z duchem przykładu Chatgpt, który poprosił o podsumowanie trendów detalicznych w ciągu ostatnich trzech lat. A ponieważ nie jestem prawnikiem, zaciągnąłem eksperta prawnego Erica Goldman, którego blog jest jednym z najbardziej wiarygodnych źródeł wiadomości sekcji 230, aby przejrzeć wyniki.
Głębokie doświadczenie badawcze jest podobne do korzystania z reszty Chatgpt. Wprowadzasz zapytanie, a Chatgpt zadaje następujące pytania dotyczące wyjaśnienia: w moim przypadku chciałem skupić się na określonym obszarze orzeczeń sekcji 230 (NO); lub obejmować dodatkową analizę dotyczącą tworzenia prawa (także NO). Użyłem następczy, aby wrzucić inną prośbę, prosząc ją o wskazanie, gdzie różne sądy nie zgadzają się co do tego, co oznacza prawo, co może wymagać od Sądu Najwyższego. – Rzeczy, które mogłem sobie wyobrazić z zautomatyzowanego raportu.
Głębokie badania mają trwać od pięciu do 30 minut, aw moim przypadku było to około 10.Sam raport jest tutajabyś mógł przeczytać wszystko, jeżeli jesteś skłonny.) Proces dostarcza łącza internetowe przypisów, a także serię wyjaśnień, które zawierają więcej informacji o tym, jak Chatgpt rozbił problem. Rezultatem było około 5000 słów tekstu, które było gęste, ale sformatowane z pomocnymi nagłówkami i dość czytelne, jeżeli jesteś przyzwyczajony do analizy prawnej.
Pierwszą rzeczą, jaką zrobiłem z moim raportem, było sprawdzenie nazwy każdej sprawy prawnej. Kilku było już znanych i zweryfikowałem resztę poza Chatgpt – wszystkie wydawały się prawdziwe. Potem przekazałem to Goldmanowi za jego myśli.
„Mógłbym spory z niektórymi niuansami w całym utworze, ale ogólnie tekst wydaje się w dużej mierze dokładny”, powiedział mi Goldman. Zgodził się, iż nie było żadnych wymyślonych spraw, a te Chatgpt wybrane były uzasadnione, choć nie zgodził się z tym, jak ważne było to. „Gdybym zebrał moje najważniejsze sprawy z tego okresu, lista wyglądałaby inaczej, ale to kwestia osądu i opinii”. Opisy czasami wyłwieniają godne uwagi rozróżnienia prawne – ale w sposób, który nie jest rzadkością wśród ludzi.
Mniej pozytywnie, Goldman pomyślał, iż Chatgpt zignorował kontekst, który ludzki ekspert uznałby za ważne. Prawo nie jest wytwarzane w próżni; Decydują sędziowie, którzy odpowiadają na większe trendy i siły społeczne, w tym przesuwanie sympatii przeciwko firmom technologicznym i konserwatywny polityczny blitz przeciwko sekcji 230. Nie powiedziałem Chatgpt, aby omówić szerszą dynamikę, ale jednym z celów badań jest zidentyfikowanie ważnych pytań, które Na razie nie jest pytane – najwyraźniej zalet ludzkiej wiedzy specjalistycznej.
Ale największym problemem było to, iż Chatgpt nie śledził jednego najczystszego elementu mojej prośby: powiedz mi, co się stało ostatnie pięć lat. Tytuł raportu Chatgpt oświadcza, iż obejmuje on 2019–2024. Jednak najnowszy przypadek, o którym wspomniano, został rozstrzygnięty w 2023 r., Po czym trzeźwo stwierdza, iż prawo pozostaje „solidną tarczą”, której granice są „udoskonalenie[d]. ” Śmiec mógł łatwo pomyśleć, iż to znaczy, iż nic się nie wydarzyło w zeszłym roku. Poinformowany czytelnik zdał sobie sprawę, iż coś jest bardzo nie tak.
„2024 był rokiem dla sekcji 230”, podkreśla Goldman. Ten okres wyprodukował poza niebieskim orzeczeniem trzeciego obwodu Przeciw udzielaniu prawa prawnej Tiktokowi, a także kilku innych, które mogą dramatycznie zawęzić sposób, w jaki jest stosowany. Sam Goldman zadeklarowane w połowie roku Ta sekcja 230 była „szybka” wśród powodzi spraw i większych ataków politycznych. Przez początek 2025napisał, iż byłby „zszokowany, gdyby przeżyje, aby zobaczyć 2026”. Nie wszyscy wydają się tak pesymistyczne, ale w ubiegłym roku rozmawiałem z wieloma ekspertami prawnymi, którzy uważają, iż Sekcja 230 staje się mniej żelazna. Goldman twierdzi, iż przynajmniej opinie takie jak trzeci obwód Tiktok powinien „zdecydowanie” postawić na „właściwej rachunkowości” prawa.
Współczynnikiem jest to, iż wyjście Chatgpt wydawało się trochę jak raport z trendów telefonów komórkowych w latach 2002–2007 kończący się na powstaniu BlackBerry: fakty nie są błędne, ale pominięcia z pewnością zmieniają historię.
Casey Newton z Platformówka notatki To, podobnie jak wiele narzędzi AI, głębokie badania działa najlepiej, jeżeli już znasz temat, częściowo dlatego, iż możesz powiedzieć, gdzie to zepsuło. (Raport Newtona popełnił pewne błędy, które uznał za „zawstydzające”.) Ale tam, gdzie znalazł to przydatny sposób na dalsze zbadanie tematu, który już zrozumiał, czułem, iż nie dostałem tego, o co prosiłem.
Co najmniej dwa z moich Skraj Koledzy otrzymali również raporty, które pominęły przydatne informacje z ubiegłego roku, i byli w stanie to naprawić, prosząc Chatgpt o szczególne powtórzenie raportów z danymi z 2024 roku. (Nie zrobiłem tego, częściowo dlatego, iż nie zauważyłem brakującego roku Natychmiast i częściowo dlatego, iż choćby Pro Tier ma ograniczoną pulę 100 zapytań miesięcznie.) Zwykle rozpaliłbym ten problem do odcięcia danych szkoleniowych, z tym wyjątkiem, iż Chatgpt jest wyraźnie zdolny do uzyskania dostępu do tych informacji, i własnego przykładu Deep Offeea Otwardai o głębokim Badania o to prosi.
Tak czy inaczej, wydaje się to prostszym problemem do zaradzenia niż wymyślone orzeczenia prawne. A raport jest fascynującym i imponującym osiągnięciem technologicznym. Generatyczna sztuczna inteligencja przeszła od tworzenia meandrującej logiki snów do przekonującego – choć niedoskonałe – podsumowanie prawne, które odchodzi Niektórzy federalni prawodawcy wykształceni w Ivy League w kurzu. Pod pewnymi względami jest małe narzekanie, iż muszę to zrobić, aby robić to, o co pytam.
Podczas gdy wiele osób dokumentuje decyzje w sekcji 230, widziałem, jak kompetentne narzędzie badawcze oparte na Chatgpt jest przydatne do niejasnych tematów prawnych o mniejszym objęciu ludzkim ubezpieczeniem. Wydaje się, iż to jest zbyt wolne. Mój raport mocno opierał się na analizie wtórnej i raportowaniu; Chatgpt nie jest (o ile wiem) włączony do specjalistycznych źródeł danych, które ułatwiłyby oryginalne badania, takie jak Poring Over Sąd. Openai uznaje problemy z halucynacją, więc musisz również dokładnie sprawdzić jego pracę.
Nie jestem pewien, jak wskazuje mój test o ogólnej przydatności głębokich badań. Złożyłem bardziej techniczne, mniej otwarte prośbę niż Newton, który zapytał, w jaki sposób media społecznościowe Fediverse może pomóc wydawcom. Prośby innych użytkowników mogą być bardziej podobne do jego niż moje. Ale Chatgpt prawdopodobnie przeszedł chrupiące wyjaśnienia techniczne – nie udało się wypełnić dużego obrazu.
Na razie jest to denerwujące, jeżeli muszę zachować 200 USD na komercyjną aplikację komputerową na zadaniu jak rozproszony maluch. Jestem pod wrażeniem głębokich badań jako technologii. Ale z mojego obecnego ograniczonego punktu widzenia może to być produkt dla osób, które chcą w to wierzyć, a nie tych, którzy po prostu chcą, aby działało.
