11 Wad ChatGPT Treści

Najważniejsze informacje

• Dlaczego treści o niskiej jakości z ChatGPT są uznawane przez ludzi.
• ChatGPT jest szczegółowe nawet wtedy, gdy powinno być zwięzłe.
• Profesor wskazuje wadę, która niszczy esej wygenerowany przez ChatGPT.
• ChatGPT obija się na egzaminie z wykrywania androidów Voight-Kampff i zaskakujący powód, dla którego to ma znaczenie.

ChatGPT produkuje treści, które są wyczerpujące i wiarygodne.

Jednak badacze, artyści i profesorowie ostrzegają przed niedoskonałościami, o których należy pamiętać, gdyż pogarszają one jakość treści.

W tym artykule przyjrzymy się 11 wadom treści ChatGPT. Zapraszam.

1. Zastosowanie Frazy Powoduje Wykrycie Jako Nienaturalne dla Ludzi

Badacze badający jak wykryć treści wygenerowane przez maszyny odkryli wzorce, które sprawiają, że brzmi ona sztucznie.

Jedną z tych dziwacznych cech jest to, jak sztuczna inteligencja ma problemy ze zrozumieniem idiomów.

Idiom to zwrot lub powiedzenie z przenośnym znaczeniem, na przykład "nieszczęścia chodzą parami".

Brak idiomów w treści może być sygnałem, że treść została wygenerowana przez maszynę, co może stanowić część algorytmu wykrywania.

To jest to, co mówi badanie Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers z 2022 roku na temat tej dziwaczności w generowanym przez maszyny treści:

"Złożone cechy frazowe opierają się na częstotliwości określonych słów i zwrotów występujących w analizowanym tekście, które pojawiają się częściej w ludzkim tekście."

...Spośród tych złożonych cech fraz, cechy idiomów zachowują najwięcej mocy przewidywania w wykrywaniu bieżących modeli generatywnych."

To niezdolność do używania wyrażeń przysłówkowych przyczynia się do tego, że wynik ChatGPT brzmi i czyta się nienaturalnie.

2. ChatGPT nie ma możliwości wyrażania siebie

Jeden artysta skomentował, że wynik działania ChatGPT udaje sztukę, ale brakuje mu faktycznych cech artystycznego wyrazu.

Wyrażenie jest aktem komunikowania myśli lub uczuć.

Wyjście ChatGPT nie zawiera wyrażeń, tylko słowa.

Nie jest w stanie produkować treści, które dotykają ludzi emocjonalnie na tym samym poziomie co człowiek - ponieważ nie ma rzeczywistych myśli ani uczuć.

Muzyczny artysta Nick Cave w artykule opublikowanym w swoim biuletynie Red Hand Files skomentował tekst piosenki ChatGPT, który do niego został wysłany i utworzony został w stylu Nicka Cave'a.

Nowoczesne narzędzia do przetwarzania treści z wykorzystaniem sztucznej inteligencji
Przyjmij najnowsze technologie, zanim zrobią to Twoi konkurenci. Twórz dobrze zoptymalizowane i skierowane treści, które przynoszą efekty trzy razy szybciej.

Napisał:

"To, co czyni z wielkiej piosenki wielką, to nie jej bliskie podobieństwo do rozpoznawalnego dzieła."

...to jest zadyszka konfrontacji z własną wrażliwością, zagrożeniem, swoją małością, stojącą w opozycji do poczucia nagłego szokującego odkrycia; to jest odkupieńczy artystyczny akt, który porusza serce słuchacza, gdzie słuchacz rozpoznaje we wewnętrznych mechanizmach piosenki swoją własną krew, swoją własną walkę, swoje własne cierpienie."

Jaskinia nazwała teksty piosenek ChatGPT kpiną.

Oto ChatGPT tekst przypominający tekst Nick Cave'a:

"Mam krew aniołów na rękach
Mam ogień piekła w oczach
Jestem królem otchłani, władcą ciemności
Jestem tym, którego się boją, w cieniu nasłuchują"

A to jest prawdziwy tekst piosenki Nicka Cave'a (Brother, My Cup Is Empty):

"Cóż, zjeżdżałem na tęczy
Wisiłem na gwiazdach
A teraz ten nędzarz ubrany w łachmany
Stuka swoim kubkiem o kraty
Patrz, mój kubek jest pusty!
Wygląda na to, że zgubiłem swoje pragnienia
Wygląda na to, że sprzątam popioły
Z wszystkich moich dawniejszych ognisk"

Łatwo zauważyć, że maszynowo generowany tekst piosenki przypomina tekst piosenki artysty, ale tak naprawdę nie przekazuje niczego.

Teksty Nicka Cave’a opowiadają historię, która rezonuje z patosem, pragnieniem, wstydem i obłudą osoby mówiącej w piosence. Wyrażają myśli i uczucia.

Łatwo zrozumieć, dlaczego Nick Cave nazywa to kpina.

3. ChatGPT nie dostarcza wniosków

Artykuł opublikowany w Insiderze cytował akademika, który zauważył, że prace naukowe wygenerowane przez ChatGPT brakują wglądu na temat.

ChatGPT podsumowuje temat, ale nie oferuje unikalnego spojrzenia na temat.

Ludzie tworzą poprzez wiedzę, ale także za pomocą swojego osobistego doświadczenia i subiektywnych postrzeganiu.

Profesor Christopher Bartel z Appalachian State University jest cytowany przez The Insider, mówiąc, że choć esej z ChatGPT może wykazywać wysoką jakość gramatyki i zaawansowane pomysły, to wciąż brakuje mu wglądu.

Bartel powiedział:

"Są naprawdę puchate. Nie ma kontekstu, nie ma głębi ani wglądu."

Wnikliwość jest znakiem rozpoznawczym dobrze napisanego eseju, czego ChatGPT nie posiada w szczególności.

To brak wglądu jest czymś, co należy mieć na uwadze, oceniając treści generowane przez maszyny.

4. ChatGPT mówi za dużo

Badania naukowe opublikowane w styczniu 2023 odkryły wzorce w treści ChatGPT, które czynią go mniej odpowiednim dla krytycznych zastosowań.

Tytuł artykułu brzmi: Jak blisko ChatGPT jest do ludzkich ekspertów? Porównanie korpusu, ocena i wykrywanie.

Badania wykazały, że ludzie preferowali odpowiedzi od ChatGPT w ponad 50% zadań dotyczących finansów i psychologii.

Jednak ChatGPT zawiodło w udzielaniu odpowiedzi na pytania medyczne, ponieważ ludzie woleli bezpośrednie odpowiedzi - czego AI nie dostarczało.

Badacze napisali:

"...ChatGPT słabo radzi sobie z udzielaniem pomocy w dziedzinie medycznej zarówno w języku angielskim, jak i chińskim."

W naszym zebranym zestawie danych ChatGPT często udziela wyczerpujących odpowiedzi na problemy medyczne, podczas gdy ludzcy eksperci mogą udzielić bezpośrednio prostych odpowiedzi lub sugestii, co może częściowo wyjaśniać, dlaczego wolontariusze uważają, że ludzkie odpowiedzi są bardziej pomocne w domenie medycznej. "

ChatGPT stara się pokryć temat z różnych stron, co czyni go nieodpowiednim, gdy najlepszą odpowiedzią jest bezpośrednia.

Marketerzy korzystający z ChatGPT muszą zwrócić uwagę na to, ponieważ odwiedzający stronę wymagający bezpośredniej odpowiedzi nie będą zadowoleni z rozwlekłej strony internetowej.

I powodzenia w zdobywaniu wysokiej pozycji w rekomendowanych fragmentach Google'a za pomocą stron z nadmiarem słów, gdzie zwięzła i jasno wyrażona odpowiedź, która dobrze działa w Google Voice, może mieć większą szansę na wyświetlenie się niż rozwlekła odpowiedź.

OpenAI, twórcy ChatGPT, uznają, że udzielanie rozwlekłych odpowiedzi jest znanym ograniczeniem.

Artykuł ogłoszeniowy OpenAI brzmi:

"Model często jest nadmiernie rozwlekły..."

Skłonność ChatGPT do udzielania rozwlekłych odpowiedzi to cecha, o której warto pamiętać korzystając z wyników ChatGPT, gdyż możesz spotkać się z sytuacjami, w których krótsze i bardziej bezpośrednie odpowiedzi są lepsze.

5. Treść ChatGPT jest wysoce zorganizowana z jasną logiką

ChatGPT ma styl pisania, który nie tylko jest rozwlekły, ale także skłania do stosowania szablonu, który nadaje treści unikalny styl, który nie jest ludzki.

Ta nieludzka jakość ujawnia się w różnicach między tym, jak ludzie i maszyny odpowiadają na pytania.

Film Blade Runner posiada scenę, w której zadawane są pytania mające na celu ujawnienie, czy osoba odpowiadająca na pytania jest człowiekiem, czy androidem.

Te pytania były częścią fikcyjnego testu o nazwie "test Voigt-Kampff".

Jedno z pytań brzmi:

"Oglądasz telewizję. Nagle zdałeś sobie sprawę, że na twoim ramieniu pełza osa. Co robisz?"

Normalną ludzką reakcją byłoby powiedzieć coś w stylu krzyku, wyjść na zewnątrz i je przegonić itd.

Ale kiedy zadałam to pytanie ChatGPTowi, zaoferował starannie zorganizowaną odpowiedź, która podsumowała pytanie, a następnie zaproponowała logiczne możliwe wyniki, nie odpowiadając faktycznie na samo pytanie.

Zrzut ekranu z ChatGPT odpowiadającego na pytanie testu Voight-Kampff

Odpowiedź jest bardzo zorganizowana i logiczna, co nadaje jej bardzo sztuczny, niepożądany charakter.

6. ChatGPT jest nadmiernie szczegółowy i wszechstronny

ChatGPT został przeszkolony w taki sposób, aby nagradzać maszynę, gdy ludzie byli zadowoleni z odpowiedzi.

Ludzcy raterzy zwykle preferują odpowiedzi, które zawierają więcej szczegółów.

Ale czasami, na przykład w kontekście medycznym, lepsza jest bezpośrednia odpowiedź niż wyczerpująca.

To oznacza, że ​​maszyna musi zostać skłoniona do mniej szczegółowego i bardziej bezpośredniego działania w przypadku, gdy te cechy są ważne.

Z OpenAI:

"Te problemy wynikają z uprzedzeń w danych treningowych (trenerzy preferują dłuższe odpowiedzi, które wyglądają bardziej kompleksowo), a także dobrze znanych problemów nadmiernej optymalizacji."

7. ChatGPT kłamie (Halucynuje Fakty)

Wymieniony powyżej artykuł badawczy, Jak bardzo ChatGPT zbliża się do ekspertów ludzkich?, zauważył, że ChatGPT ma skłonność do kłamania.

Ono raportuje:

"Podczas udzielania odpowiedzi na pytanie wymagające wiedzy specjalistycznej z określonej dziedziny, ChatGPT może wytworzyć fakty w celu udzielenia odpowiedzi...

Na przykład, w przypadku pytań prawnych, ChatGPT może wynaleźć nieistniejące przepisy prawne, aby odpowiedzieć na pytanie.

…Dodatkowo, gdy użytkownik zada pytanie, na które nie istnieje odpowiedź, ChatGPT może również wymyślić fakty, aby udzielić odpowiedzi.

Portal Futurism udokumentował przypadki, w których publikowana na CNET maszynowa treść była błędna i pełna "głupich błędów".

CNET powinno było mieć pomysł, że coś takiego może się zdarzyć, ponieważ OpenAI opublikowało ostrzeżenie o niepoprawnym wyjściu:

"ChatGPT czasami pisze odpowiedzi, które brzmią prawdopodobnie, ale są niepoprawne lub bezsensowne."

CNET twierdzi, że przed publikacją przesyła generowane przez maszyny artykuły do recenzji ludzkiej.

Problem z ludzką oceną polega na tym, że treść ChatGPT jest zaprojektowana tak, aby brzmiała przekonywująco poprawnie, co może oszukać recenzenta, który nie jest ekspertem w danej tematyce.

8. ChatGPT jest nienaturalny, ponieważ nie jest rozbieżny

Badanie naukowe "Jak blisko ChatGPT jest do ekspertów ludzkich?" zauważyło również, że ludzka komunikacja może mieć pośrednie znaczenie, co wymaga zmiany tematu, aby ją zrozumieć.

ChatGPT jest zbyt dosłowny, co powoduje, że odpowiedzi czasami nie trafiają w sedno, ponieważ sztuczna inteligencja pomija właściwy temat.

Naukowcy napisali:

"Odpowiedzi ChatGPT są zwykle ściśle skoncentrowane na zadanej pytaniu, podczas gdy ludzkie odpowiedzi są rozbieżne i łatwo przeskakują na inne tematy."

Pod względem bogactwa treści ludzie różnią się od siebie w różnych aspektach, podczas gdy ChatGPT skupia się bardziej na samym pytaniu.

Ludzie potrafią odczytywać ukryte znaczenie pytania na podstawie własnego logicznego myślenia i wiedzy, ale ChatGPT opiera się na dosłownych słowach zadawanych pytań…”

Ludzie są lepiej w stanie odstąpić od dosłownego pytania, co jest ważne przy odpowiadaniu na pytania typu "a co z".

Na przykład, jeśli zapytam:

"Konie są zbyt duże, aby być zwierzęciem domowym. A co z szopami?"

Pytanie powyżej nie pyta, czy szop pracz jest odpowiednim zwierzakiem domowym. Pytanie dotyczy wielkości zwierzęcia.

ChatGPT skupia się na odpowiedniości szopa pracza jako zwierzęcia domowego zamiast skupiać się na wielkości.

Zrzut ekranu bardzo dosłownej odpowiedzi ChatGPT

9. ChatGPT jest neutralny i nie faworyzuje stron

Rezultat ChatGPT jest generalnie neutralny i informacyjny. Pochodzenie stronniczości w wynikach może wydawać się pomocne, ale nie zawsze.

Artykuł naukowy, o którym właśnie rozmawialiśmy, wskazuje, że neutralność jest niepożądaną cechą, jeśli chodzi o pytania prawne, medyczne i techniczne.

Ludzie tendencję mają do zajmowania stanowiska przy okazji wyrażania swoich opinii.

10. ChatGPT jest stronniczy w stronę formalności

Wyjście z ChatGPT ma uprzedzenie, które uniemożliwia swobodną odpowiedź przy użyciu zwyczajnych wyrażeń. Zamiast tego, odpowiedzi tendencją mają być formalne.

Z drugiej strony ludzie mają tendencję do odpowiadania na pytania w bardziej kolokwialnym stylu, używając codziennego języka i slangów - przeciwnego do formalnego.

ChatGPT nie używa skrótów takich jak GOAT lub TL;DR.

Odpowiedzi brak również przykładów ironii, metafor i humoru, co może sprawić, że treści ChatGPT są zbyt formalne dla niektórych typów treści.

Badacze piszą:

„...ChatGPT lubi używać spójników i przysłówków, aby przekazać logiczny przebieg myśli, takich jak „W ogólnym ujęciu”, „z drugiej strony”, „Po pierwsze,…, Po drugie,…, Wreszcie” itp.”

11. ChatGPT jest wciąż w fazie szkolenia

ChatGPT nadal jest w trakcie szkolenia i ulepszania.

OpenAI zaleca, aby cała treść wygenerowana przez ChatGPT była przeglądana przez człowieka, uznając to za najlepszą praktykę.

OpenAI sugeruje, aby ludzie pozostali w procesie:

"Tam, gdzie to jest możliwe, zalecamy, aby przed faktycznym użyciem zawsze dokonywać recenzji wyników przez człowieka."

To szczególnie krytyczne w dziedzinach o zdecydowanym nacisku na jakość oraz w przypadku generowania kodu.

Ludzie powinni zdawać sobie sprawę z ograniczeń systemu oraz mieć dostęp do wszelkich informacji potrzebnych do weryfikacji wyników (np. jeśli aplikacja streszcza notatki, człowiek powinien mieć łatwy dostęp do oryginalnych notatek, do których może się odnieść).

Niechciane cechy ChatGPT

Jest jasne, że istnieje wiele problemów z ChatGPT, które uniemożliwiają mu niezależną generację treści. Zawiera uprzedzenia i nie jest w stanie tworzyć treści, które wydają się naturalne lub zawierają szczere spostrzeżenia.

Ponadto, brak w nim zdolności do odczuwania lub tworzenia oryginalnych myśli czyni go słabym wyborem do generowania artystycznych wyrażeń.

Aby generować lepszą treść niż domyślna, użytkownicy powinni zastosować szczegółowe wskazówki.

Należy pamiętać, że ludzka rewizja zawartości wygenerowanej przez maszynę nie zawsze jest wystarczająca, ponieważ treść ChatGPT została zaprojektowana tak, aby wydawała się poprawna, nawet jeśli tak nie jest.

To oznacza, że ważne jest, aby recenzenci byli ekspertami w danej dziedzinie i potrafili odróżnić poprawną zawartość od niepoprawnej na danym temacie.