Jak dokładna jest ChatGPT w generowaniu odpowiedzi?

ChatGPT, sztuczna inteligencja typu chatbot, rozwijana przez OpenAI, wzbudza zainteresowanie w różnych dziedzinach ze względu na swoją dokładność i wydajność. Należy jednak zauważyć, że jej wiedza jest ograniczona do danych dostępnych do roku 2021. Jednym z testów jej dokładności był egzamin MBA przeprowadzony przez profesora Christiana Terwiescha na Uniwersytecie Pensylwanii, który poddał ChatGPT testowi, dając mu egzamin MBA.

Egzamin składał się z siedmiu pytań dotyczących różnych koncepcji biznesowych, takich jak analiza procesu, obroty zapasów i analiza kolejek. Miał on na celu symulację rzeczywistego środowiska ludzkiego, a pytania brzmiały dokładnie tak, jakby były zadawane ludzkiemu studentowi. Na zaskoczenie profesora Terwiescha, ChatGPT rozpoczął egzamin z przytupem, otrzymując A+ za odpowiedź na pierwsze pytanie dotyczące koncepcji wąskiego gardła w analizie procesu.

Mimo że chatbot miał problemy z niektórymi bardziej skomplikowanymi pytaniami, profesor był pod wrażeniem jego ogólnej wydajności. Po przeprowadzeniu egzaminu MBA na ChatGPT, profesor Terwiesch stwierdził, że chatbot oparty na sztucznej inteligencji otrzymałby ocenę między B i B-.

Wyjaśnienie dokładności ChatGPT

Jeszcze jednym dowodem dokładności ChatGPT był obszar medyczny, gdzie chatbot potrafił zdać Egzamin Licencjacki z Medycyny w Stanach Zjednoczonych (USMLE). Według badań ChatGPT uzyskał ponad 50% trafności we wszystkich egzaminach i nawet oferował wglądy i wyjaśnienia do swoich odpowiedzi.

W oddzielnych badaniach przeprowadzonych przez lekarzy z medycznego start-upu Ansible Health, ChatGPT osiągnęło wynik zgodny lub zbliżony do prógów wymaganych do uzyskania licencji lekarskiej w Stanach Zjednoczonych. Chociaż dokładność ChatGPT jest na pewno niezwykła, należy pamiętać, że jego wyniki mogą się różnić w zależności od kontekstu i zadania.

Dane szkoleniowe wykorzystane do wytrenowania modelu obejmują uprzedzenia i ograniczenia użytych źródeł tekstu, dlatego ważne jest odpowiedzialne korzystanie z modelu.

Ten sentyment został podzielony przez CEO OpenAI, który stwierdził w tweecie, że "ChatGPT jest niezwykle ograniczony, i że "To błąd polegać na nim w jakiejkolwiek ważnej kwestii".

00:48

01:12

Testowa rozmowa z Chat GPT nie powiodła się

Jak pokazano na powyższym zrzucie ekranu, testowa rozmowa z ChatGPT ujawniła, że wydajność chatbota AI nie jest zawsze spójna.

Kiedy zapytano, ile razy Argentyna wygrała Puchar Świata FIFA, ChatGPT odpowiedział początkowo: "Argentyna wygrała Puchar Świata FIFA tylko raz, w 1986 roku". Jednakże, gdy zapytano: "Kto wygrał Puchar Świata FIFA w 1978 roku", ChatGPT odpowiedział, że "Argentyna wygrała Puchar Świata FIFA w 1978 roku".

To doprowadziło do wniosku, że Argentyna wygrała Mistrzostwa Świata dwa razy. Jednak gdy zadano pytanie ponownie, „Teraz ponownie pytam, ile razy Argentyna wygrała Mistrzostwa Świata?” ChatGPT udzielił tej samej odpowiedzi, „Argentyna wygrała Mistrzostwa Świata FIFA raz, w 1986 roku”, pomimo poprzedniej rozmowy.

To podkreśla precyzję Chat GPT i potrzebę ciągłego doskonalenia i dopracowywania.

CZYTAJ TERAZ: Czy Chat GPT potrafi pisać i naprawiać kod?

Czy ChatGPT udziela wszystkim takiej samej odpowiedzi?

Odpowiedzi od ChatGPT mogą się nieznacznie różnić, ale jeśli użytkownicy pytają o to samo pytanie, zwykle otrzymują bardzo podobne odpowiedzi.

Czy ChatGPT jest godny zaufania?

ChatGPT ma swoje ograniczenia, co oznacza, że czasami może dawać niedokładne lub fałszywe wyniki, więc bądź ostrożny.