Badacze z Microsoftu korzystają z ChatGPT do sterowania robotami i dronami

ChatGPT OpenAI nie tylko potrafi generować spójne odpowiedzi na naturalne językowe polecenia - może również odegrać rolę w interakcjach międzyludzkich z robotem i korzystać z informacji zwrotnych sensorów do pisania kodu dla działań robota.

Microsoft niedawno przeprowadził badania, aby "sprawdzić, czy ChatGPT może myśleć poza tekstem i rozumieć o świecie fizycznym, aby pomóc w zadaniach związanych z robotyką". Celem było sprawdzenie, czy ludzie mogą używać ChatGPT do instruowania robotów bez nauki języków programowania lub zrozumienia systemów robotycznych.

W Głębi: Ci eksperci ścigają się, aby chronić sztuczną inteligencję przed hakerami. Czas ucieka

"Głównym wyzwaniem jest nauczenie ChatGPT, jak rozwiązywać problemy z uwzględnieniem praw fizyki, kontekstu otoczenia, w jakim działa robot, oraz w jaki sposób fizyczne działania robota mogą zmienić stan świata" - zauważa zespół z Microsoft Autonomous Systems and Robotics Research w blogu.

Naukowcy z Microsoftu badali zdolności ChatGPT do generowania kodu, głównie w języku Python, dla scenariuszy robotyki, takich jak planowanie i generowanie kodu w zerowej fazie, po tym jak ChatGPT uzyskał dostęp do danych z detekcji obiektów i odległości obiektów za pomocą interfejsów aplikacji.

ChatGPT może generować kod, ponieważ został wytrenowany na dużych ilościach kodu i tekstu pisemnego. System okazał się zdolny do rozwiązywania problemów związanych z programowaniem oraz debugowania programów, z dodatkową unikalną zdolnością do odpowiadania na dialogi oraz poszukiwania wyjaśnień. Istnieje również model oparty na GPT-3 o nazwie Codex, którego używa serwis GitHub's Copilot do automatycznego uzupełniania kodu dla programistów w wielu językach.

Również: Czym jest ChatGPT? Oto wszystko co powinieneś wiedzieć

Mając na uwadze te możliwości dialogowe i precyzyjne, Microsoft przetestował zdolności ChatGPT jako interfejsu opartego na języku między użytkownikiem nieposiadającym wiedzy technicznej a dronem. Jak zauważają badacze w publikacji, podczas gdy modele GPT-3, LaMDA oraz Codex pokazały potencjał w zadaniach związanych z planowaniem robotów i generowaniem kodu, ChatGPT jest specjalnym narzędziem, które może okazać się "potencjalnie bardziej wszechstronne dla dziedziny robotyki, ponieważ łączy zalety naturalnego języka i modeli generowania kodu z elastycznością dialogu".

Badacze zwracają uwagę w swoim wpisie na blogu: "ChatGPT zadawał pytania wyjaśniające, gdy instrukcje użytkownika były niejednoznaczne i pisał złożone struktury kodu dla drona, takie jak wzór zygzakowy do wizualnej inspekcji półek."

Microsoft przetestował ChatGPT, aby użyć ramienia robotycznego do przemieszczania bloków w celu utworzenia logo Microsoftu. Badacze zlecali również ChatGPT napisanie algorytmu dla drona, aby dotarł do punktu bez zderzenia się z przeszkodami. Testowali również, czy ChatGPT może decydować, gdzie robot powinien się udać na podstawie informacji zwrotnych z czujników w czasie rzeczywistym.

Badacze z Google Research i mającej w posiadaniu Alphabet firmy Everyday Robots zajmowali się podobnymi wyzwaniami z zakresu robotyki, korzystając z dużych modeli językowych o nazwie PaLM, czyli Pathways Language Model. Pomógł on robotowi w przetwarzaniu otwartych pytań i dawaniu rozsądnych odpowiedzi.