Kiedyś poskarżyłam się ChatGPT na wyjątkowo uciążliwą muchę, która latała po mieszkaniu i nie dawała mi spokoju. Dlaczego akurat ChatGPT? Cóż, najwyraźniej uznałam, że skoro sztuczna inteligencja potrafi rozwiązywać skomplikowane problemy naukowe, to poradzi sobie również z jednym irytującym owadem.
Sztuczna inteligencja zaproponowała rozwiązanie proste, eleganckie i humanitarne: należy przykryć muchę szklanką, wsunąć pod nią kartkę papieru, a następnie wynieść owada na zewnątrz.
W teorii wszystko się zgadza. W praktyce pojawia się drobny problem: mucha nie zamierza współpracować.
Kto próbował kiedyś trafić muchę packą, ten wie, że owad potrafi zareagować na ruch błyskawicznie. Przykrycie jej szklanką wymagałoby refleksu i precyzji, które przeciętny człowiek mógłby osiągnąć dopiero po wieloletnim treningu w klasztorze Shaolin. Chociaż niewykluczone, że po takim treningu osiągnąłby już wystarczający spokój ducha, żeby mucha przestała mu przeszkadzać.
Ta zabawna sytuacja ilustruje jednak poważny problem współczesnej sztucznej inteligencji.
Wiedzieć nie znaczy umieć
Duże modele językowe dysponują ogromnymi zasobami wiedzy zapisanej w tekstach i innych danych treningowych. Potrafią opisywać procesy, formułować instrukcje i proponować rozwiązania problemów. Nie oznacza to jednak, że każda zaproponowana procedura została sprawdzona w rzeczywistych warunkach.
Model może poprawnie opisać wszystkie etapy chwytania muchy, a jednocześnie nie uwzględnić ograniczeń ludzkiego refleksu, szybkości owada czy ruchu powietrza wywołanego zbliżającą się szklanką.
Mamy więc do czynienia z różnicą między wiedzą deklaratywną, czyli wiedzą co należy zrobić, a wiedzą proceduralną i praktyczną, czyli wiedzą jak rzeczywiście to zrobić.
Szydełkowanie, którego nikt nigdy nie wykonał
Podobne zjawisko można obserwować w mediach społecznościowych. Coraz częściej pojawiają się filmy wygenerowane przez AI, przedstawiające efektowne wyroby szydełkowe, hafty i inne formy rękodzieła.
Na pierwszy rzut oka wszystko wygląda wiarygodnie. Widzimy dłonie, włóczkę, szydełko i stopniowo powstający przedmiot.
Dopiero osoba mająca praktyczne doświadczenie zauważy, że kolejne oczka pojawiają się bez wykonania odpowiednich ruchów, nitka przechodzi przez niemożliwe miejsca, a robótka zmienia kształt w sposób niezgodny z techniką.
Co ciekawe, pod takimi filmami pojawiają się liczne komentarze zachwyconych odbiorców, którzy proszą o schemat wykonania przedstawionego przedmiotu.
Zakładają oni, że skoro widzą gotowy wyrób i proces jego powstawania, to musi istnieć instrukcja pozwalająca go odtworzyć.
Tymczasem może nie istnieć ani rzeczywisty przedmiot, ani wykonalny schemat.
Problem staje się poważniejszy, kiedy podobne instrukcje trafiają do sprzedaży. Kupujący płaci za projekt, którego wykonalność nie została zweryfikowana. Dopiero podczas pracy odkrywa, że liczba oczek się nie zgadza, brakuje etapów lub końcowy rezultat nie odpowiada prezentacji.
Kiedy AI wie, co należy zrobić, ale nie wie, jak to zrobić
Problem praktycznej wykonalności porad AI staje się szczególnie istotny w sytuacjach dotyczących zdrowia. Duże modele językowe osiągają bardzo dobre wyniki na egzaminach medycznych, niekiedy przewyższając wyniki lekarzy. Jednak znajomość prawidłowej odpowiedzi na pytanie egzaminacyjne nie oznacza jeszcze umiejętności rozwiązania rzeczywistego problemu pacjenta.
Przekonałam się o tym podczas leczenia ciężko chorej kotki. Po wizytach w kilku gabinetach weterynaryjnych, badaniach i konsultacji kardiologicznej otrzymałam leki oraz zalecenia dotyczące dalszego postępowania. Problem polegał na tym, że kotka miała trudności z oddychaniem, nie chciała jeść i nie pozwalała sobie niczego podawać do pyszczka.
ChatGPT, z którym konsultowałam sytuację, konsekwentnie przypominał mi o konieczności zapewnienia zwierzęciu pilnej pomocy natychmiast. Kiedy wyjaśniłam, że właśnie wróciłam od specjalistów, a teraz muszę podać lek w syropie, ostrzegł przed ryzykiem zachłyśnięcia i zalecił uzgodnienie z weterynarzem alternatywnego sposobu podania.
Zapytałam więc, nieco zirytowana, czy w takim razie mam podać kotu syrop do tyłka?
Oczywiście nie była to poważna propozycja terapeutyczna. Chciałam jedynie pokazać absurd sytuacji, w której system wie, czego nie należy robić, ale nie potrafi wskazać realnego rozwiązania.
Co istotne, problem nie wynikał z braku wiedzy farmakologicznej. Model prawidłowo identyfikował ryzyko związane z podawaniem płynów zwierzęciu mającemu trudności z oddychaniem. Nie potrafił jednak w pełni uwzględnić ograniczeń konkretnej sytuacji: dostępności leków, wcześniejszych konsultacji, możliwości właściciela i reakcji samego zwierzęcia.
To pokazuje jeszcze jeden wymiar jakości odpowiedzi AI: użyteczność sytuacyjną. Nawet merytorycznie poprawna i bezpieczna rada może być mało pomocna, jeśli jej wykonanie jest niemożliwe albo wymaga zasobów, których użytkownik nie posiada.
Dobra porada powinna zatem nie tylko wskazywać prawidłowe postępowanie, lecz również rozpoznawać ograniczenia jego realizacji. A kiedy nie istnieje dostępne rozwiązanie, system powinien umieć to przyznać, zamiast powtarzać tę samą ogólną rekomendację.
Czy roboty nauczą AI praktycznego myślenia?
Jednym z możliwych kierunków rozwoju jest Embodied AI, czyli sztuczna inteligencja ucieleśniona w systemach działających w środowisku fizycznym.
Robot wyposażony w kamery, czujniki i manipulatory może nie tylko analizować opisy czynności, lecz także podejmować próby ich wykonania i obserwować konsekwencje.
Jeżeli próbuje przykryć muchę szklanką, a mucha ucieka, otrzymuje bezpośrednią informację zwrotną. Może następnie zmienić sposób działania, przewidywać trajektorię ruchu owada i doskonalić swoją strategię.
Nie znaczy to, że robot automatycznie nabędzie ludzkie doświadczenie. Jego możliwości zależą od konstrukcji, czujników, algorytmów sterowania i sposobu uczenia. Jednak kontakt ze światem fizycznym pozwala weryfikować założenia, które w czysto językowym opisie mogą wydawać się bez zarzutu.
Problem nie kończy się na muchach
Zjawisko to ma znaczenie znacznie szersze niż generowanie zabawnych filmów czy niepraktycznych porad domowych.
System AI może zaproponować procedurę, która jest poprawna językowo, logicznie spójna i zgodna z ogólnymi zasadami danej dziedziny, a mimo to okaże się niewykonalna w konkretnych warunkach.
Dotyczy to instrukcji technicznych, organizacji pracy, projektowania produktów, a także porad dotyczących codziennych czynności.
Warto zatem odróżniać cztery kryteria jakości odpowiedzi generowanej przez AI:
- Poprawność językowa – czy odpowiedź jest zrozumiała i spójna?
- Poprawność merytoryczna – czy jest zgodna z wiedzą o danym zagadnieniu?
- Wykonalność praktyczna – czy przedstawione rozwiązanie rzeczywiście można zastosować w praktyce?
- Użyteczność sytuacyjna – czy rozwiązanie uwzględnia konkretne okoliczności, potrzeby i ograniczenia użytkownika?
Największym problemem jest to, że poprawność językowa i merytoryczna mogą tworzyć przekonujące wrażenie, że proponowane rozwiązanie jest również wykonalne i użyteczne w konkretnej sytuacji.
Szczególnie trudno rozpoznać niewykonalne rozwiązanie osobie, która sama nie ma doświadczenia w danej dziedzinie.
Być może dlatego, zanim zaczniemy realizować kolejną genialną instrukcję wygenerowaną przez AI, warto zadać sobie jedno proste pytanie: czy ktoś rzeczywiście próbował to zrobić?
A jeśli chodzi o muchę, szklankę i kartkę papieru, to chyba na razie pozostanę przy otwartym oknie. Może mucha sama zdecyduje się wyjść. A jeśli nie, pozostaje mi klasztor Shaolin.
PS. Już po opublikowaniu tego tekstu otrzymałam od znajomego propozycję zakupu elektrycznej packi na muchy za 5 zł. Wygląda na to, że człowiek potrafi być bardziej praktyczny niż sztuczna inteligencja. 😂
A może Państwo znają jeszcze jakieś skuteczne sposoby na muchy? Jeśli tak, proszę o wiadomość prywatną. Uprzedzam jednak, że szklanka i kartka papieru były już przedmiotem konsultacji z AI, a packa elektryczna — konsultacji z człowiekiem.
Dodaj komentarz