Pięć kluczowych terminów z dziedziny sztucznej inteligencji, których warto się nauczyć

white metal frame on white floor — Petr / Unsplash

Osoby rozmawiające o sztucznej inteligencji dzieli się zazwyczaj na dwa typy: jedne mówią jak z podręcznika, a drugie wpadają w panikę, słysząc słowa „LLM” lub „sieć neuronowa”. Nie trzeba jednak należeć do żadnego z tych grup. Istnieje pięć terminów, które warto zrozumieć na prawdę, a nie tylko zapamiętać, dzięki czemu będziesz na głowę wyższy od większości Twoich rozmówców, niezależnie od tego, czy pracujesz w technologii, biznesie, edukacji, czy po prostu interesujesz się rozwojem nowych technologii.

Pierwszą rzeczą, którą musisz zapamiętać, jest fakt, że modele sztucznej inteligencji nie czytają słów ani liter. One czytają tokeny. Wyobraź sobie, że czytasz książkę, ale nie słowami, a kawałkami. Czasami kawałek to całe słowo, np. „kot”; czasem fragment słowa, np. „ne” lub „cja”; czasem znak interpunkcyjny. Takie fragmenty tekstu i są tokeny.

Tak fraza „I love pizza” dzieli się na trzy tokeny: „I”, „love”, „pizza”. W przypadku języka angielskiego. Jeśli jednak pracujesz z tekstami po rosyjsku, liczba użytych tokenów może być aż 2-4 razy większa. Powód w tym, że podstawowe słowniki modeli sztucznej inteligencji tworzone są głównie na angielskich tekstach. Dla cyrylicy w słowniku przeznaczono znacznie mniej miejsca. Z tego powodu modele „zbierają” rosyjskie słowa „po części”.

Każdy produkt lub usługa oparta na ChatGPT, Claude czy Gemini nieświadomie dla Ciebie liczy tokeny. Im więcej tokenów w Twojej wiadomości, tym więcej pracy dla modelu. Im więcej tokenów w danych wyjściowych, tym droższa jest jej praca.

Kiedy mówi się o oknie kontekstowym modelu (o którym nieco później), ma się na myśli dokładnie liczbę tokenów, które potrafi utrzymać w pamięci jednocześnie. Starsze wersje modeli miały okno kontekstowe o rozmiarze 4000 tokenów, nowe, ponad milion. Dlatego sztuczna inteligencja czasami „zapomina” początek długiej rozmowy. Gdy rozmowa zapełni okno kontekstowe, najstarsze tokeny są usuwane. Można to porównać do komputera, który zaczyna zwalniać, gdy zapełni się pamięć operacyjna.

Tokeny są swoistego rodzaju atomami języka sztucznej inteligencji. Zrozumienie tego pozwoli zrozumieć, dlaczego niektóre prompty działają lepiej innych, dlaczego sztuczna inteligencja zapomina kontekst w długich czatach i dlaczego ceny API określone są za tysiąc tokenów.

Prawie każdy słyszał o tym terminie i wie, co oznacza. Jednak nie wszyscy wiedzą, dlaczego tak się dzieje, a tym właśnie jest najważniejsze.

Termin „halucynacja” oznacza, że sztuczna inteligencja z absolutną pewnością i bez cienia wątpliwości wydaje nieprawidłowe lub wymyślone odpowiedzi. Odpowiedź błędna podawana jako fakt.

Na przykład, gdy pytasz sztuczną inteligencję o książkę, ona podaje Ci tytuł, autora, rok wydania i opowiada fabułę, jednak wszystko to jest wymyślone. Taka książka nie istnieje, ale sztuczna inteligencja odpowiada tak, jakby czytała informację z Wikipedii.

większość ludzi pomija fakt, że modele językowe nie są bazami danych. Nie szukają faktów, a przewidują kolejny najbardziej prawdopodobny token na podstawie wzorców, które nauczyły się podczas treningu.

Z tego powodu, jeśli sztuczna inteligencja nie zna odpowiedzi na pytanie, nie odpowiada „nie wiem”. Generuje to, co brzmi jak prawidłowy odpowiedź, ponieważ właśnie taka była jego nauka.

I tu leży niebezpieczeństwo nie w tym, że sztuczna inteligencja się myli. Mogą się myl wszystkie narzędzia. Niebezpieczeństwo polega na tym, że sztuczna inteligencja popełnia błędy z taką samą pewnością, jaką daje prawidłową odpowiedź.

Dlatego nigdy w pełni nie ufaj sztucznej inteligencji w kwestiach wiarygodności faktów, poradach medycznych, statystyce, informacjach prawnych i we wszystkich dziedzinach, gdzie za błędy mogą nastąpić nieprzyjemne konsekwencje.

Osoby rozumiejące naturę i przyczyny halucynacji nie przestają korzystać ze sztucznej inteligencji, po prostu używają jej z głową.

Wyobraź sobie, że rozmawiasz z rozmówcą o bardzo dziwej pamięci: pamięta tylko ostatnie kilka minut rozmowy. Wszystko, co było wcześniej, zniknęło i zatarło się.

Tak działa okno kontekstowe, cały objętość tekstu (mierzona w tokenach), który model widzi i uwzględnia w jednym momencie czasu. Do niego należą Twoje prompty, wczytane dokumenty, historia czatu i odpowiedzi samej modelu.

Jak analogię można podać deskę do notatek. Okno kontekstowe to rozmiar deski. Można pisać wszystko, ale gdy skończy się miejsce, przed napisaniem nowego trzeba wywrzeć stare.

A teraz, najbardziej fascynujące. Małe okno kontekstowe (np. rozmiar 4000 tokenów) oznacza, że sztuczna inteligencja może pracować tylko z parą stron tekstu naraz. Jeśli jednak wczytasz dłuższy dokument, przeczyta go tylko w częściach. Duże okno (np. 200 000 tokenów) pozwala załadować całą książę i zadawać o niej pytania.

To mój ulubiony termin do wyjaśniania, ponieważ osoby, które go zapamięją raz, już go nigdy nie zapomną.

Kiedy prosisz sztuczną inteligencję o coś napisania, miej na uwadze, że istnieje ustawienie o nazwie „temperatura”. Od jej ustawienia zależy, jaki wynik otrzymasz i na ile będzie on losowy lub przewidywalny.

Pr niskiej temperaturze (bliżej zera) sztuczna inteligencja nie ryzykuje. Za każdym razem preferuje najbardziej prawdopodobne, najbardziej oczekiwane słowo. Tekst na wyjściu otrzymuje spójny, precyzyjny i nieco nudny charakter. To jak współpracownik, który wiecznie wysyła ten sam szablonowy e-mail.

Pr wysokiej temperaturze (bliżej 1 i wyżej) sztuczna inteligencja zaczyna ryzykować. Wybiera nieoczekiwane słowa, niestandardowe zwroty, interesujące pomysły. Czasami wychodzi to bardzo dobrze, ale nie zawsze.

Rozważmy przykład. Poproś sztuczną inteligencję o zakończenie zdania „Pies siedzi na…”.

Pr niskiej temperaturze w ustawieniach prawdopodobnie odpowie „dywan” lub „podłoga”. Logiczne i przewidywalne.

Jeśli jednak w ustawieniach ustawiona jest wysoka temperatura, może odpowiedzieć: „filozoficznej dylematie” lub „niszczącej imperium wtorku”. Kreatywne, ale całkowicie nieodpowiednie do dokumentu prawnego.

W przypadku korzystania ze sztucznej inteligencji do zadań faktograficznych, programowanie, sporządzanie streszczenia lub ekstrakcja informacji, konieczna jest niska temperatura. Wtedy od sztucznej inteligencji wymagana jest precyzja, a nie fantazja.