Dylematy przechowywania kontekstu dla agentów sztucznej inteligencji

W środowisku programistycznym trwa dyskusja na temat tego, jakie informacje należy archiwizować, aby efektywnie wspierać pracę agentów sztucznej inteligencji. Autor artykułu opisał swoje doświadczenia z migracją z jednego narzędzia do innego, co ujawniło szerszy problem zarządzania wiedzą projektową. Po zablokowaniu dostępu do płatnej organizacji w jednym z systemów, użytkownik przeniósł się na konkurencyjną platformę, próbując zachować ciągłość pracy nad projektami. Choć kod i repozytoria pozostały dostępne, przez kilka miesięcy zgromadziły się dziesiątki rozmów dotyczących architektury, błędów i planów, które nie zostały w pełni udokumentowane. Wbudowany mechanizm importu okazał się niewystarczający, ponieważ z dwudziestu pięciu projektów i pięćdziesięciu trzech czatów udało się przenieść około pięćdziesięciu sesji, ale powiązanie tych rozmów z konkretnymi projektami było nieudane. W rezultacie użytkownik skorzystał z zewnętrznego narzędzia do przeszukiwania historii, co wywołało spór w komentarzach. Jeden z uczestników dyskusji zaproponował przechowywanie decyzji i planów w systemie kontroli wersji, podczas gdy inni zwrócili uwagę na znaczenie bazy wiedzy i dokumentacji, wskazując jednocześnie na obecność niepotrzebnych danych w starych dialogach. Inny komentator podniósł kwestię przenoszenia stanu rozumowania oraz różnic między protokołami modeli. Kolejny autor opublikował osobny tekst, twierdząc, że kontekst powinien znajdować się w repozytorium, a nie w czacie, opisując przy tym konkretne podejścia do mapowania architektury.

Autor głównego artykułu zauważył, że uczestnicy dyskusji często odwołują się do różnych problemów, ponieważ zachowanie historii, przekazanie niedokończonej pracy i zapewnienie agentowi wiarygodnej wiedzy to trzy odrębne zadania. Kontekst nie jest pojedynczym plikiem, lecz zbiorem informacji rozproszonych w wielu miejscach. Kod pokazuje bieżącą implementację, ale nie zawsze wyjaśnia powody wyboru danej architektury. Dokumentacja może zawierać te przyczyny, jeśli została zaktualizowana, ale historia rozmów zachowuje więcej szczegółów, w tym błędne hipotezy i przestarzałe dane. Zadanie polega więc na wyborze odpowiedniego źródła i ocenie stopnia zaufania do otrzymanych informacji. W przypadku aktywnego projektu kluczowe są dokumentacja, specyfikacje i sam kod. Nowy programista nie zaczyna od czytania całej historii, lecz otrzymuje mapę systemu i konkretne zadanie. Analogicznie, dla agenta sztucznej inteligencji w małym projekcie często wystarczą pliki konfiguracyjne, aktualna dokumentacja i testy. System kontroli wersji sam w sobie nie jest systemem pamięci, lecz narzędziem do zarządzania wersjami, w którym można przechowywać specyfikacje i plany. Ważniejsze jest jednak zawartość i aktualność tych materiałów. W dużych bazach kodu problemem jest nawigacja, którą ułatwiają narzędzia tworzące kompaktowe mapy struktury projektu, uwzględniające budżet tokenów. Istnieją również rozwiązania do indeksowania i wyszukiwania semantycznego, które pozwalają uniknąć czytania setek plików.