Analiza korpusów danych osobowych dla agentów AI: 56 tysięcy encji i brak wywołań narzędzi

W ramach prac nad systemem Pseudex, który stanowi bramę do odwracalnego maskowania danych dla agentów opartych na dużych modelach językowych, przeprowadzono szczegółową analizę dostępnych zbiorów danych. Głównym celem było zbadanie, na jakich zestawach można skutecznie testować taki mechanizm ochronny. W pierwszej części badań sprawdzano zachowanie agenta po zamaskowaniu informacji. W niniejszym etapie skupiono się na pytaniu, jakie korpusy są odpowiednie do weryfikacji całego łańcucha przetwarzania. Założono scenariusz, w którym brama znajduje numer telefonu w wiadomości i go zastępuje. Następnie model wywołuje funkcję wyszukiwania klienta. Kluczowe jest ustalenie, jaki numer otrzymał system zarządzania relacjami z klientami oraz czy udało się znaleźć właściwą osobę. Standardowe korpusy do rozpoznawania encji nie zawierają informacji o systemach zarządzania relacjami z klientami, wywołaniach funkcji ani wynikach wyszukiwania.

Zawierają jedynie tekst i oznaczenia telefonów. Taka struktura wystarcza do sprawdzenia detektora, ale nie całej ścieżki działania agenta. Zewnętrzne zbiory sprawdzają pojedyncze właściwości. W projekcie AgentMask-RU połączono maskowanie z przywracaniem wartości w wywołaniu narzędzia. Nie oznacza to, że istniejące korpusy są złe. Odpowiadają na swoje pytania. Błąd pojawia się, gdy wynik z jednego zbioru traktuje się jako dowód na zupełnie inną cechę. Zbadano zbiór NEREL, który zawiera około 56 tysięcy encji i 39 tysięcy relacji w 29 typach oznaczeń. Teksty pochodzą z wiadomości. Istnieją zagnieżdżone encje, na przykład imię osoby może występować w nazwie organizacji. Lokalna kopia zawiera 933 pliki oznaczeń, 55 950 encji i 38 673 relacji. Jest to przydatne sprawdzenie dla detektora, ponieważ zbiór nie został stworzony przez twórców Pseudex. Jednak teksty informacyjne różnią się od wiadomości wsparcia. W wiadomościach częstsze są błędy ortograficzne, niekompletne imiona i adresy bez standardowych znaczników.