Billennium presenta Baszta-1 per il rilevamento di contenuti rischiosi nei sistemi di intelligenza artificiale

Billennium ha sviluppato Baszta-1, un modello di sicurezza specializzato che opera in lingua polacca. Questo strumento fa parte della AI Governance Suite, un insieme di soluzioni progettato per aiutare le organizzazioni a controllare l'utilizzo dell'intelligenza artificiale. L'azienda ha reso il modello disponibile per test pubblici e ha pubblicato la documentazione relativa alla sua costruzione, calibrazione e ai suoi limiti.

Il modello è un classificatore basato sull'architettura HerBERT con circa 124 milioni di parametri. È stato creato da un team polacco di Billennium per riconoscere cinque categorie di contenuti rischiosi: odio, volgarità, sesso, crimine e autolesionismo. Baszta-1 rappresenta il primo di un gruppo di modelli specializzati previsti dall'azienda per sviluppare tecnologie e competenze locali.

In termini di prestazioni, Billennium ha utilizzato Bielik Guard, noto anche come Sójka, come punto di riferimento. Nel benchmark Out-of-Distribution Gadzi Język, la migliore configurazione di Baszta-1 ha ottenuto un risultato micro-F1 di 0,927, rispetto allo 0,582 riportato per Sójka. Per quanto riguarda il macro-F1, i risultati sono stati rispettivamente di 0,699 e 0,619, sebbene l'azienda specifichi che il vantaggio in quest'ultima metrica sia indicativo e non statisticamente univoco.

Ulteriori test condotti dopo la calibrazione su un set di dati bilanciato tra contenuti rischiosi e sicuri hanno visto Baszta-1 raggiungere un macro-F1 di 0,952, con una percentuale di falsi allarmi per i testi sicuri pari al 5,5 percento. L'azienda ha sottolineato che i soli risultati dei benchmark non determinano la prontezza del modello per l'implementazione, poiché la qualità dei dati di addestramento è fondamentale per riflettere le reali richieste degli utenti.

L'integrazione nella AI Governance Suite permette alle imprese di monitorare quali modelli utilizzano, chi vi ha accesso, quali dati vengono elaborati e i costi generati. Baszta-1 mira a supportare le organizzazioni polacche nel rispetto dei requisiti normativi, come quelli derivanti dall'AI Act, offrendo un meccanismo di sicurezza documentabile che può essere inserito nel processo di conformità.