Google rilascia Android Bench 2.0 con support ai per task complessi

Google ha rilasciato Android Bench 2.0, una versione aggiornata del framework di benchmark per valutare i modelli AI su task di sviluppo Android. L'aggiornamento introduce task a lungo termine (LHT), valutazione agente e scoring continuo per valutare meglio le prestazioni su task complessi e a più passaggi. L'update espande la copertura dei task di sviluppo, includendo operazioni che richiedono giorni o settimane per essere completate, come l'aggiornamento delle dipendenze, l'aggiunta di nuove funzionalità, la creazione di app da zero o la conversione di app cross-platform in Android.

Il sistema di valutazione passa da un approccio binario pass/fail a un sistema di scoring più articolato, considerando funzionalità, fedeltà visiva e assenza di regressioni, con penalità oggettive per deviazioni dalle istruzioni. I risultati mostrano che i modelli AI sono più efficaci nella scrittura di nuovo codice piuttosto che nel refactoring di codice esistente, e ottengono buoni risultati in trasformazioni determinate come la conversione da Java a Kotlin o lo swap di Retrofit a Ktor. Tuttavia, i modelli faticano con task che richiedono validazione runtime, modifiche al framework o gap di conoscenza su librerie non ancora rilasciate.