Google wprowadza Android Bench 2.0 z oceną zadań wieloetapowych i ciągłym punktowaniem

a black keyboard with a blue button on it — BoliviaInteligente / Unsplash

Korporacja Google udostępniła wersję 2.0 narzędzia Android Bench, które stanowi znaczącą aktualizację ram benchmarkowych służących do oceniania modeli sztucznej inteligencji oraz agentów programistycznych w zadaniach związanych z tworzeniem aplikacji na system Android. Nowa odsłona platformy wprowadza obsługę zadań długoterminowych, ocenę opartą na agentach oraz mechanizm ciągłego punktowania, co ma na celu lepsze assessowanie wydajności podczas realizowania złożonych, wieloetapowych procesów deweloperskich.

Pierwotna wersja tego narzędzia, uruchomiona kilka miesięcy wcześniej, koncentrowała się na ocenianiu modeli przeciwko zestawowi powszechnych zadań programistycznych, uwzględniając przy tym najlepsze praktyki dotyczące uprawnień, nawigacji oraz łączności w ekosystemie Android. Najnowsze wydanie rozszerza zakres benchmarku o znacznie szerszy wachlarz zadań deweloperskich, obejmując prace, które wcześniej nie były przedmiotem tak szczegółowej analizy w ramach tej specyficznej platformy testowej.

Kluczową zmianą w wersji 2.0 jest wprowadzenie zadań długoterminowych, które Google opisuje jako prace wymagające od inżyniera poświęcenia wielu dni, a nawet całego tygodnia na ich ukończenie. Do tej kategorii należą takie działania jak aktualizacja zależności, dodawanie nowych funkcjonalności, budowanie aplikacji od podstaw lub konwersja aplikacji wieloplatformowych na środowisko Android. Wraz z tymi zadaniami wprowadzono ocenę agentową, rozpoczynając od agentów pochodzących od odpowiednich dostawców modeli, co pozwala na śledzenie postępów w czasie rzeczywistym.

Istotną modyfikacją jest przejście od binarnego systemu oceny pass lub fail do bardziej wyrafinowanego systemu ciągłego punktowania. W poprzedniej iteracji złożone zadanie mogło zostać oznaczone jako nieudane z powodu pojedynczego niepowodzenia w skrajnym przypadku, nawet jeśli agent pomyślnie spełnił dziesiątki innych wymagań. Obecnie wskaźnik ukończenia jest obliczany na podstawie kombinacji czynników, takich jak funkcjonalność, wierność wizualna oraz unikanie regresji, przy czym stosowane są obiektywne kary za odstępstwa od instrukcji ewaluacyjnych lub ograniczeń strukturalnych.

Wyniki z aktualizacji pomagają również zidentyfikować zadania, w których asystencja sztucznej inteligencji przynosi najlepsze rezultaty. Raporty wskazują, że modele radzą sobie lepiej z pisaniem nowego kodu niż z refaktoryzacją istniejącego, co może wynikać z konieczności zrozumienia złożoności architektonicznej bazy kodu podczas migracji. Sztuczna inteligencja osiąga dobre wyniki w dobrze ustalonych, deterministycznych transformacjach, takich jak konwersja języka Java na Kotlin, zamiana biblioteki Retrofit na Ktor lub wprowadzanie warstwy ViewModel.

Mimo postępów, modele nadal napotykają trudności w zadaniach wymagających walidacji w czasie działania, takich jak brakujące grafy wstrzykiwania zależności, czy w sytuacjach obejmujących zmiany łamiące działanie frameworka oraz luki w wiedzy dotyczącej niewydanych bibliotek. W szczególności najlepszy model osiąga wskaźnik ukończenia na poziomie 80% przy portowaniu aplikacji wieloplatformowej na Android, co pozostaje otwartym wyzwaniem. Aktualizacja dashboardu obejmuje najnowsze modele, a liderem zestawienia jest model z wynikiem 32% w zadaniach długoterminowych, za którym podąża kolejny konkurent z wynikiem 28%.