Google Introduces Android Bench 2.0 Med Vurdering av Langvarige Opgaver og Agentbasert Evaluering

Google har lansert Android Bench 2.0, en oppdatering av sin benchmarkramme for å evaluere AI‑modeller og agenter på Android‑utviklingsoppgaver. Oppdateringen inneholder støtte for langvarige oppgaver (LHT), agentbasert evaluering og kontinuerlig scoring. Disse elementene skal gi en mer presis vurdering av prestasjon på komplekse, flere trinn‑oppdrag. Android Bench 2.0 bygger videre på den opprinnelige benchmarken som ble introdusert for noen måneder siden og som vurderer AI‑modeller mot vanlige utviklingsoppgaver i Android‑miljøer, med særlig vekt på tillatelser, navigasjon og tilkobling. Den nye versjonen udvider omfanget til å inkludere flere typer oppgaver.

Langvarige oppgaver er definert som oppgaver som kan ta en ingeniør flere dager eller i værste fall opp til en uke å fullføre. Eksempler inkluderer oppgradering av avhengigheter, tilføying av nye funksjoner, bygning av apper fra bunnen av eller omregjering av en krydsplattform‑app til Android. For å håndtere slike oppgaver har Google innført en ny scoringmetode som erstatter den enkle bestå/ikke‑bestå‑modellen. Tidligere kunne en kompleks oppgave bli merket som feilet hvis bare én kant‑til‑kant‑assertion ikke ble oppfylt, selv om agenten hadde klart mange andre krav. Den nye metoden veier funksjonalitet, visuel nøyaktighet og unngåelse av regresjoner sammen med straff for avvik fra evalueringsinstruksjoner.