Grafana Labs, 인공지능 에이전트 성능 측정을 위한 서비스 수준 목표 방법론 제안

평가 단계에서는 응답이 제공된 문맥에 기반했는지, 사용자 요청을 완료했는지, 독성 콘텐츠나 개인 정보 유출이 있는지, 또는 프롬프트 주입 공격을 받았는지 등을 확인합니다. 이때 다른 대규모 언어 모델을 심판으로 활용하거나 정규 표현식과 같은 결정론적 검사를 사용할 수 있습니다. 품질을 단일 점수가 아닌 다차원적 지표로 관리함으로써 팀은 특정 응용 프로그램에 필요한 행동에 대해 개별적인 목표를 설정할 수 있습니다.

서비스 수준 목표가 설정되면 오류 예산 개념이 도입됩니다. 예를 들어 30일 동안 대화의 95%가 사용자 요청을 완료했다는 목표를 세우면, 나머지 5%가 오류 예산이 됩니다. 예산이 충분할 때는 프롬프트나 모델을 조정하는 실험을 진행하고, 예산이 소진될수록 새로운 변경보다는 품질 향상에 집중하는 의사결정 모델을 구축할 수 있습니다.

이 방식은 모델 변경이나 사용자 행동 변화로 인해 품질이 서서히 저하되는 현상을 가시화하는 데 유용합니다. 다만 서비스 수준 목표의 유효성은 하위 측정 도구에 전적으로 의존하므로, 심판 역할을 하는 모델의 오분류 가능성이나 잘못 설계된 평가 기준이 허위의 정확성을 제공할 수 있다는 제한점이 있습니다.

한편 Anthropic은 명확한 작업 정의와 반복 시험을 통해 에이전트가 일관되게 결과를 달성하는지 측정하는 공식적인 평가 관행을 수립하고 있습니다. OpenTelemetry는 프레임워크와 공급자에 관계없이 에이전트 행동을 평가할 수 있도록 추적, 지표, 로그를 위한 표준화된 시맨틱 컨벤션을 제정하고 있습니다.