인공지능 에이전트를 직원처럼 관리하되 인간으로 취급해서는 안 된다

일부 정보기술 지도자들이 인공지능 에이전트를 단순한 소프트웨어가 아닌 직원, 동료 또는 인턴으로 부르기 시작했습니다. 이러한 에이전트들이 기업 시스템 내에서 기록을 업데이트하고 환불을 처리하며 메시지를 보내는 등 복잡한 작업을 수행함에 따라, 단순한 애플리케이션 설치와는 다른 도입 방식이 필요해졌기 때문입니다.

하지만 인공지능을 동료로 인식할 때 발생하는 위험성도 제기되었습니다. 1,261명의 관리자를 대상으로 한 연구에 따르면, 인공지능을 도구가 아닌 직원으로 간주한 관리자들은 결과에 대해 개인적인 책임을 덜 느끼고 인공지능에 더 많은 책임을 전가하는 경향을 보였습니다. 또한 문제를 더 많이 보고하면서도 정작 오류는 더 적게 발견하는 모습이 나타났습니다. 조사 대상자의 31%는 이미 회사가 인공지능을 팀원이나 직원으로 여기고 있다고 답했으며, 23%는 조직도나 업무 도표에 에이전트가 포함되어 있다고 밝혔습니다.

IDC의 분석가 Amy Loomis는 책임의 문제를 강조하며, 인공지능 에이전트가 언어적으로는 기업 문화와 가치를 흉내 낼 수 있지만 실제로 이를 소유할 수는 없다고 지적했습니다. 그녀는 에이전트에게 데이터 접근 권한은 줄 수 있지만, 그 권한을 사용한 결과에 대한 책임은 권한을 부여한 사람에게 있다고 설명했습니다. 따라서 인간의 정체성을 부여하기보다 시스템이 수행하는 일과 접근 권한, 그리고 인간이 책임져야 할 영역을 정의한 운영 규정을 제공하는 것이 더 효율적이라고 제안했습니다.

Ejento AI의 설립자 Raja Iqbal은 에이전트를 팀원으로 생각하는 비유가 기술 지도자들에게 적절한 인지적 태도를 갖게 하기 위한 것이라고 설명했습니다. 그는 이를 통해 고유 식별자, 인간의 감독, 정의된 권한, 지출 한도, 승인된 정보원 및 감사 추적과 같은 관리 원칙을 적용할 수 있다고 주장했습니다. 다만 그는 인간의 성격이나 이름을 부여하는 장식적인 비유는 위험하며, 에이전트에게는 기술적 정체성을 부여하고 책임은 인간 소유자가 지는 구조가 되어야 한다고 강조했습니다.

DXC Technology의 최고 디지털 및 정보 책임자인 Russell Jukes는 인공지능 에이전트를 사람이 아닌 슈퍼파워로 정의합니다. DXC는 에이전트를 개인용과 전문용으로 구분하며, 특히 전문용 에이전트에게는 엄격한 감독과 비인간 정체성, 권한 제한을 적용하고 제어 평면을 통해 활동을 감시하며 필요시 차단합니다. 그는 인공지능이 목표를 해석하고 도구를 선택하는 확률적 시스템이므로, 기존의 결정론적인 서비스형 소프트웨어 방식으로는 구현할 수 없다고 밝혔습니다.

Quadient의 글로벌 최고 정보 책임자인 Nina Tatsiy는 에이전트를 인턴에 비유하며, 보안과 거버넌스라는 소프트웨어적 관리와 확률적 행동에 대한 추가 감독이 동시에 필요하다고 주장했습니다. 그녀는 인공지능에 인간의 이름을 붙이는 것이 과도한 신뢰를 유발할 수 있다고 우려하며, 에이전트가 결론을 내리기보다 가설에 의문을 제기하거나 간과한 문제를 제기하는 용도로 사용하는 것을 선호합니다.