에이전트 AI 위험은 AI 시스템이 인간의 단계별 지시 없이 목표를 향해 행동할 수 있을 때 발생하는 피해나 손실의 가능성을 의미합니다. 시스템이 도구를 사용하거나, 데이터를 변경하거나, 다른 시스템과 통신하거나, 다른 에이전트에게 작업을 위임할 수 있게 되면 위험은 더욱 커집니다.

에이전트는 일련의 단계를 계획하고, 소프트웨어 도구를 호출하고, 정보를 검색하거나 사용자를 대신하여 행동할 수 있습니다. 이는 작업을 더 효율적으로 만들 수 있지만, 동시에 시스템의 권한을 확장합니다. 텍스트 답변에서는 무해했을 오해라도 에이전트가 메시지를 보내거나, 기록을 변경하거나, 구매를 하거나, 다른 프로세스를 시작할 수 있게 되면 더 큰 결과를 초래할 수 있습니다.

위임은 위험의 경계를 변화시킵니다

에이전트 간 위임은 어떤 시스템이 결정을 내렸고 어떤 지침이 이를 형성했는지 파악하기 어렵게 만들 수 있습니다. 각 전달 과정에서 맥락, 권한 또는 검사 수준이 변경될 수 있습니다. 조직은 에이전트와 도구의 체인을 매핑하고, 각 행위자의 접근 권한을 필요한 수준으로 제한하며, 행동의 귀속이 가능하도록 기록을 유지해야 합니다. 또한 에이전트가 잘못된 데이터, 모호한 목표 또는 적대적인 지침을 받았을 때 체인이 어떻게 작동하는지 테스트해야 합니다.

여러 에이전트가 상호 작용할 때, 이들의 결합된 행동은 각각을 개별적으로 테스트해서는 예측할 수 없을 수 있습니다. 에이전트는 행동을 반복하거나, 오류를 강화하거나, 공유 자원을 두고 경쟁하거나, 결함이 있는 가정을 전달할 수 있습니다. 이러한 다중 에이전트 창발성은 시스템 수준의 문제입니다. 하나의 모델이나 사용자 인터페이스만 모니터링하면 연결된 워크플로우 전반에서 발생하는 활동을 놓칠 수 있습니다.

감독은 시스템 수준에서 이루어져야 합니다

인간의 감독은 사람이 언제 개입이 필요한지 이해하고 피해를 되돌리기 어려워지기 전에 행동할 수 있을 때만 의미가 있습니다. 검토 지점은 조치의 영향과 가역성을 반영해야 합니다. 영향이 적은 단계는 명확한 제한 내에서 자동화할 수 있지만, 중대한 조치나 외부 조치는 확인, 이중 승인 또는 제한된 운영 모드가 필요할 수 있습니다.

킬 스위치는 비공식적인 약속으로 남겨두지 말고 시스템의 일부로 설계 및 테스트되어야 합니다. 팀은 스위치가 무엇을 중단시키는지, 도구 권한과 대기 중인 작업을 취소하는지, 그리고 서비스를 안전하게 복구하는 방법을 알아야 합니다. 지정된 소유자는 에이전트를 일시 중지할 수 있어야 하며, 사고 대응자는 기록을 보존하고 무슨 일이 일어났는지 조사할 수 있어야 합니다.

배포 전, 조직은 제한된 권한, 샌드박스 테스트 및 명시적인 작업 제한으로 시작할 수 있습니다. 사용 중에는 출력 품질뿐만 아니라 도구 호출, 위임 패턴, 작업 범위의 변경 및 권한 초과 시도도 모니터링해야 합니다. 모델, 도구, 권한 또는 운영 환경이 변경될 때마다 위험 검토를 반복해야 합니다.