# Human Oversight Ai
**Source:** https://ko.airisks.net/human-oversight-ai
**Language:** Korean

---

AI에 대한 인간의 감독은 적절한 권한과 지식을 가진 사람들이 AI 시스템의 사용을 이해하고 모니터링하며 개입할 수 있는 능력입니다. 효과적인 감독은 평가할 수 없는 결정을 승인하도록 요구하는 대신, 인간에게 결과를 의문시하거나 변경할 수 있는 의미 있는 기회를 제공합니다.

두 가지 일반적인 설명은 휴먼 인 더 루프(human-in-the-loop)와 휴먼 온 더 루프(human-on-the-loop)입니다. 휴먼 인 더 루프 방식에서는 정의된 작업이 수행되기 전에 시스템이 일시 중지하여 인간의 입력이나 승인을 기다립니다. 휴먼 온 더 루프 방식에서는 사람이 작동을 모니터링하고 개입할 수 있는 동안 시스템이 설정된 한계 내에서 작동합니다. 두 용어 모두 훌륭한 감독을 보장하지는 않습니다. 권한, 타이밍, 정보 및 작업 부하의 세부 사항이 사람이 변화를 만들어낼 수 있는지 여부를 결정합니다.

## 개입을 실현 가능하게 만들기

사람들은 시스템의 목적이 무엇인지, 무엇을 안정적으로 수행할 수 없는지, 어떤 경우에 주의가 필요한지, 그리고 어떤 증거가 출력을 뒷받침하는지 알아야 합니다. 그들은 해당 정보를 검토할 충분한 시간과 시스템에 이의를 제기하거나 재정의할 방법이 필요합니다. 인터페이스가 불확실성을 숨기거나, 대기열이 너무 크거나, 경영진이 속도만을 중시한다면 명목상의 승인 단계는 형식적인 절차로 전락할 수 있습니다.

감독 설계는 조치의 영향력과 가역성에 부합해야 합니다. 영향력이 낮은 제안은 샘플링 및 에스컬레이션 규칙을 통해 확인할 수 있습니다. 사람의 기회를 박탈하거나 안전에 영향을 미칠 수 있는 결정은 개별 검토, 검토 가능한 근거, 그리고 결과를 재고할 수 있는 경로가 필요할 수 있습니다. 조직은 이러한 통제 장치가 현실적인 시간 압박 속에서도, 그리고 시스템이 잘못되었을 때에도 작동하는지 테스트해야 합니다.

## 지정된 담당자

배포된 모든 AI 시스템에는 실명이 지정된 책임자가 있어야 합니다. 책임자는 승인된 목적과 운영에 대해 책임을 지며, 테스트 및 모니터링을 수행하는 팀을 파악하고 있으며, 검토를 요청하거나 사용을 중단시킬 권한이 있습니다. 이 역할은 위원회에 모호하게 할당될 수 없습니다. 위원회는 정책을 수립하고 증거에 이의를 제기할 수 있지만, 각 시스템은 특정 개인이 소유해야 하며 임계값을 초과할 때 조치를 취해야 합니다.

해당 책임자는 기술 전문가, 법무 및 리스크 팀, 최전선 사용자 및 필요한 경우 피해를 입는 사람들의 지원을 받아야 합니다. 책임은 수명 주기 전반에 걸쳐 문서화되어야 합니다. 누가 배포를 승인하는지, 누가 성능을 모니터링하는지, 누가 사고를 처리하는지, 그리고 일시 중지 후 시스템을 다시 시작할 수 있는지 여부를 누가 결정하는지가 포함됩니다. 또한 책임자는 부재 시를 대비해 지명된 대리인 또는 연속성 계획이 필요합니다.

인간의 감독은 신뢰할 수 있는 설계나 적절한 한계를 대체할 수 없습니다. 사람은 실수를 하거나, 자동화에 지나치게 의존하거나, 오류를 인식할 맥락이 부족할 수 있습니다. 좋은 거버넌스는 인간의 판단을 시스템 테스트, 명확한 경계선, 기록, 에스컬레이션 경로, 개입 권한과 결합합니다. 그 목적은 결과가 중요할 때 책임을 실질적으로 만들고 결론에 이의를 제기할 수 있도록 유지하는 것입니다.

## 관련 용어

- AI 거버넌스
- 에이전트 AI 위험
- AI 위험 감수 성향

더 알아보기: EW-AiRM™ 프레임워크