AI 리스크 관리는 인공지능 시스템의 개발, 획득, 배포 또는 사용 과정에서 발생하는 리스크를 식별, 평가, 처리 및 모니터링하는 조직적인 업무입니다. 이는 AI 시스템에 대한 의사결정을 피해를 예방하거나 상황 변화에 대응할 수 있는 사람, 프로세스 및 통제 수단과 연결합니다.

이는 기존의 전사적 리스크 관리(ERM)를 대체하는 것이 아니라 확장하는 것입니다. 법률, 보안, 개인정보 보호, 운영 복원력 및 내부 감사와 같은 기존 분야는 여전히 유효합니다. AI는 기존 기술 통제 체계에 명확히 들어맞지 않는 질문들을 추가합니다: 이 시스템이 이 목적에 적합한가? 변화하는 조건에서 그 행동은 얼마나 신뢰할 수 있는가? 그 결과물에 대해 누가 책임을 지며, 인간의 검토가 실패할 경우 어떤 일이 발생하는가?

업무 계층

유용한 프로그램은 하나 이상의 수준에서 작동합니다. 전략적 업무는 방향을 설정하고, AI가 필요한지 평가하며, 위험 허용 범위를 확립하고, 의사결정 권한을 할당합니다. 운영 업무는 각 사용 사례와 모델, 데이터, 공급업체, 인터페이스 및 인간의 작업을 포함한 전체 시스템을 평가합니다. 회복탄력성 업무는 기존 분류에 맞지 않는 중단이나 영향력이 큰 사건에 대비합니다. 이러한 계층은 이사회 수준의 선택과 테스트 및 일상적인 통제를 연결합니다.

위험 관리는 지속적입니다. 배포 전에 수행된 검토는 모델, 데이터, 의도된 사용자 또는 주변 프로세스가 변경되면 구식이 될 수 있습니다. 조직은 재평가를 위한 정의된 트리거, 의사결정 기록, 사고 발생 시 경로, 그리고 시스템을 일시 중지하거나 철회할 수 있는 능력이 필요합니다. 노력의 수준은 각 사용 사례의 잠재적 영향, 노출 및 불확실성을 반영해야 합니다.

주요 프레임워크 간의 차이점

EW-AiRM™은 전략적, 운영적, 회복탄력성 계층을 결합하고 기존 ERM을 보강하도록 설계된 개방형 전사적 프레임워크입니다. NIST AI 위험 관리 프레임워크는 AI 시스템 수명 주기 전반에 걸친 위험 관리에 중점을 둔 자발적 지침으로, 거버넌스(Govern), 매핑(Map), 측정(Measure), 관리(Manage) 기능을 포함합니다. ISO/IEC 42001은 조직이 구현하고 인증받을 수 있는 AI 관리 시스템에 대한 요구 사항을 명시합니다. EU AI 법은 법률로서, 정의된 AI 관행 및 위험 범주에 대한 법적 의무와 제한 사항을 생성합니다. 이들은 목적이 서로 다르므로 조직은 이를 대체재로 취급하기보다 여러 가지를 함께 사용할 수 있습니다.

실용적인 시작점은 AI 사용 현황을 파악하고, 배포된 각 시스템에 책임자를 지정하며, 목적과 영향을 기록하고, 각 중대한 위험을 통제 및 에스컬레이션 경로와 연결하는 것입니다. 프레임워크 언어는 이러한 작업을 구조화하는 데 도움을 주지만, 조직을 대신하여 결정을 내리지는 않습니다. 책임은 여전히 권한, 증거, 그리고 행동할 시간을 가진 사람들에게 달려 있습니다.