# Ai Hallucination Risk
**Source:** https://ko.airisks.net/ai-hallucination-risk
**Language:** Korean

---

AI 환각이란 AI 시스템이 그럴듯하거나 사실인 것처럼 제시하지만 실제로는 거짓이거나, 근거가 없거나, 소스 자료와 일치하지 않는 출력을 의미합니다. 생성형 언어 모델에서는 유창한 표현 때문에 모델이 신뢰할 수 있는 근거를 가지고 있지 않더라도 지어낸 세부 정보가 신뢰할 수 있는 것처럼 보일 수 있습니다.

언어 모델은 학습 데이터와 컨텍스트의 패턴에서 그럴듯한 연속 문장을 추정하여 텍스트를 생성합니다. 모델이 모든 주장을 검증된 소스와 자동으로 대조하는 것은 아닙니다. 따라서 정확한 인용을 요청하거나, 프롬프트에 사실이 누락되었거나, 일반적이지 않은 질문을 할 경우 자신감 있게 잘못된 내용을 생성할 수 있습니다. 검색 도구, 그라운딩(grounding), 검증을 통해 일부 오류를 줄일 수 있지만, 각각 한계가 있으며 각기 다른 방식으로 실패할 수 있습니다.

## 아키텍처 및 거버넌스

환각(Hallucination)은 아키텍처의 실패가 아니라 아키텍처의 특성입니다. 이는 모든 부정확한 출력이 무해하다거나 조직이 통제 없이 이를 수용해야 한다는 의미가 아닙니다. 즉, 거버넌스는 모델을 가끔 수정만 하면 되는 데이터베이스로 취급하기보다, 그럴듯한 오류를 예상되는 시스템 동작으로 간주하고 계획을 세워야 한다는 뜻입니다.

검증 수준은 사용 결과에 따른 영향력과 일치해야 합니다. 브레인스토밍 보조 도구는 제안 사항에 대한 검토가 필요하다는 명확한 알림이 필요할 수 있습니다. 의료, 법률, 금융 또는 고용 결정에 사용되는 시스템은 더 강력한 검증, 권위 있는 출처, 문서화된 검토, 그리고 결정할 수 있는 범위에 대한 명확한 제한이 필요합니다. 인간 검토자는 단순히 유창한 텍스트가 가득한 화면을 승인하는 것이 아니라, 답변을 확인할 수 있는 정보와 시간을 확보해야 합니다.

## 노출을 줄이고 오류를 가시화하십시오

조직은 배포 전에 누락된 정보, 모호한 프롬프트, 적대적 입력 등 발생 가능한 실패 모드를 테스트할 수 있습니다. 대표적인 작업에 대한 사실적 정확성을 측정하고, 인용 및 출처 링크를 검사하며, 시스템이 불확실성을 적절하게 알리는지 테스트해야 합니다. 프롬프트, 모델, 검색 소스 및 사용자 행동의 변화가 결과에 영향을 줄 수 있으므로 출시 후에도 평가를 계속해야 합니다.

설계를 통해 검증을 더 쉽게 만들 수 있습니다. 출처 자료를 표시하고, 검색된 사실과 생성된 문구를 구분하며, 사용자에게 오류를 신고할 수 있는 간단한 방법을 제공하십시오. 정책은 어떤 출력물에 독립적인 확인이 필요한지 식별하고, 영향력이 큰 결정의 유일한 근거로 뒷받침되지 않는 답변을 사용하는 것을 금지해야 합니다. 사고 보고를 통해 반복되는 패턴을 파악하고 교육, 프롬프트, 제어 또는 의도된 사용에 대한 업데이트 정보를 얻을 수 있습니다.

사용자들은 또한 유창함이 곧 증거가 아니라는 점에 대한 지침이 필요합니다. 결과물이 다른 사람, 금전, 안전 또는 공식 기록에 영향을 미치는 경우, 책임은 해당 시스템을 사용하는 사람과 조직에 있습니다. 중요한 질문은 모델이 때때로 틀릴 수 있는지 여부가 아니라, 오류가 피할 수 있는 피해를 입히기 전에 발견, 억제 및 수정될 수 있도록 시스템이 설계되었는지 여부입니다.

## 관련 용어

- AI에 대한 인간의 감독
- AI 위험 관리
- AI 위험 분류 체계

더 깊이 알아보기: 환각은 버그가 아니라 기능입니다