AI 환각 현상을 포착하는 방법: 7가지 레드 플래그

신뢰할 수 있는 AI 답변은 주장을 증거와 연결합니다. 환각 현상은 세련된 문장을 통해 그러한 연결이 있는 것처럼 보이게 만들 수 있지만, 구체적인 세부 정보와 인용은 검사 과정을 거치면 실패하게 됩니다.

세계경제포럼(World Economic Forum)의 "2026 Enterprise AI Accuracy Index"를 인용하며 AI가 생성한 보고서의 68%에 사실적 오류가 포함되어 있다고 주장하는 가상의 답변을 가정해 보겠습니다. 조직은 실존하지만, 보고서와 통계는 조작된 것입니다. 언어가 정밀하고 신뢰할 수 있는 출처 표기에 기반하고 있기 때문에 마치 철저한 조사를 거친 것처럼 들립니다.

AI 환각 현상이란 무엇이며, 왜 발생하나요?

AI 환각 현상은 모델이 거짓이거나, 뒷받침되지 않거나, 나머지 답변과 일관되지 않는 정보로 빈칸을 채울 때 발생합니다. 존재하지 않는 논문에 대한 인용처럼 일부 오류는 명백합니다. 날짜가 1년 차이가 나거나 설명이 그릇된 전제로 시작하는 등 신뢰할 수 있어 보이는 답변 속에 숨는 오류도 있습니다.

언어 모델은 학습 과정에서 학습된 패턴을 바탕으로 다음에 올 가능성이 가장 높은 단어를 추정하여 답변을 구축합니다. 충분한 문맥과 신뢰할 수 있는 정보가 있으면 이 과정을 통해 놀라울 정도로 유용한 답변을 얻을 수 있습니다. 하지만 문맥이 제한적이거나 신뢰할 수 있는 출처를 찾기 어려운 경우, 모델은 그럴듯해 보이는 내용으로 공백을 메울 수 있습니다.

특정 주제에서의 위험 증가

이러한 위험은 잘 알려지지 않았거나 최근의 주제, 모호한 프롬프트, 상충되는 정보, 그리고 그릇된 가정에 기반한 질문에서 증가합니다. 이용할 수 있는 증거가 바닥나면 응답은 여전히 자신감 있고 일관된 어조로 이어질 수 있습니다.

모델 평가 방식 역시 중요합니다. 많은 벤치마크는 모델이 올바른 답변을 도출하는지 여부를 강조하며, 질문에 답할 수 없거나 증거가 불충분한 시점을 인식하는지 여부에는 상대적으로 주의를 기울이지 않습니다. 연구에 따르면 선도적인 언어 모델조차 신뢰할 수 있는 답변을 제공하기에 충분한 정보가 없는 시점을 인식하는 데 여전히 어려움을 겪고 있습니다. 불확실성을 안정적으로 표시하지 못할 경우, 명확화를 요청하는 대신 그럴듯하게 들리는 답변을 생성할 수 있습니다.

환각 현상의 다양한 영향

생성형 AI 시스템 전반에서 환각 현상은 여전히 발생할 수 있으므로 특정 플랫폼을 가장 문제가 많은 곳으로 지목하기는 어렵습니다. 결과는 작업, 모델 버전, 그리고 시스템이 최신 출처를 확인할 수 있는지 여부에 따라 달라집니다.

환각 현상의 영향은 답변이 향후 어디에 활용되는지에 따라 달라집니다. 브레인스토밍에서의 지어낸 세부 정보는 몇 분의 시간을 낭비하게 할 수 있습니다. 조작된 법적 인용, 약물 복용량, 금융 수치 또는 보안 지침은 훨씬 더 심각한 실수로 이어질 수 있습니다. NIST는 이러한 출력을 “허위 조작(confabulations)”이라고 부르며, 특히 오류가 상당한 피해를 초래할 수 있는 경우 맥락에 적절한 테스트, 모니터링 및 통제가 필요한 위험으로 규정합니다.

AI 답변을 면밀히 살펴봐야 하는 7가지 신호

AI 답변이 신뢰할 수 없는 것으로 보일 때는 추적 가능성, 일관성, 최신성 등 세 가지부터 시작하세요. 주장의 출처를 역추적하고, 세부 정보가 일치하는지 확인하며, 정보가 현재 질문에 적합할 정도로 최신인지 확인하세요.

추적 가능성

추적 가능성은 영수증(근거)에서 시작됩니다. 중요한 주장이라면 출처를 찾아내어 동일한 내용을 말하고 있는지 확인할 수 있어야 합니다.

1. 출처가 조작되었거나 검증할 수 없음

출처 자체를 확인할 수 없다면 인용문이 답변을 뒷받침할 수 없습니다. 일시적인 이유로 URL이 손상되었을 수 있으므로 실패한 링크 하나가 환각 현상의 증거는 아닙니다. 더 강력한 경고 신호는 흔적을 남기지 않는 출처입니다. 즉, 발행처에 해당 기사에 대한 기록이 없거나, 디지털 객체 식별자(DOI)가 다른 논문으로 연결되거나, 지명된 저자와 해당 저작물 간에 문서화된 연관성이 없는 경우입니다.

모델은 그럴듯해 보이기에 충분한 세부 정보를 담아 설득력 있는 제목, 저자, 저널, 보고서를 지어낼 수 있습니다.

검증 단계: 따옴표 안에 정확한 제목을 넣고 검색하세요. 발행처 아카이브와 저자의 출판 기록을 확인하세요. 학술 연구의 경우 doi.org에 DOI를 입력하여 인용된 논문으로 올바르게 연결되는지 확인하세요.

2. 출처는 존재하지만 답변이 오용함

작동하는 인용이 바로 옆의 문장이 정확하다는 것을 증명하지는 않습니다. 출처가 신뢰할 수 있고 관련성이 있더라도 답변이 그것에 기인한다고 주장하는 인용된 언어, 보고된 수치 또는 결론을 담고 있지 않을 수 있습니다. 또한 답변이 시사하는 것보다 더 좁은 범위의 발견을 뒷받침할 수도 있습니다.

이는 출처 존재 여부의 문제가 아니라 잘못된 귀속(false-attribution)의 문제입니다. 즉, 증거는 실존하지만 증거와 주장 간의 연결이 잘못되었습니다.

검증 단계: 인용된 페이지를 열고 정확한 통계, 인용문 또는 결론을 찾으세요. 주변 문맥을 읽은 다음, 출처가 단순한 일반적 주제가 아니라 작성된 내용 그대로의 주장을 뒷받침하는지 확인하세요.

3. 정확한 숫자에 출처나 방법이 없음

정확한 세부 정보는 조사를 거친 것처럼 들리는 경향이 있습니다. “36.4%”와 같은 수치는 측정값, 데이터셋 및 방법을 암시합니다. 주장 구체적일수록 문서화된 측정값으로 역추적하기가 더 쉬워야 합니다.

백분율, 설문조사 결과, 가격, 순위, 수익 수치, 그리고 수치적 정밀함과 함께 제시되는 연구 결과에 주의를 기울이세요. 신뢰할 수 있는 출처라면 정보를 수집한 주체, 수집 시기, 사용한 모집단 또는 데이터셋, 그리고 결과를 계산한 방식을 명확히 밝혀야 합니다.

검증 단계: 숫자를 원본 출처까지 추적하세요. 날짜, 샘플 또는 데이터셋, 방법론 및 수치 자체를 확인하세요. 출처가 다른 범위, 시간대 또는 계산 방식을 보고하는 경우, AI 답변이 데이터가 보여주는 바를 과장하고 있을 수 있습니다.

일관성

신뢰할 수 있는 답변이라면 개별 부품을 점검했을 때 전체적으로 유지되어야 합니다. 모든 개별 사실이 거짓이어서가 아니라 사실들이 잘못 조합되었기 때문에 주장이 실패할 수 있습니다.

4. 실제 세부 정보가 잘못 결합됨

답변은 개별적으로는 실제 사실인 내용을 사용하면서도 결코 일어나지 않은 일을 묘사할 수 있습니다. 모델은 실제 인용문을 엉뚱한 연구자에게 할당하거나, 한 제품 출시의 기능을 다른 제품에 갖다 붙이거나, 회사 발표를 몇 달 뒤에 발생한 리더십 교체와 결합할 수 있습니다.

이는 관계 오류입니다. 이름, 날짜, 제품 및 출처는 모두 타당할 수 있으나, 문제는 답변이 주장하는 방식대로 서로 어울리지 않는다는 점입니다.

검증 단계: 주장을 필수 요소(사람 또는 조직, 이벤트 또는 기능, 날짜 또는 버전)로 분할하세요. 각 부분을 개별적으로 검증한 다음 원본 출처가 그것들을 서로 연결하는지 확인하세요.

5. 답변이 의문의 여지가 있는 전제를 수용함

모델은 종종 프롬프트가 설정한 방향을 따릅니다. 그릇된 전제는 전체 응답을 잘못된 길로 이끌 수 있습니다. 존재하지 않는 보고서, 상상 속의 이벤트 또는 잘못된 가정에 이의를 제기하는 대신, 모델은 이를 중심으로 답변을 구축할 수 있습니다. 시작점이 잘못되었음에도 불구하고 결과는 상세하고 일관성 있을 수 있습니다.

검증 단계: 주요 가정을 도출하여 그 자체로 검증하세요. 답변이 그것에 대해 무엇이라고 말하는지 평가하기 전에 보고서, 이벤트, 사람 또는 제품이 실제로 존재하는지 확인하세요.

6. 프롬프트를 약간만 변경해도 상충되는 사실이 생성됨

질문을 다시 작성하면 답변의 스타일, 세부 정보 수준 또는 예시가 변경될 수 있습니다. 핵심 사실은 안정적으로 유지되어야 합니다.

한 버전에서 다른 저자, 날짜, 총계 또는 인용을 명시하는 경우, 모델은 신뢰할 수 있는 소스에서 가져오는 것보다 누락된 정보를 채워 넣고 있을 수 있습니다. 표현이 다르다고 해서 검증 가능한 사실이 달라져서는 안 됩니다. 달라질 경우, 어느 한쪽의 응답이 거짓이라는 증거로 보기보다는 조사해야 할 단서로 다루세요.

검증 단계: 중립적인 언어를 사용하여 동일한 사실 관련 질문을 다시 하세요. 검증 가능한 세부 정보만 비교한 다음 독립적인 출처와 해당 세부 정보를 대조해 보세요.

최신성

현재의 질문에는 최신 증거가 필요합니다. 정보가 역사적으로는 정확하더라도 현재의 의사결정에 더 이상 사용할 수 없을 수도 있습니다.

7. 현재의 주장이 오래되었거나 누락된 출처에 의존함

제품 기능, 법률, 가격, 리더십 역할 및 연구 결과는 빠르게 바뀔 수 있습니다. 오래된 정보에 기반한 답변은 세련되게 들리고 실제 사실을 포함할 수 있으나 중요한 업데이트를 누락할 수 있습니다.

출처 자체 신뢰할 만할 때는 이를 간과하기가 특히 쉽습니다. 신뢰할 수 있는 출처라 하더라도 현재 다루고 있는 질문에 부합할 만큼 최신 정보여야 합니다.

검증 단계: 출처가 언제 발행되고 마지막으로 업데이트되었는지 확인한 후, 공식 문서, 정부 데이터베이스, 기업 발표 또는 원본 연구와 같은 현재의 1차 출처를 통해 주장을 확인하세요.

Perplexity가 환각 현상에 접근하는 방식

Perplexity는 웹 검색과 모델 추론을 결합하고 답변 내에서 주장을 출처와 연결합니다. 이러한 출처 표기는 독자가 출처의 존재 여부, 바로 옆의 주장을 뒷받침하는지 여부, 그리고 질문에 적합할 만큼 최신인지 여부를 포함하여 증거를 직접 검사할 수 있는 경로를 제공합니다. 인용을 통해 검증이 더 쉬워지지만, 중요한 주장을 검토해야 할 필요성이 사라지는 것은 아닙니다.

증거를 눈으로 확인 가능하게 만들기

웹 검색을 사용하는 질문의 경우, Perplexity는 응답에 사용된 출처로 연결되는 번호가 매겨진 인용을 제공합니다. 이를 통해 이 가이드의 처음 두 가지 레드 플래그를 더 쉽게 적용할 수 있습니다. 즉, 출처가 존재하는지 확인한 다음 연관된 주장을 뒷받침하는지 확인하는 것입니다.

모델이 검색하고 출처를 사용하도록 훈련하기

검색 품질은 단순히 링크를 검색하는 것 이상에 좌우되므로, Perplexity는 2단계 사후 학습 프로세스를 설계했습니다. 첫 번째 단계는 지시사항 따르기, 도구 사용, 일관성 유지, 신뢰할 수 있는 증거 이용 불가 시점 인식 등의 제품 동작을 개발합니다. 두 번째 단계는 더 어려운 검색 작업을 사용하여 증거 사용 및 도구 효율성을 개선합니다.

사실적 품질을 글쓰기 품질과 별도로 테스트하세요

검증 가능한 작업의 경우, Perplexity는 인용 품질 및 기타 제품 요구사항과 함께 사실적 정확성을 평가합니다. 재작성이나 기획 같은 개방형 요청의 경우, 평가는 대신 모델이 지시사항을 따랐는지, 의미를 보존했는지, 요청된 작업을 완료했는지에 초점을 맞춥니다. 유창한 답변이 사실상 신뢰할 수 없으면서도 잘 작성된 것처럼 보일 수 있기 때문에 이러한 구분이 중요합니다.

필요한 만큼만 검색하기

검색을 많이 한다고 해서 자동으로 더 좋아지는 것은 아닙니다. Perplexity의 연구는 답변 품질과 도구 사용 효율성의 균형을 맞추면서 다단계 질문을 해결하도록 검색 에이전트를 훈련하는 과정을 설명합니다. 목표는 오류를 유발하거나 질문에서 주의를 산만하게 할 수 있는 불필요한 단계를 추가하지 않고 답변을 뒷받침할 수 있는 충분한 증거를 수집하는 것입니다.

Perplexity는 완벽한 정확성을 주장하지 않습니다. 최신 검색, 사후 학습(post-training), 구조화된 평가 및 규율 있는 검색을 통해 환각 현상의 위험을 줄입니다. 눈에 보이는 인용을 통해 남겨진 불확실성을 더 쉽게 검토할 수 있으며, 지속적인 피드백은 시스템 개선에 도움이 됩니다.

증거 따라가기

AI 답변은 가장 중요한 주장을 확실한 증거로 다시 추적할 수 있는 만큼만 신뢰하세요. 실제적인 결과가 따르는 의사결정의 경우, 출처를 열어 인용된 줄을 넘어 더 읽어보고, 필요할 때 자격을 갖춘 전문가에게 의견을 구하세요.

한 버전에서 다른 저자, 날짜, 합계 또는 인용을 지칭하는 경우, 모델은 신뢰할 수 있는 출처에서 가져오는 대신 누락된 정보를 채워 넣고 있는 것일 수 있습니다. 문구가 다르다고 해서 검증 가능한 사실이 변경되어서는 안 됩니다. 변경되는 경우, 어느 한쪽의 응답이 거짓이라는 증거로 삼기보다는 조사해 볼 단서로 취급하세요.

모든 생성형 AI 도구에 환각 현상이 나타나나요?

그렇습니다. 현재의 모든 생성형 AI 시스템은 부정확하거나 뒷받침되지 않는 답변을 생성할 수 있습니다. 위험성은 모델 버전, 작업, 프롬프트, 출처 접근 방식 및 테스트 방법에 따라 달라집니다. 모델은 익숙한 사실은 잘 다루면서도 최근 정보나 잘 알려지지 않은 정보에는 어려움을 겪을 수 있습니다.

더 나은 프롬프트로 AI 환각 현상을 방지할 수 있나요?

더 나은 프롬프트는 문맥을 추가하고, 용어를 정의하며, 잘못된 가정을 제거함으로써 위험을 낮추는 데 도움이 됩니다. 프롬프트는 신뢰할 수 있는 출처, 인용, 검증 및 사람의 검토와 함께 사용할 때 가장 효과적입니다. 하지만 아무리 신중하게 작성된 프롬프트라도 사실에 입각한 응답을 보장할 수는 없습니다.

AI 환각 현상이 위험할 수 있나요?

그렇습니다. 뒷받침되지 않는 답변이 의료, 법률, 금융, 사이버 보안, 교육 또는 기타 중대한 의사결정에 영향을 미칠 때 위험성은 커집니다. 지어낸 브레인스토밍 세부 사항은 몇 분의 시간을 낭비하게 할 뿐이지만, 조작된 복용량이나 법적 인용은 훨씬 더 심각한 피해를 초래할 수 있습니다.

가장 먼저 무엇을 확인해야 하나요?

쉽게 검증할 수 있으면서도 답변을 바꿀 수 있는 세부 정보(인용, 인용문, 통계, 날짜, 이름, 현재의 주장)부터 시작하세요. 중요한 의사결정에 영향을 미칠 수 있는 모든 사실에 각별한 주의를 기울이세요.