티스토리 뷰

주식 모닝브리핑을 클로드에게 맡긴 첫 주였습니다. 아침마다 받은 요약은 문장도 매끄럽고 표도 깔끔했습니다. 그런데 사흘째 되는 날, 그 안에 이틀 지난 뉴스가 오늘 소식처럼 섞여 있었습니다. 그날 이후 AI 답변을 그대로 믿지 않고 몇 가지를 꼭 확인합니다.

 

처음 AI를 쓰는 분이 바로 따라 할 수 있도록 정리했습니다. 어려운 기술은 필요 없습니다. 답변을 받은 뒤 1분만 들여 확인하는 습관이면 충분합니다.

✅ 이 글에서 얻는 것
① AI가 그럴듯하게 틀리는 이유
② 1분 안에 끝나는 답변 검증 5가지
③ 처음부터 덜 틀리게 묻는 프롬프트 원문

AI는 왜 그럴듯하게 틀릴까요?

빈칸을 추측으로 채우는 습관

AI는 정답을 찾아오는 검색창이 아닙니다. 앞 문장 다음에 올 법한 말을 이어 붙여 답을 만듭니다.

 

휴대폰 자판의 다음 단어 추천을 떠올리면 쉽습니다. 그 기능을 아주 크고 똑똑하게 키운 것이 지금의 AI입니다. 문장을 이어 가는 데는 뛰어나지만 그 말이 사실인지 따로 확인하지는 않습니다. 그래서 모르는 부분이 생겨도 멈추지 않습니다. 시험지 빈칸을 그럴듯한 말로 채우는 학생처럼, 모르는 자리를 자연스러운 추측으로 메웁니다. 이 현상을 '할루시네이션(환각)'이라고 부릅니다.

매끄러울수록 더 속기 쉽다

제 브리핑이 위험했던 이유도 여기에 있었습니다. 문장에 머뭇거림이 없고 표까지 정돈돼 있으니, 날짜를 확인할 생각조차 들지 않았습니다. 틀린 답이 엉성하면 누구나 의심합니다. 틀린 답이 맞는 답과 똑같은 말투로 나와서 더 큰 문제입니다. 해외에서는 AI가 지어낸 판례를 법원 서류에 그대로 냈다가 변호사가 제재를 받은 일도 있었습니다.

📌 기억할 한 줄
매끄러운 문장과 맞는 정보는 별개입니다.

 

그렇다고 AI를 멀리할 필요는 없습니다. 어디가 잘 틀리는지만 알면 확인은 1분이면 끝납니다. 가장 자주 틀리는 날짜와 숫자부터 보겠습니다.

날짜와 숫자는 어떻게 확인해야 할까요?

검증 1. '오늘 자'인지 날짜부터 본다

AI는 시간 감각이 약합니다. 학습한 시점 이후 일은 모르고 웹 검색을 켜도 예전 기사를 최신 소식처럼 가져올 때가 있습니다. 이틀 지난 뉴스 사건 뒤로 저는 브리핑을 받으면 기사 날짜부터 훑습니다. 날짜가 안 보이면 "각 뉴스의 발행 날짜를 함께 적어 줘"라고 다시 요청합니다. 날짜가 적혀 있으면 틀린 것도 눈에 바로 띕니다.

검증 2. 숫자는 출처와 함께 받는다

숫자는 AI가 가장 자연스럽게 지어내는 정보입니다. 소수점까지 붙어 있으면 더 그럴듯해 보입니다. 틀린 숫자 하나가 판단 전체를 흔들 수 있어 가장 꼼꼼히 봐야 합니다.

브리핑 초기에는 지수 하나가 통째로 빠졌는데, 요약 문장만 봐서는 전혀 티가 나지 않았습니다. 그 뒤로 숫자에는 출처를 붙여 달라고 합니다. 출처가 적힌 숫자는 대조할 곳이 분명해서 확인이 훨씬 빨라집니다. 분야별로 대조하는 곳은 아래와 같습니다.

  • 주가·환율·지수: 증권사 앱이나 포털 금융 화면과 대조
  • 세금·법률·의료: 국세청·법제처 같은 공식 기관 페이지에서 확인
  • 통계: 원래 발표 기관의 자료를 직접 열어 보기
AI 답변 날짜 숫자 출처 확인 화면

그런데 출처를 받아도 끝이 아닙니다. 그 출처 자체가 엉뚱할 수 있기 때문입니다. 다음 섹션에서 링크를 확인하는 법을 보여드리겠습니다.

링크와 출처, 믿어도 될까요?

검증 3. 링크는 직접 열어 대조한다

AI가 링크를 붙여 주면 안심하기 쉽습니다. 하지만 링크가 진짜여도 그 페이지에 답변 내용이 실제로 있는지는 별개입니다.

제가 하는 방법은 단순합니다. 링크를 열고 답변의 핵심 단어를 페이지 안에서 검색합니다. 휴대폰에서는 브라우저 메뉴의 '페이지에서 찾기'를 쓰면 됩니다. 단어가 안 나오면 그 답은 다시 확인해야 합니다.

검증 4. 원문이나 다른 AI와 비교한다

처음엔 미심쩍은 답에 "확실해?"라고 되물었습니다. AI는 대개 사과하며 답을 바꾸거나, 같은 말을 더 자신 있게 반복했습니다. 같은 대화 안에서 되묻는 것은 검증이 아니었습니다.

 

지금은 둘 중 하나를 합니다. 원문을 직접 찾아보거나, 같은 질문을 다른 AI에 넣어 답을 비교합니다. 두 답이 다르면 그 부분이 바로 확인할 지점입니다. 둘이 같다고 무조건 맞는 것은 아니지만 적어도 의심할 곳을 좁힐 수 있습니다.

👉 함께 보기: 「클로드·챗GPT·제미나이, 같은 질문에 결과가 달랐다」

⚠️ 주의
건강·법률·돈과 관련된 결정은 AI 답만 보고 내리지 마세요. 마지막 확인은 공식 기관이나 전문가에게 받아야 합니다.

 

확인하는 법은 여기까지입니다. 다음은 아예 덜 틀리게 질문하는 방법입니다.

처음부터 덜 틀리게 물어보는 법은 없을까요?

검증 5. '모르면 모른다고 해' 규칙 넣기

AI가 추측으로 빈칸을 채우는 건 그렇게 하지 말라는 말을 듣지 못해서이기도 합니다. 그래서 질문할 때 규칙을 함께 줍니다.

 

규칙이라고 해서 거창할 필요는 없습니다. 세 줄이면 충분합니다. 제 브리핑 지침에 넣은 문장을 일반 질문용으로 바꾸면 아래와 같습니다. 질문 끝에 그대로 붙여 쓰면 됩니다.

📋 직접 쓰는 프롬프트
 [질문 내용] 아래 규칙을 지켜서 답해 줘. 

 1. 확실하지 않은 내용은 추측하지 말고 "모름"이라고 적어. 
 2. 숫자와 날짜에는 출처를 함께 적어. 
 3. 답변 맨 끝에 '확인 필요' 항목을 따로 모아 줘.

 

이 규칙을 넣은 뒤로 브리핑 끝에 '확인 필요' 칸이 생겼습니다. 제가 직접 확인할 곳이 서너 줄로 줄어드니 검증에 드는 시간도 크게 줄었습니다.

처음엔 '모름'이 너무 자주 나와 답답했습니다. 그런데 따져 보니 그 자리는 원래 AI가 지어냈을 자리였습니다. 그럴듯한 오답보다 솔직한 '모름'이 훨씬 쓸모 있었습니다. 질문할 때 내가 아는 배경을 함께 적어 주면 '모름'도 점점 줄어듭니다.

AI 답변 검증 5가지 체크리스트
💡 꿀팁
자주 쓰는 AI라면 이 규칙을 개인 설정이나 프로젝트 지침에 한 번 넣어 두세요. 매번 붙여 넣지 않아도 됩니다.

 

마지막으로 AI를 처음 쓰는 분들이 자주 묻는 질문을 모았습니다.

자주 묻는 질문 (FAQ)

Q1. 유료 버전은 안 틀리나요?

유료 버전도 틀립니다. 모델이 좋아질수록 덜 틀린다는 발표는 있지만 확인 단계를 건너뛰어도 될 만큼은 아닙니다. 저도 Pro 플랜을 쓰면서 날짜 오류를 겪었습니다. 무료든 유료든 확인 습관은 똑같이 필요합니다.

Q2. 웹 검색을 켜면 괜찮지 않나요?

최신 정보를 가져오는 데는 큰 도움이 됩니다. 학습 시점 이후의 소식도 찾아오기 때문입니다. 다만 오래된 기사를 집어 오거나, 기사 내용을 잘못 요약하는 일은 여전히 생깁니다. 검색을 켰다면 검증 1번과 3번을 특히 챙기시기 바랍니다. 검색 결과로 만든 답일수록 출처 링크를 열어 보는 습관이 중요합니다.

Q3. 그럼 어디까지 믿어도 되나요?

글 다듬기, 아이디어 정리, 요약처럼 틀려도 바로 보이는 일은 편하게 맡겨도 됩니다. 숫자·날짜·법률처럼 틀리면 손해가 나는 정보는 반드시 원문으로 확인합니다. 이 선 하나만 지켜도 AI를 훨씬 안심하고 쓸 수 있습니다.

 

처음 한두 주는 번거롭게 느껴질 수도 있습니다. 저도 그랬지만 몇 번 하다 보면 어디가 잘 틀리는지 감이 생겨 확인할 곳만 골라 보게 됩니다.


📌 AI 답은 초안이고 확인은 사람 몫입니다.

오늘 AI에게 질문할 때 '모르면 모른다고 해' 규칙 한 줄부터 붙여 보시기 바랍니다.