AI는 사실을 찾는 게 아니라 확률이 높은 다음 말을 고를 뿐이라, 틀린 문장도 자신 있게 만들어낼 수 있어.
이걸 환각(hallucination)이라 불러 — 거짓말할 의도가 아니라, 확률적으로 그럴싸한 답을 만드는 구조의 한계야.
학습 데이터에 없거나 드물거나 최신인 사실을 물을 때 특히 잘 틀려 — 항상 다른 곳에서 확인하자.
질문을 골라보고, 확률이 어떻게 퍼지는지 보자. 정답이 없는 질문은 굴릴 때마다 1등이 바뀌진다.
정답이 없어도 AI는 그럴싸한 답 하나를 고른다.
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
자신 있게 말한다고
사실인 건 아니다.