hallucination환각
hallucination은 AI 모델이 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상이다.
기사 5편
최근 언급 hallucination은 대규모 언어 모델 같은 생성형 AI가 학습 데이터나 주어진 자료에 근거하지 않은 사실, 수치, 인용, 출처를 자신 있게 답하는 현상을 가리킨다. 모델이 다음에 올 그럴듯한 말을 예측하는 방식에서 생기며, 검색으로 근거를 붙이는 RAG나 사람의 검토로 줄이려 한다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
이 항목을 다룬 기사
agent 하나에 모든 일을 맡길수록 hallucination(모델이 그럴듯하지만 틀린 내용을 만들어 내는 현상) 위험이 크게 늘어난다는 점도 역할을 나눠야 하는 이유입니다.
일부 원고에 미묘한 오류나 hallucination(그럴듯하지만 틀린 내용을 만드는 현상)이 섞여 있을 수 있습니다.
많은 경우 원인은 모델의 hallucination(사실이 아닌 내용을 그럴듯하게 지어내는 현상)이 아니라, 여러 테이블을 join(테이블을 공통 열로 이어 붙이는 연산)하는 과정에서 같은 행이 여러 번 더해지는 데이터 중복입니다.
OpenAI는 hallucination(그럴듯한 오답)이 많은 초기 ChatGPT를 그대로 내놓고 이용자 반응을 받아 빠르게 고쳐 나갔습니다.