'오답노트 학습시켜 AI 환각 줄여'…KAIST, 감각 혼선 방지 기술 개발

KAIST 연구진이 AI가 여러 정보를 혼동해 존재하지 않는 내용을 만들어 내는 AI의 환각을 줄이는 기술을 개발했다.  (그래픽=KAIST 제공)

국내 연구진이 여러 정보를 혼동해 존재하지 않는 내용을 만들어내는 인공지능(AI)의 '환각(할루시네이션)' 현상을 대규모 재학습 없이 줄이는 기술을 개발했다.

KAIST(총장 배충식)는 전기및전자공학부 노용만 교수와 정상윤 박사과정, 유영준 박사 연구팀은 AI가 열화상 영상을 보고 물리적 의미를 정확하게 이해하도록 돕는 기술을 개발하고 역시 AI가 시각과 청각 정보가 서로 영향을 주면서 발생하는 환각을 줄이는 연구에 성공했다고 밝혔다.

사람은 열화상 화면에서 밝게 보이는 부분이 '뜨거운 곳'이라는 것을 알지만, 기존 AI는 이를 일반 사진처럼 해석해 단순한 빛으로 착각하기도 했다. 연구팀은 AI가 열과 거리 등 센서가 측정하는 물리 정보를 이해하도록 새로운 학습 기술을 개발했다. CCTV 영상에 자동차가 지나가는 장면이 담겨 있지만 실제로는 소리가 녹음되지 않았을 때, 기존 멀티모달 AI는 자동차가 보인다는 이유만으로 '엔진 소리가 들린다'라고 답하는 경우가 있었다. 연구팀은 AI가 먼저 '이번 질문은 영상을 보고 판단해야 하는지, 소리를 듣고 판단해야 하는지'를 스스로 구분한 뒤, 더 중요한 감각 정보에 집중하도록 만들었다. 이를 통해 AI를 처음부터 다시 학습시키지 않고도(Training-free) 이러한 감각 혼선과 환각을 효과적으로 줄였다.

이를 통해 대형 모델의 구조를 변경하거나 막대한 컴퓨팅 자원을 투입해 재학습하는 과정 없이도, 복합 센서의 오인식률을 효과적으로 낮추고 감각 간 간섭으로 발생하는 환각 현상을 제어하여 인공지능의 물리적 신뢰성을 향상시켰다.

노용만 교수는 "AI는 여러 감각 정보가 동시에 들어오면 혼란을 겪고, 존재하지 않는 정보를 만들어내는 감각 오류를 일으키기 쉽다"라며 "인간이 오답 노트를 통해 실력을 키우듯, AI도 오답과 그 이유를 비교해 학습시켜 필요한 감각만 선택하도록 스스로 판단하게 만들자 환각이 눈에 띄게 감소했다"라고 설명했다.
임병안 기자